เด็กจากเมืองลีดส์ เกิด และเติบโตมาพร้อมกับการเป็นแฟนบอลของสโมสรท้องถิ่นอย่างลีดส์ ยูไนเต็ด เขาถือตั๋วปีของสโมสร ก่อนพัฒนาเป็นเด็กเก็บบอลที่สนามเอลแลนด์ โร้ด จนก้าวเข้าสู่ระบบเยาวชน และได้เล่นทีมชุดใหญ่เป็นครั้งแรก ด้วยวัยเพียง 16 ปี กระทั่งปี 2004 เขาต้องพบกับจุดเปลี่ยนครั้งสำคัญ เมื่อลีดส์ ยูไนเต็ด ต้องตกชั้นจากศึกพรีเมียร์ลีก พร้อมกับกับปัญหาเรื่องการเงินที่ถาโถมเข้ามา ทำให้นักเตะตัวหลักหลายคน ต่างกระจัดกระจายย้ายทีมกันออกไปรวมถึงตัวเขาด้วย
มิลเนอร์ กล่าว “ถือเป็นช่วงเวลาที่แสนยากลำบาก ลีดส์ ยูไนเต็ด ต้องตกชั้น และมีปัญหาเรื่องการเงินเกิดขึ้นอย่างมากมาย ทั้งเรื่องหน้ากระดาษ และความยุ่งเหยิงนอกสนาม สิ่งเหล่านี้ ทำให้คุณต้องเติบโตอย่างรวดเร็ว ผ่านการเฝ้ามองนักเตะอาวุโสว่า พวกเขามีวิธีจัดการกับสิ่งต่างๆอย่างไร”
“ผมผ่านการเรียนรู้อย่างรวดเร็ว ช่วงระยะเวลา 2 ปี ผมต้องเล่นภายใต้ผู้จัดการทีมหลายคนมาก ทั้งระดับสูง และรองลงมา โดยช่วงเริ่มต้นฤดูกาลที่ 2 ของผมกับสโมสร ปีเตอร์ รีด ก้าวเข้ามาคุมทีม และผมก็ถูกส่งไปเล่นแบบยืมตัวกับทีมสวินดอน ทาวน์ ผมทำผลงานได้ค่อนข้างดี ก่อนที่ผมจะกลับไปที่ลีดส์ และได้ลงเล่นทุกเกม ”
“กระทั่งปี 2004 ผมก้าวเข้าสู่ช่วงปรีซีซั่น พร้อมกับมีเรื่องการต่อสัญญาฉบับใหม่อยู่ในหัว ทันใดนั้นเอง ใครสักคนก็พูดขึ้นมาว่า -นายต้องย้ายไปนิวคาสเซิ่ล และต้องเข้ารับการตรวจร่างกายในวันพรุ่งนี้ สิ่งที่ผมคิดในหัวตอนนั้นคือ ผมเนี่ยนะ !! ถือเป็นเรื่องที่น่าผิดหวัง ที่ผมไม่ได้เล่นกับลีดส์ นานกว่านี้ ทว่าการได้ลงเล่นให้ทีมก็แสนพิเศษแล้วล่ะ”
“ลีดส์ ติดค้างเงินผมเป็นจำนวนหนึ่ง อย่างไรก็ตาม ผมขอไม่รับเงินจำนวนนั้น เพื่อเป็นการช่วยเหลือสโมสร สุดท้าย พวกเขาได้ค่าตัวผมจากการย้ายทีม ซึ่งการออกไปของผม คือการทำเพื่อผลประโยชน์ที่ดีที่สุดของสโมสร เนื่องจากปัญหาการเงินทั้งหมดที่ต้องเจอ ผมคิดว่า นี่คือสิ่งที่ถูกต้องต่อสโมสรแล้ว”