Pada 2001-2004, Rangnick menjadi pelatih Hannover yang promosi ke Bundesliga Jerman.
Selanjutnya, Rangnick pindah ke Schalke setelah gagal menjadi asisten manajer timnas Jerman di bawah Joachim Low.
Rangnick membawa Schalker menjadi runner-up di Bundesliga dan final Piala Jerman di tahun 2005.
Akan tetapi Schalke memecatnya sehingga Rangnick menerima pinangan dari Hoffenheim.
Di sini Rangnick sukses membawa Hoffenheim promosi berturut-turut dari divisi ketiga sampai ke Bundesliga.
Baca Juga: Persalinan Nagita Slavina Semakin Dekat, Caca Tengker Isyaratkan Kelahiran Anak Kedua sang Kakak
Namun Rangnick kemudian kembali bersama Schalke dan membawa klub memenangi Piala Jerman dan masuk semifinal Liga Champions sebelum mengundurkan diri di tahun 2011.
Meski mengambil cuti panjang, Rangnick tetap terlibat dalam proyek baru untuk mengawasi tim-tim milik Red Bull di antaranya Leipzig, Salzburg, dan New York sebagai direktur olahraga perusahaan.
Rangnick langsung buktikan kapasitas dengan membawa klub milik Dietrich Mateschitz promosi dari divisi empat ke Bundesliga dalam kurun waktu enam tahun saja.