Karier politiknya mulai meningkat ketika ia menjadi wakil Wali Kota Bekasi pada 2008-2011.
Ia menggantikan Mochtar Mochamad menjadi Plt. Wali Kota Bekasi pada 2012-2013.
Lalu, pada 2013, Rahmat Effendi terpilih menjadi Wali Kota Bekasi saat maju bersama Akhmad Syaikhu.
Tak sampai di situ, ia juga kembali terpilih sebagai Wali Kota Bekasi pada 2018 untuk periode kepemimpinan 2018-2023.
Baca Juga: Wali Kota Bekasi Rahmat Effendi Terjaring OTT, Wakil Ketua KPK Nurul Ghufron Buka Suara
Namanya menjadi sorotan pada 2019 lalu karena hal kontroversial.
Pada Agustus 2019, Rahmat Effendi mengusulkan agar Bekasi memisahkan diri dari Provinsi Jawa Barat.
Ia mengusulkan agar Bekasih masuk ke Provinsi DKI Jakarta dan mengubah namanya menjadi Jakarta Tenggara.
Bukan tanpa alasan, ia mengusulkan Bekasi masuk Provinsi DKI Jakarta karena dianggap menjadi wilayah tak terurus di provinsi Jawa Barat.