Dinas Pertanian dan Peternakan Kota Tanjungbalai mempunyai sejarah yang panjang sebelum mencapai kondisi seperti saat ini. Pada awalnya, masing-masing dinas, yaitu Dinas Pertanian, Dinas Peternakan, dan Dinas Perikanan, berdiri sendiri. Kemudian, pada tahun 2001, ketiga dinas tersebut bergabung menjadi satu dinas dengan nama Dinas Pertanian Kota Tanjungbalai sesuai dengan Perda Nomor 19 Tahun 2001. Selanjutnya, pada tahun 2004 terjadi pemekaran kembali, di mana Dinas Pertanian dimekarkan menjadi dua dinas, yaitu Dinas Pertanian dan Peternakan serta Dinas Perikanan dan Kelautan, sesuai dengan Perda Nomor 26 Tahun 2004.

Dinas Pertanian Kota Tanjungbalai yang berdiri pada tahun 1988 tercatat pernah dipimpin oleh empat Kepala Dinas pada empat periode jabatan, yaitu Abrin Siregar (1988–1991), Ardhi Kusno (1991–1995), Makruf Siregar, BSc. (1995–2001), dan Suparno, BSc. (1999–2001). Sementara itu, Dinas Peternakan Kota Tanjungbalai yang berdiri pada tahun 1988 berdasarkan Perda Nomor 20 Tahun 1986 juga tercatat pernah dipimpin oleh tiga Kepala Dinas pada tiga periode jabatan, yaitu Hanizar (1988–1992), Syamsir Siregar (1992–1996), dan Cut Nurjannah (1996–2001).

Pada tahun 2001, terjadi penggabungan antara Dinas Pertanian, Dinas Perikanan, dan Dinas Peternakan menjadi Dinas Pertanian Kota Tanjungbalai yang dipimpin oleh Endang R. Lubis (2001–2004). Kemudian, pada tahun 2004, Dinas Pertanian Kota Tanjungbalai kembali dimekarkan menjadi dua dinas, yaitu Dinas Pertanian dan Peternakan serta Dinas Perikanan dan Kelautan. Setelah pemekaran tersebut, Dinas Pertanian dan Peternakan dipimpin oleh Syafruddin Nst. (2004–2005), Endang R. Lubis (2005–2009), Lahmuddin (2009–2010), Ahmad Safii, S.TP (2010–2011), Nefri Siregar (2011–2012), dan Endang R. Lubis (2012–2014). Pada tahun 2014, Dinas Pertanian dan Peternakan Kota Tanjungbalai dipimpin oleh Kepala Dinas Pertanian dan Peternakan Kota Tanjungbalai yaitu MUSLIM (2014–sekarang).

Berdasarkan Peraturan Daerah Nomor 26 Tahun 2004 tentang Pembentukan Susunan Organisasi dan Tata Kerja Dinas Daerah Kota Tanjungbalai, Dinas Pertanian dan Peternakan memiliki 17 formasi jabatan yang terdiri dari: Kepala Dinas Eselon II/b, Sekretaris Eselon III/a, Kepala Bidang Eselon III/b , Kepala Sub Bagian Eselon IV/a , Kepala Seksi Eselon IV/a , dan Kepala UPTD Eselon IV/a. Berdasarkan peraturan tersebut, Dinas Pertanian dan Peternakan mempunyai tugas membantu Kepala Daerah dalam melaksanakan urusan pemerintahan yang menjadi kewenangan bidang pertanian dan peternakan berdasarkan otonomi dan tugas pembantuan. Untuk melaksanakan tugas tersebut, dinas ini memiliki fungsi perumusan kebijaksanaan teknis bidang pertanian dan peternakan, pelaksanaan pelayanan umum bidang pertanian dan peternakan, pengelolaan urusan ketatausahaan, penyelenggaraan Unit Pelaksana Teknis di lingkungan dinas, pelaksanaan pengamanan dan pengendalian teknis atas pelaksanaan tugas sesuai kebijaksanaan Kepala Daerah, pelaksanaan tugas lain dari Kepala Daerah sesuai tugas dan fungsinya, serta pelaporan dan pertanggungjawaban atas pelaksanaan tugas kepada Kepala Daerah melalui Sekretaris Daerah Kota sesuai standar yang ditetapkan.

Untuk melaksanakan tugas pokok dan fungsi tersebut, Dinas Pertanian dan Peternakan Kota Tanjungbalai memiliki susunan organisasi yang terdiri dari Kepala Dinas; Sekretaris yang membawahi Subbag Umum dan Kepegawaian serta Subbag Keuangan dan Perlengkapan; Bidang Program yang membawahi Seksi Perencanaan serta Seksi Evaluasi dan Pelaporan; Bidang Pertanian yang membawahi Seksi Produksi, Pengendalian OPT Pertanian, Perkebunan dan Kehutanan serta Seksi Bina Usaha Pertanian, Perkebunan dan Kehutanan; Bidang Peternakan yang membawahi Seksi Bina Usaha dan Agribisnis Peternakan serta Seksi Budidaya, Kesehatan Hewan dan Kesmavet; Bidang Ketahanan Pangan dan Penyuluhan yang membawahi Seksi Ketahanan Pangan dan Seksi Penyuluhan; Kelompok Jabatan Fungsional; serta Unit Pelaksana Teknis Dinas (UPTD) Balai Pembibitan, UPTD Balai Benih/Bibit Pertanian, dan UPTD Balai Pembibitan Peternakan, Rumah Potong Hewan, dan Pos Kesehatan Hewan.