Awal mula terbentuknya desa Kaliagung merupakan gabungan dari dua kalurahan yakni Kalurahan Kalinganti dan Kalurahan Kemiri. Kalurahan Kalinganti yang berkedudukan di Kalipenten ini terdiri dari tujuh pedukuhan, yaitu :

1. Pedukuhan Banyunganti Kidul
2. Pedukuhan Banyunganti Lor
3. Pedukuhan Ngrandu
4. Pedukuhan Kaligalang
5. Pedukuhan Tegowanu
6. Pedukuhan Kalipenten
7. Pedukuhan Nglotak

Kalurahan Kalinganti dipimpin oleh lurah yakni Bapak Sonto Widjojo pada tahun 1941. Sementara itu, Kalurahan Kemiri berkedudukan di Kleben dan terdiri dari lima pedukuhan, yaitu :

1. Pedukuhan Kemiri
2. Pedukuhan Degung
3. Pedukuhan Jetak
4. Pedukuhan Kaliwilut

Kalurahan Kemiri saat itu dipimpin seorang lurah bernama Mbah Guna Wiharjo. Baru kemudian pada Minggu Legi  tanggal 30 Maret 1947 dua kelurahan tersebut digabungkan menjadi satu nama Kalurahan Kaliagung.  Nama Kaliagung diambil dari Kalinganti dan Degung yang merupakan salah satu nama pedukuhan di Kalurahan Kemiri,  yang jika diartikan Kali artinya sungai, agung artinya besar. Kaliagung memiliki makna seperti keberadaan sebuah sungai yang besar, yangdiharapakn desa Kaliagung memiliki wilayah yang subur makmur, pendudukanya ayom ayem, tentram kerta raharja.