Sekolah Kebangsaan Kampong Jawa, Segamat, Johor telah dibuka dan mula beroperasi pada tahun 1948 di tapak asalnya, iaitu di Kampong Padang Lalang, Segamat, di atas sebidang tanah kerajaan seluas 0.5 hektar. Bangunan sekolah awal itu yang berukuran kira-kira 20 kaki panjang dan 18 kaki lebar itu telah dibina secara bergotong-royong oleh penduduk kampong dengan menggunakan kayu bulat dan beratapkan rumbia serta tanpa dinding dan lantai simen. Jumlah murid pada ketika itu hanyalah seramai 20 orang dan guru yang bertanggungjawab mendidik hanyalah 2 orang. Guru-guru yang bertugas di sekolah ini pada ketika itu ialah Tuan Haji Abd Wahid bin Ahmad sebagai Guru Besar dan Encik Muhammad bin Omar sebagai guru penolong. Pada tahun 1952, sekolah ini telah dipindahkan ke kawasan dan tapak yang ada sekarang. Luas kawasan sekolah ini ialah 2.5 ekar. Jarak sekolah ini ke Pejabat Pelajaran Daerah Segamat ialah kira-kira 3km. Sekolah ini dikategorikan sebagai sekolah gred A luar bandar. Banyak perubahan telah berlaku di sekolah ini dari semasa ke semasa hinggalah ke hari ini terutamanya dari segi struktur fizikal bangunan sekolah, bilangan guru dan murid serta pencapaian akademik dan kokurikulum. Kini sekolah ini telah mempunyai 9 blok bangunan termasuk sebuah kantin dan bangunan makmal komputer yang siap dibina pada tahun 2002. Pada bulan Februari tahun 2010 p**a, 2 blok bangunan 4 tingkat telah siap dibina dan digunakan sepenuhnya pada tahun 2011 bagi menempatkan murid belajar dalam satu sesi. Jumlah guru kini seramai 51 orang manakala murid-murid seramai 717 orang.
