Mengikuti jejak VoIP Merdeka, di tahun 2004 Anton Raharja dan rekan-rekan ICT Centre Jakarta membangun server VoIP yang kemudian diberi nama VoIP Rakyat dengan nama domain voiprakyat.net. Berbeda dengan VoIP Merdeka yang merupakan gabungan banyak node-node gatekeeper VoIP, arsitektur VoIP Rakyat memungkinkan hanya menggunakan satu server saja. VoIP Merdeka berbasis protocol H.323, sedangkan VoIP Rakyat berbasis protocol SIP.

Pembaharuan domain dibarengi dengan berbagai pembaharuan di dalam tubuh VoIP Rakyat. Antara lain penambahan pendukung utama, Onno W. Purbo, rekan-rekan IDC Indonesia, Acer dan beberapa rekan lain bergabung dengan Anton Raharja dan rekan-rekan ICT Centre Jakarta dalam tim VoIP Rakyat, serta infrastruktur yang jauh lebih baik antara lain menggunakan komputer server Acer Altos G530 dan terhubung ke jaringan IIX langsung dari lokasi datacenter IDC Indonesia.

Dalam rangka mendorong perluasan jaringan VoIP mandiri, tidak terkait regulasi dan kebutuhan akan pendonor dana besar, VoIP Rakyat membangun project ENUM VoIP Rakyat yang merupakan embrio dari federasi atau interkoneksi server-server VoIP yang dibangun oleh masyarakat. Tidak menutup kemungkinan interkoneksi dengan jaringan lain seperti PSTN.