Institusi Audit telah wujud di Tanah Melayu sejak pentadbiran British pada awal abad ke 20 bagi memperkukuhkan sistem pentadbiran kewangan Kerajaan. Pada ketika itu ia wujud secara berasingan mengikut negeri iaitu Negeri Melayu Bersekutu dan Negeri Selat. Di setiap Negeri Melayu Bersekutu, Institusi ini dikenali dengan nama Audit Office dan diketuai oleh State Auditor.  Ibu pejabat bagi Audit office ini terletak di Kuala Lumpur dan diketuai oleh seorang Chief Auditor.

Institusi Audit Negara yang lebih tersusun dari segi struktur dan bidang tugasnya bermula pada tahun 1906 di mana Ketua Audit Negara untuk Negeri Melayu Bersekutu pertama iaitu W.J.P Hume dilantik. Pada tahun 1932 kedua-dua Institusi  digabungkan dan diletakkan di bawah kawalan Director of Colonial Audit yang berpusat di London. Tugas pengauditan dipertanggungjawabkan kepada Auditor of the Straits Settlements and the Federated Malay States yang berpusat di Kuala Lumpur. Menjelang kemerdekaan Tanah Melayu pada tahun 1957, jawatan Director of Audit Malaya ditukar kepada nama Ketua Audit Negara. Pelantikan Ketua Audit Negara serta tanggungjawabnya termaktub di bawah Perkara 105 Perlembagaan Persekutuan dan Akta Audit 1957.