Lo Shiba è una razza autoctona del Giappone fin dai tempi antichi; nella terra d’origine la parola “shiba” indica qualcosa di “piccolo”, un “piccolo cane”: nell’habitat dello Shiba, la zona montana prospiciente il Mar del Giappone, questo cane era utilizzato per la caccia a piccoli animali o uccelli. Vi erano leggere differenze nelle razze a seconda delle aree dove venivano allevati.
Poiché cani come il Setter Inglese ed il Pointer Inglese venivano importati dall’Inghilterra durante il periodo del 1868-1912, la caccia diventò uno sport in Giappone e si diffuse l’uso di incrociare gli Shiba con questi cani inglesi e lo Shiba puro divenne raro; dal 1912 al 1926 in queste zone gli Shiba puri erano estremamente ridotti.
Dal 1928 circa, cacciatori ed altre persone colte si interessarono alla conservazione degli Shiba puri e si cominciò seriamente a tutelare il numero limitato della razza pura; lo standard fu finalmente unificato nel 1934.
Nel 1937 lo Shiba fu considerato un “monumento naturale” dopo di che la razza fu allevata e migliorata fino a diventare la razza superiore conosciuta oggi.