Camii, Fatih Sultan Mehmet tarafindan 29 Agustos 1473 tarihinde Otlukbeli savasini kazandiktan sonra S.Karahisar’a gelislerinde yapilmaya baslanilmis ve 5 yilda tamamlanmistir. Camii iki defa yanmistir. 1888 yilinda Mutasarrif Rasih Pasa ile Defterdar Mahmut Nedim’in öncülügü ve halk devlet yardimlariyla bugünkü sekle getirilmistir. Camii güzellik ve mimari yönüyle Kelkit yöresinin en güzel dini yapitidir. 1939 yilinda kubbeleri çökmüs ve halilari parçalanmistir. 1950 yilinda Kaymakam Mukadder Öztekinin gayretleri ile onarilmis ve daha sonra kurulan Fatih Camii koruma ve Güzellestirme Dernegi vasitasiyla onarim ve ihtiyaçlari karsilanmaya baslamistir.