Erzurum Kalesi, Yavuz Sultan Selim’in Çaldıran Zaferi sonrası 1518’de Osmanlı hâkimiyetine girdi. Bu hâkimiyet, İlhanlıların yıkılışından beri siyasi istikrarsızlık ve belirsizlik içinde bulunan bölgenin yeni bir düzene kavuşması anlamına geliyordu. Bu tarihten sonra Erzurum, Osmanlı’nın İran ve Kafkasya’ya yönelik doğu seferlerinde mühim rol oynayan bir serhat şehri hâline geldi. Yeni dönemde Erzurum’un siyasi ve askerî hayatı, Osmanlı-Gürcü ve Osmanlı-İran, ardından Osmanlı-Rus savaşları ekseninde şekillendi.
Erzurum’a gelen ilk Osmanlı padişahı Yavuz Sultan Selim’di. Kudretli Padişah, 1514’te Çaldıran Seferi’ne giderken Erzurum’un batısındaki Cinis ve Alaca köylerinden geçerek şehrin yakınındaki Ilıca’da bir müddet konakladı. Ardından 3 Ağustos 1514’te Erzurum’a geldi. Bu dönemde Erzurum’da herhangi bir siyasi otorite mevcut olmayıp şehrin kalesi harap ve metruk hâldeydi. Bu nedenle Yavuz, Erzurum Kalesi’nde değil şehrin dört kilometre kuzeyindeki Kân Çayırı’nda konakladı. Ertesi gün Erzurum’dan ayrılan Padişah, Pasinler’e doğru yoluna devam etti. Sefer dönüşünde, 19 Ekim’de yine Kân Çayırı’nda konakladı. Bu seferden yaklaşık dört yıl sonra Osmanlı hâkimiyeti Erzurum’da kesin olarak sağlandı.
Yavuz Sultan Selim’in 1520’deki ölümüne kadar Erzurum’daki faaliyetleri hakkında Tarihçi Abdürrahim Şerif Beygu son derece önemli bilgiler vermiştir. Buna göre Yavuz Sultan Selim, Karaca Bey Hamza adında Sivaslı bir yeniçeri subayını şehir muhafızı ve kale komutanı olarak tayin etmişti. Bu kişi İçkale’nin yakınında bir mescit yaptırmıştı. Erzurum’a tayin edilen ilk Osmanlı kadısı Mevlâna Ahmedüddin’di. Yine Yavuz Sultan Selim zamanında Erzurum’un tahriri yapılmış, Mirza Bey tarafından has, zeamet, tımar toprakları belirlenmişti. Beygu’nun verdiği bilgilerden, Yavuz Sultan Selim’in Erzurum’da otağını kurduğu zaman bölgenin ileri gelenleriyle görüştüğü de anlaşılmaktadır.
Beygu’nun verdiği bu bilgilerden hareketle Erzurum’un Osmanlı hâkimiyetine girmesinden hemen sonra, şehirde bir idarî düzen kurulduğunu ve birtakım imar hareketlerine başlandığını söylemek mümkündür.
Diğer taraftan, bizzat Yavuz Sultan Selim’in Erzurum’un imarı konusunda yaptıklarına dair elimizde tek bir belge vardır. Bu belge, Erzurum Kalesi’nin kapsamlı tamiratı sırasında hazırlanan 1803 tarihli keşif defteridir. Bu defterde kalenin tamir edilecek yerleri sıralanırken aynen şu ifadelere yer verilmiştir:
Merhum cennet-mekân firdevs-aşiyan Yavuz Sultan Selim Han Hazretlerinin içkale derununda bina ve ihya buyurdukları cami-i şerif…
Bu ifadeler, İçkale’deki mescidin Yavuz Sultan Selim tarafından tamir ve ihya ettirildiğini göstermektedir.