Erzurum ve çevresi, MS 387’de Roma İmparatorluğu ile Sâsânîler (İranlılar) arasında yapılan anlaşma gereği Roma toprakları içinde kaldı. Hemen ardından Romalılar, 390’da burada bir eyalet oluşturarak hâkimiyetlerini kalıcı hale getirdiler. 395’te Roma İmparatorluğu’nun ikiye bölünmesiyle Erzurum, Doğu Roma İmparatorluğu’nun (Bizans) payına düştü. Erzurum Kalesi işte bu tarihten sonra inşa edildi. Genel olarak kabul edilen görüşe göre Erzurum Kalesi, 415-422 yılları arasında Bizans İmparatoru II. Theodosios’un emriyle yaptırıldı ve kaleye “Theodosiopolis” ismi verildi. Kalenin yapılış amacı, doğudan gelebilecek Sâsânî saldırılarına karşı Roma topraklarını korumaktı. Erzurum Kalesi, Sâsânî sınırının hemen batısında inşa edilmişti. İki devlet arasındaki sınır, kalenin yaklaşık 10 kilometre doğusunda bulunan ve Erzurum Ovası ile Pasin Ovası’nı birbirinden ayıran Deveboynu bölgesinden geçiyordu.
Erzurum Kalesi’nin Sâsânîlere karşı inşa ettirildiği hakkındaki genel görüşün yanı sıra, Hun akınlarına karşı yapılmış olabileceği ihtimali de akla gelmektedir. Çünkü kalenin yapılışının öncesinde Erzurum ve çevresini ciddi şekilde tehdit eden en önemli unsur Hunlardı. Karadeniz’in kuzeyinde kurulan Avrupa Hun Devleti, Suriye’ye yönelik akınlar sırasında Erzurum havalisini de ele geçirdi. Hunlarla sıkı bir ittifak kurmuş olan I. Theodosius’un ölümünden sonra, Batı Hunlarının bir bölümü Kafkasya üzerinden Doğu Anadolu’ya girmişti. 395-398 yılları arasında gerçekleşen Kursık ve Basık idaresindeki Hunların bu akını, bölgedeki siyasi dengelerde önemli değişiklikler meydana getirdi. Hunlar 412- 420 arasında da bölgeye akınlar yaptı. İşte Erzurum Kalesi de bu dönemde inşa edilmiştir. Yukarıdaki farklı görüşlere paralel olarak kalenin 380/90’larda, 415 yılında veya 420’lerin başında yapıldığına dair fikirler ortaya atılmıştır. Bize göre kalenin 421 yılında inşa edilmiş olması kuvvetle muhtemeldir.
Theodosiopolis, kuruluşundan sonraki dönemde bölgenin merkezi ve askerî üssü haline geldi. Burası Yukarı Fırat vadisinin doğu ucunu güvence altına alan kilit bir noktaydı. Ayrıca Roma nüfuzu ve etkisi bu merkez üzerinden bölgeye yayılmaya başladı. Bu önemli kale kuruluşundan sonraki yaklaşık iki asır boyunca Bizans-Sasani mücadelesine sahne oldu. Bu mücadeleler sırasında Erzurum, sık sık tahribata uğradı. Burayı uzun süre elde tutamayacaklarını bilen Sâsânîler, kaleyi tahkim yerine tahrip ettiler. Fakat Bizanslılar bölgeyi kendi toprakları olarak kabul ettikleri için, her tahribattan sonra Erzurum Kalesi’ni Sâsânî tehdidine karşı yeniden kuvvetlendirdiler.