تقع بقايا قلعة بزيب والكنيسة التي بنيت في القرنين التاسع والعاشر على الجانب الأيسر من الطريق، على تلة صخرية حيث يندفع النهر ذهاباً من الممر. وعلى الجانب الأيسر في قمة التل يمكنك رؤية ما تبقى من كنيسة القلعة. على المنصة المنخفضة يوجد آثار لقصر كان ملكاً لأسرة إقطاعية أبخازية. القلعة كانت تحمي مدخل الممر الضيق وتدافع عن الطريق المؤدي إلى الممر الجبلي لمنطقة شمال غرب القوقاز. حتى يومنا هذا يمكنك رؤية بقايا سبعة أبراج مربعة ومستديرة الشكل بالإضافة إلى جدار القلعة مع البوابات الغربية والشرقية.

عندما تم بناء السكك الحديدية في عام 1914-1916، تم تدمير بعض من جدران القلعة. ترتفع اليوم الأعمدة الحجرية على جانبي بزيب .

 كنيسة قلعة بزيب، والتي تقع في الجزء العلوي من التل، تتألف من ثلاثة بلاطات وثلاثة حنيات. طول الكنيسة هو 13.5 متر وعرض المذبح هو 3.5 متر. تم بناء الكنيسة بألواح الحجر الكلسية المستطيلة الشكل والمتوضعة بصفوف متساوية, نوافذ الكنيسة أنيقة وطويلة، وزينت بأقواس بيزنطية مع منحوتات حجرية. المذبح له ثلاث نوافذ مع أرصفة ضيقة، وهناك أيضا نوافذ على كل جانب وفوق الأبواب الواسعة على الجدران الجنوبية والشمالية والغربية.