Иоанн родился в конце 9 века в благочестивой семье в селе Скрино. Мальчик рано остался сиротой и стал работать пастухом. Однажды хозяин стада избил Иоанна за то, что у него пропала корова с теленком. Мальчик обратился с молитвой к Богу, и пропажа чудесным образом нашлась, а пастух перенес теленка через реку, идя по воде как по суше. Хозяин, увидев это, щедро наградил Иоанна. Позже Иоанн поступил послушником в один из близлежащих монастырей и принял иноческий постриг. Юноша поселился один в лесной хижине. Однажды на его жилище напали разбойники, и Иоанн был вынужден переселиться в пещеру. Там он прожил 12 лет, творя молитвы и соблюдая пост. В конце концов слава о преподобном распространилась по свету, и к нему начали приходить больные, ища у него исцеления.

Он несколько раз менял место обитания, спасаясь от внимания людей. Однако вокруг пещеры Иоанна всегда селились паломники, искавшие уединения. Так возник монастырь, а преподобный Иоанн стал игуменом. Перед смертью святой избрал преемника, а сам удалился в пещеру, где провел последние пять лет жизни.

Спустя 30 лет после кончины Иоанн явился игумену Рыльского монастыря и велел перенести его мощи в город Средец (ныне — София).