След като приема монашеството напуска манастира и се скита на много места. Накрая се установява в Рила и основава Рилския манастир. В края на живота си светецът се отдава на уединение в молитви Богу. Умира през 946 г. и е погребан в малката манастирска църква на Светата Рилска обител.
Около 980 г. мощите му са открити и пренесени в София, а той е канонизиран за светец. През 1183 г. унгарският крал Бела III отвоюва Средец от византийците и отнася мощите му в Унгария, откъдето са върнати след четири години. След Освобождението на България от византийско робство Цар Асен I ги пренася в столицата Търново през 1195 г. Св. Йоан Рилски е почитан като общобългарски светец, но славата му се разнася из целия Балкански полуостров и в Русия.