عالی حال و نیکو سیرت بود و اندر حقیقت رجا به حق تعالی قدمی تمام داشت؛ تا حُصری رحمة اللّه علیه گوید که: «خداوند تعالی را دو یحیی بود: یکی از انبیا و دیگر از اولیا. یحیی بن زکریا علیه السّلام طریق خوف چنان سپرد که همه مدعیان به خوف از فلاح خود نومید شدند و یحیی بن مُعاذ طریق رجا را چنان سپرد که دست همه مدعیان به رجا اندر خاک مالید.» گفتند: «حال یحیی ابن زکریا علیه السّلام معلوم است، حال این یحیی چگونه بود؟» گفت: «به من رسیده است که هرگز وی را جاهلیت نبود و و بر وی کبیره ای نرفت و اندر معاملت و برزش آن جدی داشت که کس طاقت وی نداشتی از اصحاب.»

گفتند: «ایها الشیخ، مقامت مقام رجاست و معاملت معاملت خایفان؟» گفت: «بدان ای پسر، که ترک عبودیت ضلالت بود و خوف و رجا دو قایمهٔ ایمان اند، محال باشد که کسی به برزش رکنی از ارکان ایمان به ضلالت افتد. خایف عبادت کند ترس قطیعت را، و راجی امید وصلت را. تا عبادت موجود نباشد نه خوف درست آید نه رجا، و چون عبادت حاصل بود این خوف و رجا، بجمله، عبارتی بود و آن جا که عبادت باید عبارت هیچ سود ندارد.»

وی را تصانیف بسیار است و نُکَت و اشارت بدیع و نخست کس از مشایخ این طایفه، از پس خلفای راشدین، که بر منبر شد وی بود. و من کلام وی را سخت دوست دارم که اندر طبع رقیق است و اندر سمع لذیذ و اندر اصل دقیق و اندر عبارت مفید.

از وی می آید که گفت: «الدّنیا دارُ الْأَشْغالِ و الآخِرَةُ دارُ الاهْوالِ، ولا یزالُ العبدُ بَیْنَ الأشغالِ و الأهوالِ حتّی یستَقِرَّ به القرارُ، اِمّا إلَی الجَنَّةِ و اِمّا إلی النّارِ.» دنیا جایگاه اشغال است و عقبی محل اهوال و پیوسته بنده میان اشغال و بیم است تا بر چه قرار گیرد، اما با نعیم آرامد و اما اندر جحیم نالد. خنک آن دلی که از اشغال دنیا رسته باشد و از اهوال آخرت ایمن شده. همت از این هر دو سرا بگسسته باشد و به حق پیوسته.

و مذهب او آن بود که غنا را بر فقر فضل نهادی و چون وی را اندر ری وام بسیار برآمد قصد خراسان کرد. چون به بلخ رسید مردمان وی را بازداشتند تا آن جا مدتی سخن گفت و پند و عِشَت داد هر یک را، و صد هزار درم سیم مردمان وی را خدمت کردند. چون بازگشت تا به ری باز رود دزدان بر وی خوردند و آن همه از وی بستدند. وی مجرد به نشابور آمد وفاتش آن جا بود اندر جملهٔ احوال عزیز بود و وجیه، میان خلق.