بعد از عزل حامد بن العباس و روی کار آمدن ابوالحسن علی بن محمد بن الفرات و وزارت سوم او شلمغانی به مناسبت بستگی که پسر وزیر جدید یعنی محسن او داشت او را به خود نزدیک کرد و چون در این تاریخ قرامطه بر کاروان حجاج زده و بسیاری از ایشان را که از مردم بغداد بودند کشته بودند و اهل دارالخلافه بر او و بر پدرش قیام نموده و ایشان را به مشارکت با قرامطه متهم می ساختند.

محسن برای جلوگیری از حمله مخالفین و افشای اموالی که از مردم گرفته بود شلمغانی را در دستگاه وزارت داخل کرد و او را به جای جمعی از عمال دیوانی گذاشت و به دستیاری او و کسان دیگر جماعتی را به بهانه مطالبه بقایا به دست آورده مثل گوسفند سر برید (معجم الادباء یاقوت ج 1 ص 296 – و تجارب الامم ج 5 ص 123). بعد از قتل ابوالحسن بن الفرات و پسرش محسن و روی کار آمدن ابوالقاسم خاقانی که وزارت او از 8 ربیع الاول 312 تا رمضان 313 می باشد شلمغانی مختفی شد و از ترس به موصل گریخت و در همین ایام، یعنی در ذی الحجه سال 312 بوده که حسین بن روح از محبس توقیعی در لعن او صادر کرده.

شلمغانی درموصل چند سال پیش امیر ناصرالدوله حسن ماند و در این ایام در مغلثایا از آبادیهای نزدیک جزیره ابن عمر پنهان بود و در همین زمان بوده است که ابوالفضل محمد بن عبدالله بن المطلب تألیفات شلمغانی را پیش خود او خوانده و از شلمغانی اجازه روایت آنها را گرفته است. رجال نجاشی ص 268 نجاشی و طوسی بالغ بر 18 کتاب و رساله از تألیفات شلمغانی آورده اند مانند کتاب التکلیف، کتاب مایه العصمه، کتاب الزاهر بالحجج العقلیه، کتاب المباهله، کتاب الاوصیاء، کتاب المعارف، کتاب فضل النطق علی الصمت، کتاب الانوار، کتاب التسبلیم، کتاب الامامه بزرگ، کتاب الامامه کوچک و غیره.