सोलापूरचे ग्रामदैवत सिद्धरामेश्वरांचे आराध्य आहेत श्री मल्लिकार्जुन. सिद्धरामेश्वरांच्या हयातीत म्हणजे 900 वर्षांपूर्वी किल्ला परिसरात स्वत: सिद्धरामेश्वरांनी मल्लिकार्जुन मंदिराची स्थापना केली. याच वेळी गुरूच्या चरणी तीर्थ असावे म्हणून तलाव खोदला. त्यावेळी येथे किल्ला नव्हता. कालांतराने आक्रमण काळात हे शिवलिंग सुरक्षित राहावे म्हणून 16 व्या शतकात उत्तर कसब्यातील आता असलेल्या जागेवर मल्लिकार्जुन मंदिराची स्थापना करण्यात आली. किल्ला परिसरातील मंदिराप्रमाणेच या मंदिराचे खांब बनवले गेले. आजही शहराच्या भुईकोट किल्ल्यात या मंदिराचे अवशेष सापडतात. सिद्धेश्वर देवस्थान समितीच्या अधिपत्याखाली असलेल्या या मंदिराचे वैशिष्ट्य म्हणजे काळ्या पाषाणात बांधण्यात आलेल्या हेमाडपंथी बांधकामाचा हा उत्कृष्ट नमुना आहे. 300 बाय 250 फूट क्षेत्रफळाच्या या पुरातन मंदिरात मजबूत आणि कोरीव असे 22 खांब असून गेल्या 400 वर्षांपेक्षा अधिक काळापासून ते आहे त्या स्थितीत आहेत. बाळीवेस परिसरात असणार्‍या मल्लिकार्जुन मंदिराचे आणखी एक वैशिष्ट्य म्हणजे हे मंदिर आंध्रातील श्रीशैल येथील मल्लिकार्जुन मंदिराची प्रतिकृती आहे. सिद्धेश्वरांनी स्थापित केलेल्या 68 पैकी 3 लिंग येथे आहेत.