El Casal fou fundat sota els auspicis de l’església com a sindicat agrícola el 1929, funció que no va arribar a fer mai, i tot just creat es va construir un local social amb sala per a espectacles situat al bell mig del Prat de Sullà que començava a ser urbanitzat.En un principi portava el nom de “Sindicato Agrícola Católico- Cultural” de Tremp, aquest sindicat té un marcat caire religiós i la “junta censora” estava formada per membres del clergat i per pares de família de marcada religiositat. Posteriorment, el nom va ser substituït per “Casal Popular de Cultura” que amb els anys va passar a denominar-se “Casal Catòlic Cultural” i que ha perdurat durant tot el segle XX fins a l’any 2000, que en motiu de la renovació d’estatuts per adaptar-los a la llei d’associacions catalana, passà a denominar-se “Casal Cultural de Tremp”.
Aquesta associació, per la seva durada i pel fet d’haver disposat sempre de local propi i adient és una de les agrupacions que ha tingut una major incidència ciutadana.
L’any 1931 els ciutadans de Tremp propietaris dels terrenys consecutius a l’edifici del Casal, cedeixen aquesta zona a l’associació per fer-hi unes pistes esportives, majoritàriament de tennis i de bàsquet.
Durant la Guerra Civil les activitats van estar gairebé paralitzades, tan d’aquesta entitat cultural com de les altres que hi havia al poble. Després de la Guerra però, es va tornar a iniciar un seguit d’activitats similars a les que s’havien fet abans. Algunes entitats culturals van ser tancades per una llei del Govern, però el Casal, potser pel seu caire catòlic i classista, es va mantenir actiu. Al llarg d’aquesta època es portaren a terme activitats força diverses, però l’activitat capdavantera per excel·lència durant tota la vida ha estat el teatre i en aquest període s’accentuà. Aquesta entitat es basava bastant en el calendari religiós a l’hora de les representacions però també es feien obres teatrals no religioses durant tot l’any.
L’any 1972 es comencen les obres a les pistes esportives per convertir-les en pavelló polisportiu, que duraran fins al 1974. Aquest polisportiu, amb diverses remodelacions, encara s’utilitza actualment i ha estat fins ara, l’unic que hi havia al poble; aquests darrers anys s’ha estat plantejant la necessitat d’una segona equipació esportiva i finalment s’està construint. Cal remarcar que aquesta construcció va provocar una greu crisi financera a l’entitat.
L’any 1985 es lloga el polisportiu a l’Ajuntament, ja que no disposava d’una zona esportiva pròpia i així en pot gaudir tota la població.
A finals del segle XX es vol fer una renovació a l’estructura de l’edifici que acull la seu de l’associació però no és possible perquè el pressupost és molt elevat. De forma que al 1997 comencen les negociacions amb l’Ajuntament per cedir els terrenys on hi ha l’edifici, per a la ubicació de la Biblioteca Comarcal. A canvi l’entitat vol una sala de l’edifici com a seu.
Actualment ja s’hi ha construït la Biblioteca Comarcal que porta el nom de "Biblioteca Maria Barbal", en honor a l'escriptora trempolina, la qual creu que a través de la literatura és una bona forma de donar a conèixer les terres del Pirineu, que es troben aïllades i són poc conegudes per la resta del territori. La biblioteca va ser inaugurada el passat mes d'abril amb gran expectació, ja que feia anys que la població reclamava la seva construcció.
Aquesta entitat ha estat la mare d’altres associacions que han anat sorgint de les diferents activitats que s’organitzaven i que encara perduren en l’actualitat; al 1964 es fundà el SAM (secció amics de la muntanya), també en sortí l’Orfeó de Tremp, el Grup Escènic del Casal, que més tard va desaparèixer i es creà el Teatremp, el Club Esquí, la Coral Polifònica, la Secció de Bonsais de Tremp, Amics de la Pintura i La Casa de Sol Naixent. Aquest any any però, també s'està posant en marxa una associáció gastronòmicaa través del Casal Cultural de Tremp.
