Met het verschijnen begin 1957 in het Staatsblad van de statuten zag onze vzw officieel het levenslicht onder de benaming Kultuurbibliotheek voor West-Vlaanderen vzw. Stichter kanunnik R. Stock had immers het plan opgevat om samen met de provincie een cultureel centrum op te richten en daar zou de bibliotheek in passen. Tijdens de jarenlang aanslepende besprekingen hierover met de provincie werden ondertussen wel reeds boeken aangekocht. Omdat de besprekingen uiteindelijk niets opleverden, besliste kanunnik Stock dan maar in februari 1964 om de bibliotheek volledig zelf te realiseren. De bibliotheek was gevestigd in het salon op de eerste verdieping langs de voorkant van het oud herenhuis van Caloen, in de Noordzandstraat. 

Omdat de provincie een eigen bibliotheek oprichtte, ontstond er bij het publiek naamsverwarring met onze bibliotheek. Na ruggenspraak met Ludo Valcke, van de provinciale dienst voor cultuur, werd besloten onze naam in te korten tot Kultuurbibliotheek vzw. Kan. Stock had indertijd voor de progressieve spelling gekozen maar de officiële spelling werd ‘cultuur’ en dus werd ook de bibliotheeknaam later aangepast in Cultuurbibliotheek vzw.

​

Tegen dan was de bibliotheek reeds tweemaal verhuisd: eerst naar het Grootseminarie en in de kerstvakantie van 1980 naar het Sint-Lodewijkscollege. Directeur Gaby Buyse stelde toen een paviljoen (een ex- sportzaaltje) ter beschikking voor de bibliotheek. Er werd een leeszaal en een magazijn ingericht en de oude drukken kregen een beveiligde kamer. De twee parttime bibliotheekmedewerkers werden ondergebracht in een tussengang.