Som ren selskapsklubb er St. Olavs Klub trolig den første av betydning i byen. Datoen for grunnleggelsen av klubben er onsdag 18. september 1799, men var antagelig aktiv en god stund før dette. Klubbens opprinnelige navn var Olufs Klub, og endret navn til St. Olavs Klub i 1923.
Klubben var allerede fra starten av en ren selskapsklubb med ukentlige klubbkvelder hver onsdag og ball hver tredje uke. Klubbkveldene gikk med til samtaler, avislesning, spill og ikke minst middager. På klubbkveldene hver onsdag var verten pålagt å servere «2-retters god varm mad» for minst 20 personer. Dertil ble det servert «Viin med mere».
Blant spillene stod kortspill høyt. Klubben hadde eget biljardrom allerede fra starten og et større bibliotek. Det er verdt å legge merke til at klubben arrangerte ball hver 3. søndag gjennom hele sesongen. Det tilsvarer hele åtte ballkvelder! På ballet ble det servert kald mat og buljong med de tradisjonelle drikkevarene punsj og bisp.
Klubben ble raskt populær og i perioder var det, og er også i dag, ekspektanseliste (venteliste) for opptak av nye medlemmer. De såkalte «Proponerende» ble innvotert i klubben med vanlig flertall etter hvert som plasser ble ledige.
Klubben har hatt lokaler i Børsen siden 1871.