San Castore di Apt nacque a Nîmes, in Gallia, nell'attuale Francia, verso la metà del IV secolo. Secondo la tradizione agiografica, apparteneva a una famiglia agiata e, prima di intraprendere la vita religiosa, esercitò la professione di avvocato, distinguendosi per la sua rettitudine e per l'attenzione verso i più deboli. In seguito, ricoprì anche l'incarico di giudice.
Dopo essersi sposato, Castore decise, d'accordo con la moglie, di abbracciare la vita consacrata. La moglie entrò in una comunità religiosa femminile, mentre egli fondò il monastero di Mananque, conosciuto anche come monastero di San Faustino, nei pressi di Cavaillon, in Provenza. Inizialmente rifiutò di assumere la carica di abate, preferendo dedicarsi ai servizi più umili della comunità. In seguito, per obbedienza, accettò di guidare i monaci.
Desideroso di approfondire la disciplina monastica e di offrire ai suoi confratelli una guida spirituale fondata sulla tradizione dei Padri del deserto, Castore intrattenne una corrispondenza con san Giovanni Cassiano, monaco e autore di importanti opere sulla vita religiosa. Su sua richiesta, Cassiano raccolse insegnamenti e testimonianze degli asceti d'Egitto nelle celebri Conferenze, uno dei testi fondamentali della spiritualità monastica occidentale.
Intorno al 419, Castore fu eletto vescovo di Apt, in Provenza. È considerato il primo vescovo di questa città di cui si conservi una documentazione storica certa. Una lettera di papa Bonifacio I, datata 13 giugno 419, menziona il suo nome tra i vescovi incaricati di esaminare le accuse rivolte a Massimo, vescovo di Valenza. Questo documento costituisce una delle principali testimonianze storiche del suo episcopato.
Come vescovo, Castore si dedicò alla cura della comunità cristiana e all'assistenza dei poveri e dei prigionieri. Secondo la tradizione, trasformò una prigione di Apt in una cappella dedicata a Cristo Salvatore. Nonostante gli impegni pastorali, continuò a mantenere i legami con il monastero da lui fondato.
Le fonti agiografiche tramandano diversi episodi prodigiosi legati alla sua vita. Tra questi, si racconta che riuscì a recuperare una veste di lana da un forno ardente senza riportare ustioni. Un'altra tradizione narra che, durante un viaggio compiuto in una notte di tempesta, il vento non riuscì a spegnere il cero portato dal suo diacono.
San Castore morì ad Apt intorno al 426, anche se alcune fonti agiografiche indicano il 21 settembre 420. Fu sepolto inizialmente nella cappella del Santissimo Salvatore. In seguito, le sue reliquie furono trasferite nella cattedrale di Apt, dove vennero custodite e venerate.
San Castore è ricordato dalla Chiesa il 21 settembre. È venerato come patrono di Apt e il suo culto è legato anche alla città di Nîmes, sua presunta città natale. Nell'iconografia tradizionale viene talvolta raffigurato con un cinghiale accanto a sé, in riferimento a un episodio leggendario secondo il quale avrebbe salvato un cinghiale inseguito dai cacciatori, offrendogli protezione.