Fu costruita a partire dal 1664 a est del centro abitato su commissione del vescovo Alessandro Crescenzi. Il disegno architettonico è dell’artista bitontino Carlo Rosa, che insieme ai suoi allievi realizzò anche gli affreschi interni.

La chiesa fu edificata sul luogo dove vi era l’antica edicola con l’affresco della Crocifissione, opera del Rapestingo. L’affresco era ritenuto miracoloso, come testimoniano i numerosi ex voto che ancora oggi si vedono sull’antico muro che sporge nella Cappella della Vergine dei Sette dolori. Il luogo era stato donato con il testamento del 20 maggio 1529 da un certo Vincenzo de Riccis al Capitolo della cattedrale di Bitonto insieme all’annesso podere, a condizione che fosse incrementata la devozione dell’immagine sacra del santissimo Crocifisso. A seguito dell’aumento di devozione nei confronti dell’immagine sacra, l’edificio originario era divenuto insufficiente alle esigenze di culto.

Nel 2014 la parrocchia di San Silvestro, che da 40 anni ha come sede la Chiesa del Crocifisso mentre precedentemente era situata nel centro storico della città, ha festeggiato 9 secoli, 30 anni dall’inizio del sacerdozio dell’attuale parroco e il 350º anniversario dalla consacrazione della stessa Chiesa del Crocifisso, benedetta dal vescovo Tommaso Acquaviva, nel 1664. Inoltre, in occasione dell’evento, sono state presentate anche tre nuove opere pittoriche che il maestro Vito Cotugno ha donato alla comunità parrocchiale e che si aggiungono al numeroso patrimonio pittorico della seicentesca Chiesa.