Ciao, la prima cosa da tenere in considerazione è che le prestazioni sono influenzate moltissimo dal template che usi. Se il template installato è ottimizzato e scritto come si deve è intrinsecamente molto più leggero e prestante, se invece carica librerie iniutili, non utilizza best practice di programmazione ecc.. il tuo sito sarà molto più lento anche a parità di Joomla che ci sta sotto.
Detto questo: Joomla di per se è molto veloce. Un sito fatto con Cassiopeia non ha assolutamente bisogno di estensini tipo JCH. Per esperienza non ce n'è bisogno neanche su un sito fatto con Yootheme. Se il tuo sito usa un template molto pesante invece può avere senso, anche solo per minimizzare/ottimizzare il codice o usare features come il lazy load.
In generale se tra attivo e non attivo le differenze sono minime penso non valga la pena tenere un plugin (anche abbastanza invasivo) come JCH per pochi punti percentuali che non fanno veramente la differenza.
Valuta anche sistemi di cache lato server tipo Litespeed, aiutano senza essere troppo invasivi sul codice del sito.
Ciao!