Tu pregunta es muy interesante y realmente se pueden ver resultados dispares.

Por ejemplo en el test n-body. Cogiendo el programa #2 en c++, se puede ver que el compilado con intel tarda 140 segundos mientras que el creado con el compilador GNU tarda 17 . En otros test pasa al contrario.

Es una diferencia tremenda para un código que es igual, pero en ese mismo test, se puede ver que un mismo codigo en java puede diferenciarse en 8minutos (ya no hablamos de segundos).

Según el tipo de test y el cálculo que se realize podemos ver que hay lenguajes que sorprenden y decepcionan, por ejemplo en binary-trees, queda primero Java por encima de C que está en un 5º lugar. Y otro ejemplo para acabar el regex-dna, se puede ver que python queda a la misma algura que C en los primeros puesto, mientras Lua se muere en el intento.

Esto por un lado nos demuestra que el compilador hace MUCHO, y por otro que tus sospechas no son infundadas, como bien dices: la eficacia de cada lenguaje varia segun la finalidad que estemos buscando con el programa.

Yo creo que los lenguajes de programación son como los zapatos, no hay mejores ni peores, cada uno se adapta a las necesidades, para ir a escalar no te vas a poner unas pantuflas, pero tampoco vas a llevar botas con crampones para andar por casa. Siempre hay guerras santas o FlameWars comparando absurdamente lenguajes, es como crear un hilo de qué es mejor, si un zapato de vestir o unos deportivos. Lógicamente la única forma de analizar es para "una aplicación en concreto" (una boda, una carrera, bucear, andar por la nieve), pero no existe el "zapato para todo".

Quizás C sea "la chancla romana", que la puedes usar donde quieras al igual que hicieron los romanos hace más de dos mil años, pero eso no significa que sea la mejor, sí la más versátil que es muy diferente.

PD: LOOOL (a mí mismo), A lo que llega uno con sus pensamientos, mira que comparar C con una Chancla Romana....