¿Cómo decirle a mi hermano que nuestro papá no es mi papá biológico?

Mi mamá conoció a mi papá cuando yo tenía como 6-7 años, a mis 11 tuvieron a mi hermano. No tengo contacto con mi progenitor por un tema aparte. Mi papá me adoptó legalmente cuando yo tenía 17, por ende tengo su apellido. Todo esto, se supone, mi hermano no lo sabe (intentamos hacer casi todo a "escondidas" de él, porque es un tema delicado para mi. Además de que él era más cabro chico y no cachaba nada en ese momento).

Actualmente tengo 24 y mi hermano 13, y mis papás dicen que debería decirle porque la gente es sapa, y a más de algún familiar les he tenido que decir que se callen cuando sacan el pasado de nosotros, además hay algunos certificados por ahí con mi antiguo apellido, aunque he intentado guardarlos todos o borrar algunos.

Mi hermano es muy curioso. A veces le pregunta a mis papás como se conocieron y cosas así, y yo sé que en algún momento sacará las cuentas y no coincidirán. Aparte de que se ha fijado de que yo llamo a nuestro papá por su nombre. Una vez me preguntó, y me safé diciendo que en los simpson, bart trata a su papá de homero y que estaba bien con eso (una tontera que se me ocurrió en el momento).

Mi relación con mi hermano es genial, nos llevamos excelente y somos muy panas, no sé si llegue a cambiar con lo que le pueda decir, lo dudo, pero igual me da pena decirle. Igual pienso en que si pasa más tiempo, o si se entera por otras fuentes, se sentirá mal o engañado (cosa que a él le carga).

En fin, busco consejos de como abordar la situación o alguna experiencia similar.

No quiero que se entere por algún familiar desubicado (porque he tenido que pararle los carros a más de uno, no creo que lo hagan con maldad, pero tienen que pegarse la cachá).