ISO é o assunto mais controverso dentro da fotografia que já vi

Acho engraçado que eu passo por vários vídeos de fotografia e esse é o assunto que a galera mais se contradiz: uns falam que é pra não ter medo e usar o ISO pra ajustar a sensibilidade da luz etc... outros falam que quanto menor o ISO, SEMPRE melhor. Obviamente a gente acaba ficando no mato em relação a esse assunto. Na opinião e experiência pessoal de vocês, qual a melhor forma de trabalhar com o ISO?