Christophorus Buys Ballot koos de sterrenwacht Sonnenborgh in Utrecht als eerste locatie van het KNMI. In 1897 verhuisde het instituut naar De Bilt, hier is het nu nog gevestigd.
Buys Ballot kon het nut van een nationaal meteorologisch instituut hard maken. Vooral de scheepvaart zou kunnen profiteren van weersverwachtingen en stormwaarschuwingen om de veiligheid op zee te vergroten.
Bovendien kon weersinformatie leiden tot adviezen voor snelle vaarroutes. Daarmee was het maatschappelijk belang duidelijk. Gelijk bij de oprichting kreeg het KNMI de Koninklijke status.
Ook was er in de beginjaren internationaal een roep om meteorologische berichtgeving te coördineren en gegevens uit te wisselen.
Vanaf 1920 begon de luchtvaart gebruik te maken van specifieke weersverwachtingen. In 1938 opende het KNMI een filiaal op Schiphol, waarna andere luchthavens volgden. Door de ontwikkeling van automatische waarnemingen en de opkomst van internet worden de vliegvelden tegenwoordig grotendeels bewaakt door meteorologen vanuit de weerkamer in De Bilt.
In 1925 deed de tabelleer- en sorteermachine zijn intrede. Het KNMI was de eerste overheidsinstelling die hiermee tot automatische gegevensverwerking overging.
Na de Tweede Wereldoorlog braken gouden tijden aan: meer weerstations, weerschepen, boeien, ballonen, radar, satellieten en computers gaven de meteorologie nieuwe impulsen. Er kwamen ook steeds meer gegevens binnen van weerstations. De informatie was al snel niet meer handmatig te verwerken.
Door internationale samenwerkingsverbanden verbeterde de hele meteorologische wereld. De onderzoekers krijgen steeds meer vat op de ingewikkelde fysische processen en het klimaatsysteem. Als klimaatinstituut speelt het KNMI vanaf het begin een leidende rol, zeker de laatste decennia nu klimaatproblematiek hoog op de politieke agenda staat. In vogelvlucht door de geschiedenis van klimaatwetenschap bij het KNMI.
Naamsbekendheid dankt het KNMI vooral aan de dagelijkse weerberichten. Al in 1924 zond het instituut via een eigen zender weerberichten de ether in en vanaf 1936 zit het weer in de nieuwsdienst. Daarnaast waren er rubrieken met weerpraatjes. Ook bij de start van de tv was het KNMI van de partij en er verscheen een weerman op de buis.
Rond 1985 ging de commercie in de meteorologie een rol spelen. Tegenwoordig verzorgt de particuliere weermarkt de weerpresentaties in de media (radio, tv en krant), waarbij de commerciële weerproviders hun verwachtingen grotendeels baseren op onze data en modelverwachtingen. De bekende weerpresentatoren van tv zijn dus niet in dienst van het KNMI. Eén van de hoofdactiviteiten van het publieke KNMI is het uitgeven van waarschuwingen. Deze doelstelling speelde ook bij de oprichting in 1854 een rol.