La ciudad fue fundada en 1890 como un fuerte por la "Columna Pionera", un grupo mercenario organizado por Cecil Rhodes. La ciudad fue originalmente llamada Salisbury en honor al Tercer Marqués de Salisbury, quien en ese entonces era el Primer Ministro del Reino Unido. Obtuvo el estatuto de ciudad en 1935. Salisbury fue en aquel entonces la capital de la Federación de Rhodesia y Nyasalandia desde 1953 hasta 1963.

El nombre de la ciudad fue cambiado a Harare el 18 de abril de 1982, en el 2ó aniversario de la independencia de Zimbabwe, el nombre se deriva del nombre del Jefe de la tribu shona, Neharawa.

A comienzos del siglo XXI, Harare había sido gravemente afectada por la crisis política y económica que dominaba a Zimbabwe, después de la difícil elección presidencial del 2002 y las elecciones parlamentarias del 2005. La junta parlamentaria que se eligió fue remplazada por una comisión gubernamental por supuesta ineficiencia, pero servicios esenciales como limpieza publica y reparamientos de calles han empeorado rápidamente. En mayo de 2006 el periódico zimbabueño Financial Gazette, describió la ciudad en una editorial como una "ciudad hermosa convertida en un basurero"[1]

En mayo de 2005 el Gobierno de Zimbabwe demolió varios asentamientos informales en Harare y otras ciudades del país, en lo que se denominó Operation Murambatsvina (Operación "Sacar la Basura"). Esto causó una fuerte reacción por medio de la comunidad internacional porque se llevó a cabo sin ningún aviso previO, y ningún plan de albergue alternativo fue previsto para albergar a todos aquellos desplazados. Se ha rumorado que el plan fue parte de una campaña para castigar a la gente pobre urbana que esta del lado del partido de oposición, Movement for Democratic Change (Movimiento Para el Cambio Democrático) y para reducir las posibilidades de protestas y acciones en contra del gobierno echando a los opositores de la ciudad. El gobierno dijo que se hizo con el fin de reducir el crimen y las epidemias.