Originalmente, se encontraba en la esquina de las actuales calles Perú y Alsina, en un edificio que había pertenecido a los desterrados Jesuitas. En 1784, se dispuso que la Hermandad de la Santa Caridad se hiciera cargo de su dirección y se muda la Casa a otro edificio (en las calles Moreno y Balcarce). En 1823, la Casa pasa a depender de la Sociedad de Beneficencia. En 1852, su Director, Francisco Javier Muñíz es designado Profesor Titular de la Cátedra de Partos, Enfermedades de Niños, Recién Paridas y Medicina Legal, haciendo que la Casa sea también cuna de la enseñanza de la pediatría en Argentina y América del Sur.

En 1873, se traslada a su emplazamiento actual en un terreno ubicado en lo alto de la Barranca de Santa Lucía siendo sus directores, a partir de ese período, los Dres. Juan A. Argerich, Juan M. Bosch y Ángel Centeno.

En 1905, gracias a importantes donaciones se logra reedificar casi por completo al hospital, contando en ese momento con 450 camas. Entre 1935 y 1946, el director del hospital, Dr. Pedro de Elizalde, es quien enriquece la actividad científica del hospital.

En 1948, el hospital pasa a depender del gobierno nacional; en 1961 se le impone el actual nombre del Hospital Pedro de Elizalde, y en 1963 pasa al ámbito del Gobierno de la Ciudad de Buenos Aires. Después de innumerables refacciones y modificaciones menores, en 2005 se inaugura el nuevo edificio.

En diferentes ocasiones, por imperio de las tribulaciones económicas y erráticas políticas sanitarias estuvo a punto de ser desactivado. Sin embargo, el hospital persistió, consolidándose como una institución médica de reconocido prestigio asistencial, manteniendo su abnegada y silenciosa tarea al servicio de los más necesitados.