Sở Tài nguyên và Môi trường thành phố Hồ Chí Minh được thành lập theo Quyết định số 121/2003/QĐ-UB ngày 18/7/2003 của Ủy ban Nhân dân Thành phố trên cơ sở bộ máy tổ chức thuộc lĩnh vực địa chính của Sở Địa chính - Nhà đất và tiếp nhận các tổ chức thực hiện chức năng quản lý Nhà nước về tài nguyên nước, tài nguyên khoáng sản, môi trường từ Sở Nông nghiệp và phát triển nông thôn, Sở Khoa học - Công nghệ và Môi trường, Sở Công nghiệp và Sở Giao thông Công chính.