Đền Ngọc Sơn, một di tích nổi tiếng ngay tại trung tâm thủ đô Hà Nội, có một giá trị đặc biệt do nằm trong Hồ Gươm, một danh thắng đồng thời là di tích lịch sử.
Hồ xưa rất rộng, là một khúc sông Nhị còn lưu lại trên đất liền, sau khi sông đổi dòng, và có những con đê đắp lên để ngăn chặn lụt lội, bảo vệ cuộc sống cùng tài sản con người ở ven sông.
Theo sách La Thành cổ tích vịnh của Trần Bá Lãm (1757 - 1815), hồ từng là nơi tập thủy quân dưới triều Trần, nên có tên là Đầm Thủy Quân. Lại theo sách Hoàng Việt địa dư chí của Phan Huy Chú (1782 - 1840), Lê Thái Tổ một hôm dạo chơi trên hồ, có con rùa lớn nổi lên, vua cầm gươm chỉ, rùa liền đớp lấy gươm lặn xuống nước, nên có tên là Hồ Hoàn Kiếm (Hồ trả lại thanh gươm vua được thần trao cho để đánh đuổi quân Minh xâm lược), gọi tắt là Kiếm Hồ (Hồ Gươm).
Sang thời Lê Trung Hưng, sau khi Chúa Trịnh lập phủ chúa ở phía Nam Tháp Báo Thiên (khu vực phố Nhà Chung hiện nay), một con đường đã được đắp từ Cửa Nam thành tới lầu Ngũ Long (khoảng Viện Bảo tàng lịch sử hiện nay), chia hồ thành 2 phần: nửa bên trái là Tả Vọng, nửa bên phải là Hữu Vọng (“Vọng” ở đây có nghĩa là nhìn về phủ chúa). Hồ Hữu Vọng về sau bị lấp dần, dấu vết còn lại là phố Vọng Đức (tên một thôn của thế kỷ XIX, do 2 thôn Hữu Vọng và Đức Bác hợp nhất mà thành). Còn Hồ Tả Vọng tức phần Hồ Gươm còn lại đến ngày nay.
Phía tây bắc Hồ Tả Vọng có một gò đất tên là Tượng Nhĩ Sơn (núi tai voi). Lý Thái Tổ sau khi định đô ở Thăng Long (1010) đổi tên gò là Ngọc Tượng Sơn (núi Voi Ngọc), và tới đời Trần, gọi tắt là Ngọc Sơn (núi Ngọc). Lúc này trên gò đảo đã có một ngôi chùa nhỏ, nhưng lâu ngày thành xiêu vẹo. Đến đời Lê Vĩnh Hựu (1735 - 1739), chúa Trịnh Giang dựng lên cung Khánh Thụy ở đây và đắp hai quả núi phía đông, đối diện với Ngọc Sơn, gọi là Ngọc Bội và Đào Tai để kỷ niệm chiến thắng năm 1751 của Trịnh Doanh bắt được Nguyễn Danh Phương, một lãnh tụ nông dân khởi nghĩa.
