El Parque Vargas, ubicado en las avenidas 1 y 2, calle 1, tuvo su origen en 1895 cuando la United Fruit Co. donó el terreno para su creación en Limón. Gracias al esfuerzo del Gobernador de la Provincia, Balvanero Vargas, se llevó a cabo el proyecto con dedicación. Vargas supervisó personalmente la importación de árboles tropicales desde Cuba y Jamaica, como laureles de la India, crotones y palmeras, mientras que el diseño del parque estuvo a cargo del francés Andrés Bonife, residente en Martinica, inspirado en el estilo clásico de Versalles. Este espacio de 16,800 m2 se convirtió en un oasis tropical con vegetación densa que crea un microclima.

En 1905, en honor a Balvanero Vargas, el parque fue oficialmente nombrado Parque Vargas. A fines del siglo XIX, se instaló un quiosco prefabricado de estilo victoriano, reemplazado en 1911 por otro de concreto armado de influencia neoclásica, diseñado por César Rivaflecha. Este último presenta una planta octogonal, columnas en las esquinas, cuatro escalinatas y decoraciones vegetales y animales propias del art nouveau. El 26 de junio de 1995, fue declarado patrimonio histórico arquitectónico.