El Palacio de los Vargas o Palacio de la Casa de Campo es un edificio de origen renacentista situado en Madrid, vinculado históricamente a la monarquía española y propiedad municipal en la actualidad.
Su nombre hace referencia a la familia de los Vargas, a la que se debió su construcción. Este linaje, uno de los más influyentes del Madrid antiguo, poseía otras residencias en la capital, como la Casa de Iván de Vargas, el palacio existente en la plaza de la Paja y el actual Museo de San Isidro.
Según Fray Lorenzo de San Nicolás , el palacio fue edificado en 1519, cuando la Casa de Vargas estaba encabezada por Francisco de Vargas y Medina.
El Palacio de los Vargas fue concebido como una villa suburbana, con una clara función de recreo. De ahí su ubicación en lo que entonces eran las afueras de Madrid, dentro de un paraje forestal, junto a las riberas del río Manzanares y del arroyo Meaques.