I use beautiful soup to parse data from site. I have problem there is a text in tag on site but I gets an empty tag (without data).
I want to solve this without selenium and web-drivers.
My code:
import requests
import lxml
from bs4 import BeautifulSoup as BS
get_data = requests.get('https://dentalia.com/clinica/')
html = BS(get_data.content, 'lxml')
print(html.find_all('div', 'elementor elementor-330'))
>Solution :
The data you see is loaded dynamically using JavaScript. To load the data you can try next example:
import requests
from bs4 import BeautifulSoup
url = "https://dentalia.com/clinica/"
data = {
"action": "jet_engine_ajax",
"handler": "get_listing",
"page_settings[post_id]": "5883",
"page_settings[queried_id]": "344706|WP_Post",
"page_settings[element_id]": "c1b6043",
"page_settings[page]": "1",
"listing_type": "elementor",
"isEditMode": "false",
}
data = requests.post(url, data=data).json()
soup = BeautifulSoup(data["data"]["html"], "html.parser")
for item in soup.select(".jet-listing-grid__item"):
title = item.h3.text
addr, tel, horario = map(
lambda x: x.get_text(strip=True).replace("\r", "").replace("\n", ""),
item.select(".jet-listing-dynamic-field__content"),
)
print(f"{title:<30} {addr[:30]:<30} {tel[:30]:<30} {horario[:30]}")
Prints:
Encuentro Oceanía Av. del Peñón 355, Moctezuma 2 Teléfono(s): (55) 5766-9999 (5 Horario: Jue a Mar 11am a 8pmM
Galerías Monterrey Av Insurgentes 2500-Local 737, Teléfono(s): (81) 81 23 36 29 Horario: L a V 9am a 8pmS y D
Península Tijuana Vía Rápida Ote. 15000 Chapulte Teléfono(s): (664) 423 0960(66 Horario: L a V 9am a 8pmS y D
Galerías Atizapán Avenida Ruiz Cortines número 2 Teléfono(s): (55) 41 23 75 18 Horario: Lunes a Viernes 9:00
Acoxpa Calz. Acoxpa 430, Ex-Hacienda Teléfono(s): (55) 5677-2198 (5 Horario: Lun - Vie: 10:00 a 20
Santa Fe Vasco de Quiroga 3800, Lomas d Teléfono(s): (55) 4737 8430(55 Horario: Lun - Dom: 11:00 a 20
Las Misiones Boulevard Teófilo Borunda 8681 Teléfono(s): (656) 478-7700(65 Horario: Lun - Dom: 11:00 a 20
Galerías Mérida Calle 60 299-X3 y 3A Local: 26 Teléfono(s): (99) 9941-5665 (9 Horario: Lun - Dom: 11:00 a 20
Altabrisa Calle 7 451, Fraccionamiento A Teléfono(s): (99) 9211-0274 ( Horario: Lun - Vie: 9:00 a 21:
Playa del Carmen Calle Quinta Avenida 156, Gonz Teléfono(s): (98) 4803-0461 ( Horario: Lun - Vie: 9:00 a 20:
Urban Center Cancún Blvd. Luis Donaldo Colosio Sup Teléfono(s): (99) 8882 1395 ( Horario: Lun - Vie: 9:00 a 20:
Real Center Av. Santa Margarita 3600, Frac Teléfono(s): (33) 1371 5223 ( Horario: Lun - Vie: 9:00 a 21:
Midtown Jalisco Avenida Adolfo López Mateos No Teléfono(s): (333) 817-1929 (3 Horario: Lun - Vie: 9:00 a 21:
Gran Plaza Av. Vallarta 3959 Local G-2, D Teléfono(s): (33) 3621-1851 (3 Horario: Lun - Vie: 9:00 a 21:
Galerías Guadalajara Avenida Rafael Sanzio #150, Lo Teléfono(s): (33) 3632-1745 ( Horario: Lun - Vie: 9:00 a 21:
Andares Blvd. Puerta de Hierro 4965, P Teléfono(s): (33) 36 11 17 25 Horario: Lun - Vie: 9:00 a 9:0
Chihuahua Av. Periférico de la Juventud Teléfono(s): (614) 430-3127 Horario: Lun - Vie: 10:00 a 19
Paseo Chapultepec Blvd. Agua Caliente 10387, Nei Teléfono(s): (664) 681-8528 ( Horario: Lun - Vie: 9:00 a 20:
City Center Pitic Boulevard José María Morelos y Teléfono(s): (662) 211-1347 ( Horario: Lun - Vie: 11:00 a 20
Galerías Hermosillo Blvd. Cultura 55 Oriente, Loca Teléfono(s): (662) 212-1961 (6 Horario: Lun - Vie: 9:00 a 20:
Galerías Saltillo Blvd. Nazario Ortiz Garza No. Teléfono(s): (844) 485-1749 ( Horario: Lun - Dom: 11:00 a 20
Galerías Laguna Av. Periférico Raúl López Sánc Teléfono(s): (871) 750-8099 (8 Horario: Lun - Dom: 11:00 a 20
Galerías Valle Oriente Av. Lázaro Cárdenas No. 1000 L Teléfono(s): (81) 8486-0015 Horario: Lun - Vie: 9:00 a 20:
Multiplaza Av. Miguel Alemán 5054, Local Teléfono(s): (81) 8850-4121 ( Horario: Lun - Vie: 9:00 a 20:
Fiesta San Agustín Av. Real San Agustin 222, LOCA Teléfono(s): (818) 363-1481 (8 Horario: Lun - Vie: 9:00 a 20:
Citadel Av. Rómulo Garza 410, Local B- Teléfono(s): (818) 240-9650 (8 Horario: Lun - Vie: 9:00 a 20:
Fiesta Anáhuac Nte., Av. Manuel L. Barragán 3 Teléfono(s): (81) 8332-2975 (8 Horario: Lun - Dom: 10:00 a 19
San Luis Blvd. Antonio Rocha Cordero 70 Teléfono(s): (44) 4817 4435 ( Horario: Lun - Vie: 9:00 a 21:
Plaza mayor Blvd. Juan Alonso de Torres No Teléfono(s): (47) 7717 2580 (4 Horario: Lun - Vie: 9:00 a 21:
Altaria Blvd. A Zacatecas #849, L-1117 Teléfono(s): (44) 9925- 8100 Horario: Lun - Dom: 10:00 a 20
Plaza solesta Atlixcáyotl 4931, L-29 y L-35, Teléfono(s): (22) 2283-9713 ( Horario: Lun - Vie: 9:00 a 21:
Puerta la Victoria Av. Constituyentes Ote. 40, Me Teléfono(s): (422) 229-1010 (4 Horario: Lun - Vie: 8:00 a 21:
Urban Center Juriquilla Blvd. Jurica La Campana, 899 L Teléfono(s): (44) 2688-1100 ( Horario: Lun - Vie: 8:00 a 20:
Satélite Circuito Centro Comercial N. 2 Teléfono(s): (55) 1102 3864(55 Horario: Lun - Dom: 10:00 a 20
Parque Toreo oulevard Manuel Ávila Camacho Teléfono(s): (55) 5080 4862(55 Horario: Lun - Dom: 11:00 a 20