Programació del WebScraping

# ============================================ # SCRAPER RECURSIU AMB BEAUTIFULSOUP # Autor: Tarik Aberdane | Versió: 3.0 # ============================================ import requests from bs4 import BeautifulSoup from collections import deque import time, json, hashlib, random from urllib.parse import urljoin, urlparse class WebScraper: def __init__(self, base_url, delay=0.5, timeout=10): self.base_url = base_url self.visited = set() # Cache d'URLs visitades self.queue = deque([base_url]) # Cua de treball self.delay = delay self.timeout = timeout self.data = [] # Dades extretes self.content_hash = set() # Evitar duplicats per contingut def extract_content(self, soup, url): """Extreu el contingut net de la pàgina evitant brossa HTML""" content = { "url": url, "titol": "", "contingut": [], "data_scraped": time.strftime("%Y-%m-%d %H:%M:%S") } title_tag = soup.find('h1') if title_tag: content["titol"] = title_tag.get_text(strip=True) for tag in soup.find_all(['h1', 'h2', 'h3', 'p', 'li']): text = tag.get_text(strip=True) if text and len(text) > 10: if not any(skip in text.lower() for skip in ['menu', 'cerca', 'login']): content["contingut"].append({"tipus": tag.name, "text": text}) return content if content["contingut"] else None def get_internal_links(self, soup, current_url): """Troba tots els enllaços interns de la pàgina""" links = [] for a in soup.find_all('a', href=True): full_url = urljoin(current_url, a['href']) clean_url = full_url.split('#')[0].split('?')[0] if (urlparse(full_url).netloc == urlparse(self.base_url).netloc and clean_url not in self.visited): links.append(clean_url) return links def request_with_retry(self, url, max_retries=3): """Petició HTTP amb reintents automàtics""" for attempt in range(max_retries): try: time.sleep(self.delay + random.uniform(0.1, 0.3)) r = requests.get(url, timeout=self.timeout, headers={'User-Agent': 'Mozilla/5.0 (compatible; TarikBot/1.0)'}) if r.status_code == 200: return r else: print(f"⚠️ HTTP {r.status_code} a {url}"); return None except requests.exceptions.Timeout: print(f"⏰ Timeout (intent {attempt+1}/{max_retries})") except requests.exceptions.ConnectionError: print(f"🔌 Error de connexió a {url}"); return None return None def scrape(self): """Executa el scraping recursiu""" print(f"🚀 Iniciant scraping de {self.base_url}") while self.queue: url = self.queue.popleft() if url in self.visited: continue r = self.request_with_retry(url) if not r: continue soup = BeautifulSoup(r.text, 'html.parser') content = self.extract_content(soup, url) if content: h = hashlib.md5(str(content["contingut"]).encode()).hexdigest() if h not in self.content_hash: self.content_hash.add(h); self.data.append(content) print(f"✅ Extret: {content['titol'][:50]}") for link in self.get_internal_links(soup, url): if link not in self.visited: self.queue.append(link) self.visited.add(url) print(f"🏁 Fi! {len(self.data)} pàgines processades") return self.data def save_to_json(self, filename="dades_tarik_total.json"): output = { "metadata": {"version": "3.0", "data_scraped": time.strftime("%Y-%m-%d %H:%M:%S"), "total_pagines": len(self.data), "base_url": self.base_url}, "contingut": self.data } with open(filename, 'w', encoding='utf-8') as f: json.dump(output, f, ensure_ascii=False, indent=2) print(f"💾 Guardat a {filename}")

def request_with_retry(url, max_retries=3, timeout=10): """Petició HTTP amb reintents i jitter aleatori""" for attempt in range(max_retries): try: time.sleep(self.delay + random.uniform(0.1, 0.3)) # jitter response = requests.get(url, timeout=timeout, headers={'User-Agent': 'Mozilla/5.0 (compatible; TarikBot/1.0)'}) if response.status_code == 200: return response elif response.status_code in [404,403,500]: return None except requests.exceptions.Timeout: print(f"⏰ Timeout (intent {attempt+1}/{max_retries})") if attempt == max_retries - 1: return None except requests.exceptions.ConnectionError: print(f"🔌 Error de connexió a {url}") return None except Exception as e: print(f"❌ Error inesperat: {e}") return None return None

# Exemple de conversa amb IA per depurar un timeout [USUARI] El meu scraper es queda penjat quan una pàgina triga massa a respondre. Com ho soluciono? [IA - Gemini] Afegeix un timeout a la petició i captura l'excepció específica: try: response = requests.get(url, timeout=10) except requests.exceptions.Timeout: print(f"Timeout a {url}, saltant...") continue Per a pàgines que fallen temporalment, afegeix reintents automàtics. # Resultat: vaig implementar request_with_retry() amb max_retries=3

# XatBot Talent 2026 – WebScraper ## 🚀 Descripció Scraper recursiu en Python per extreure contingut del WordPress personal i convertir-lo en una base de dades JSON per al XatBot. ## 🛠️ Tecnologies - Python 3.10+ · BeautifulSoup4 · Requests · JSON ## 📁 Estructura - `scraper.py` — Script principal - `dades_tarik_total.json` — Base de dades generada - `README.md` — Documentació - `CHANGELOG.md` — Historial de versions ## 🔧 Instal·lació ```bash pip install beautifulsoup4 requests python scraper.py ``` --- ## 📋 CHANGELOG ### [3.0] - 2026-03-23 - Afegit jitter aleatori als delays - JSON amb metadades (version, data_scraped, total_pagines) - Sistema de cache amb hash MD5 ### [2.0] - 2026-03-17 - Scraper recursiu amb deque - Gestió d'excepcions específiques (Timeout, ConnectionError) - Sistema de reintents (max_retries=3) ### [1.0] - 2026-03-10 - Versió inicial: scraper lineal bàsic