實驗1：數據獲取、存儲與預處理\n\n## 摘要\n本實驗圍繞網絡數據的全生命周期處理，通過一個實用案例，說明了網頁爬蟲構建、數據解析、數據庫存儲以及基礎預處理的方法。實驗旨在掌握自動化獲取公開網絡數據、結構化信息提取、數據持久化存儲及臟數據清洗等關鍵技術和思想。\n\n## 一、實驗目的\n1. 熟悉Python中的Urllib/Requests庫及Scrapy框架構建簡單的網頁爬蟲；\n2. 掌握正規表達式與BeautifulSoup進行數據解析的工具；\n3. 能夠連接MySQL或SQLite數據庫存儲結構化數據；\n4. 配合Pandas完成基本數據預處理（缺失值移除、去重、文本規整），建立一條清洗到服務的概覽流程。\n\n## 二、技術路線\n使用開源數據集網絡（如GitHub開源列表、天氣查詢或蘑菇分類樣例站），基本設計如下：\n`\n開始 > 模擬發送HTTP請求爬取頁面 > 解析頁面提取有效字段 > 存入本地數據庫(SQLite/MariaDB) > 讀取數據進行標準化預處理 >輸出可結構化文件(如CSV表格以公共服務供給后續)|輸出錯誤日志。\n`\n環境：Python 3.x,pip( Requests,lxml/dis,sqlite3標準庫 ， beautifulsoup4,pandas )。兼容正則提取及選擇實現方式的可互動編輯器。\n\n## 三、實驗步驟深度文檔\n\n### 步驟1：編寫網頁爬蟲數據抓取模塊\n考慮到學習資源普遍使用靜態例子比如常用圖書排行榜(例如日亞或帶假端點站點)。\n建立sleestspider.py:\n解釋見頂部\n引入了requests。拿取模擬頭以減輕終端機制(比如瀏覽器User-Agent設定為 Mozilla/5.0編寫)。留意配置相應的‘解析’包。嘗試捕獲HTTP| ConnectionError！ 存儲本次成功文件碼/status.\n在該HTML頁面使用簡單類配置`selsome':'.card