web页面结构：html、css、javascript等。
http请求：客户端向服务器请求数据的方式。
http响应：服务器返回给客户端的数据。
请求与响应使用python的requests库发送http请求。
import requests url = "https://www.example.com"response = requests.get(url)
获取响应内容
html_content = response.text
html解析与数据提取使用beautifulsoup库解析html内容。
from bs4 import beautifulsoup soup = beautifulsoup(html_content, "html.parser")
使用css选择器或其他方法提取数据。
title = soup.title.string
实战：爬取简书网站首页文章信息发送请求，获取简书网站首页html内容。
import requestsfrom bs4 import beautifulsoup url = "https://www.jianshu.com"response = requests.get(url)html_content = response.text
存储数据将数据存储为json格式。
import json with open("jianshu_articles.json", "w", encoding="utf-8") as f: json.dump(article_info_list, f, ensure_ascii=false, indent=4)
测试与优化1.遇到反爬虫策略时，可以使用user-agent伪装成浏览器。headers = {"user-agent": "mozilla/5.0 (windows nt 10.0; win64; x64) applewebkit/537.36 (khtml, like gecko) chrome/58.0.3029.110 safari/537.3"}response = requests.get(url, headers=headers)
2.使用time.sleep()函数控制请求频率。import time time.sleep(10)
3.错误处理与异常捕获。try: response = requests.get(url, headers=headers, timeout=5) response.raise_for_status()except requests.exceptions.requestexception as e: print(f"error: {e}")
网站爬虫完整代码：import requestsfrom bs4 import beautifulsoupimport jsonimport time def fetch_jianshu_articles(): url = "https://www.jianshu.com" headers = {"user-agent": "mozilla/5.0 (windows nt 10.0; win64; x64) applewebkit/537.36 (khtml, like gecko) chrome/58.0.3029.110 safari/537.3"} try: response = requests.get(url, headers=headers, timeout=5) response.raise_for_status() except requests.exceptions.requestexception as e: print(f"error: {e}") return html_content = response.text soup = beautifulsoup(html_content, "html.parser") articles = soup.find_all("div", class_="content") article_info_list = [] for article in articles: title = article.h3.text.strip() author = article.find("span", class_="name").text.strip() link = url + article.h3.a["href"] article_info = {"title": title, "author": author, "link": link} article_info_list.append(article_info) return article_info_list def save_to_json(article_info_list, filename): with open(filename, "w", encoding="utf-8") as f: json.dump(article_info_list, f, ensure_ascii=false, indent=4) if __name__ == "__main__": article_info_list = fetch_jianshu_articles() if article_info_list: save_to_json(article_info_list, "jianshu_articles.json") print("jianshu articles saved to 'jianshu_articles.json'.") else: print("failed to fetch jianshu articles.")
补充为了更好地理解这个实战项目，我们需要了解一些基础概念和原理，这将有助于掌握python的网络编程和爬虫技术。以下是一些基本的网络爬虫概念：
http协议：超文本传输协议（http）是一种用于传输超媒体文档（如 html）的应用层协议。http协议被用于从web服务器传输或发布到web浏览器或其他客户端的数据。
html、css 和 javascript：html 是用来描述网页的一种语言。css 是用来表现 html 结构的样式。javascript 是网页编程的一种脚本语言，主要用于实现网页上的动态效果和与用户的交互。
dom：文档对象模型（dom）是一种跨平台的编程接口，用于处理 html 和 xml 文档。dom将文档视为树形结构，其中每个节点代表一个部分（如元素、属性或文本）。
url：统一资源定位符（url）是用于指定互联网资源位置的一种字符串。
请求头（request headers）：在http请求中，请求头包含了关于客户端的环境、浏览器等信息。常见的请求头字段有：user-agent、accept、referer 等。
响应头（response headers）：在http响应中，响应头包含了关于服务器的信息、响应状态码等信息。常见的响应头字段有：content-type、content-length、server 等。
网络爬虫策略：有些网站会采取一些策略来阻止爬虫抓取数据，如：封禁ip、限制访问速度、使用 javascript 动态加载数据等。在实际应用中，我们需要根据这些策略采取相应的应对措施，如：使用代理ip、限制爬虫抓取速度、使用浏览器模拟库（如 selenium）等。
以上就是python爬虫技术入门实例代码解析的详细内容。