java如何写一个爬虫

Java爬虫实现方法

使用Jsoup库解析HTML

Jsoup是一款Java的HTML解析库，适合处理静态网页。添加Maven依赖：

<dependency>
    <groupId>org.jsoup</groupId>
    <artifactId>jsoup</artifactId>
    <version>1.15.3</version>
</dependency>

基础爬取示例代码：

Document doc = Jsoup.connect("https://example.com").get();
Elements links = doc.select("a[href]");
for (Element link : links) {
    System.out.println(link.attr("href"));
}

使用HttpClient处理动态请求

Apache HttpClient适合需要处理Cookie、Header等复杂HTTP请求的场景。添加依赖：

<dependency>
    <groupId>org.apache.httpcomponents</groupId>
    <artifactId>httpclient</artifactId>
    <version>4.5.13</version>
</dependency>

GET请求示例：

CloseableHttpClient client = HttpClients.createDefault();
HttpGet request = new HttpGet("https://api.example.com/data");
CloseableHttpResponse response = client.execute(request);
String responseBody = EntityUtils.toString(response.getEntity());

处理JavaScript渲染页面

对于动态加载内容的页面，可使用Selenium WebDriver。需先安装浏览器驱动，添加依赖：

<dependency>
    <groupId>org.seleniumhq.selenium</groupId>
    <artifactId>selenium-java</artifactId>
    <version>4.8.1</version>
</dependency>

示例代码：

WebDriver driver = new ChromeDriver();
driver.get("https://dynamic.example.com");
WebElement element = driver.findElement(By.cssSelector(".dynamic-content"));
System.out.println(element.getText());
driver.quit();

数据存储处理

爬取数据可存储到文件或数据库。JDBC示例：

String url = "jdbc:mysql://localhost:3306/crawler";
Connection conn = DriverManager.getConnection(url, "user", "password");
PreparedStatement stmt = conn.prepareStatement("INSERT INTO pages(url, content) VALUES(?,?)");
stmt.setString(1, pageUrl);
stmt.setString(2, pageContent);
stmt.executeUpdate();

遵守robots.txt规则

在爬取前应检查目标网站的robots.txt文件，可使用以下代码：

String robotsUrl = "https://example.com/robots.txt";
Document robotsDoc = Jsoup.connect(robotsUrl).get();
System.out.println(robotsDoc.body().text());

异常处理和限速

添加适当的异常处理和请求间隔：

try {
    Thread.sleep(1000); // 1秒间隔
    Document doc = Jsoup.connect(url)
            .timeout(10000)
            .userAgent("Mozilla/5.0")
            .get();
} catch (IOException e) {
    System.err.println("Error fetching URL: " + url);
}

使用代理IP

应对反爬机制可配置代理：

System.setProperty("http.proxyHost", "proxy.example.com");
System.setProperty("http.proxyPort", "8080");
Document doc = Jsoup.connect(url).get();

注意：实际开发中应遵守网站服务条款，避免对目标服务器造成过大负荷。