php实现爬虫
PHP 实现爬虫的方法
使用 cURL 获取网页内容
cURL 是 PHP 中常用的网络请求工具，可以模拟浏览器发送 HTTP 请求。以下是一个简单的 cURL 示例代码：
$ch = curl_init();
curl_setopt($ch, CURLOPT_URL, "https://example.com");
curl_setopt($ch, CURLOPT_RETURNTRANSFER, true);
$html = curl_exec($ch);
curl_close($ch);使用 file_get_contents 获取网页内容
对于简单的网页抓取，可以使用 file_get_contents 函数，但需要确保 allow_url_fopen 在 php.ini 中启用：
$html = file_get_contents("https://example.com");使用 DOMDocument 解析 HTML
获取网页内容后，可以使用 DOMDocument 来解析 HTML 并提取所需数据：
$dom = new DOMDocument();
@$dom->loadHTML($html);
$xpath = new DOMXPath($dom);
$elements = $xpath->query("//h1");
foreach ($elements as $element) {
echo $element->nodeValue;
}使用 Simple HTML DOM Parser
Simple HTML DOM Parser 是一个流行的第三方库，可以更方便地解析 HTML：
include('simple_html_dom.php');
$html = file_get_html('https://example.com');
foreach($html->find('a') as $element) {
echo $element->href . '<br>';
}处理 JavaScript 渲染的页面
对于动态加载的内容，可以使用无头浏览器工具如 Puppeteer 或 Selenium。PHP 中可以通过 Panther 库实现：
use Symfony\Component\Panther\PantherTestCase;
$client = PantherTestCase::createHttpBrowserClient();
$client->request('GET', 'https://example.com');
$crawler = $client->getCrawler();
$elements = $crawler->filter('h1');
foreach ($elements as $element) {
echo $element->textContent;
}处理爬虫常见问题
设置合理的 User-Agent 和请求间隔可以避免被网站屏蔽：
$opts = [
'http' => [
'method' => 'GET',
'header' => "User-Agent: Mozilla/5.0 (Windows NT 10.0; Win64; x64)\r\n"
]
];
$context = stream_context_create($opts);
$html = file_get_contents('https://example.com', false, $context);数据存储
爬取的数据可以存储到数据库或文件中：
$data = ['title' => 'Example', 'url' => 'https://example.com'];
file_put_contents('data.json', json_encode($data));遵守 robots.txt
在爬取前检查目标网站的 robots.txt 文件，确保遵守网站的爬取规则：
$robots = file_get_contents('https://example.com/robots.txt');
if (strpos($robots, 'Disallow: /private/') !== false) {
// 避免爬取被禁止的页面
}这些方法涵盖了 PHP 实现爬虫的基本技术，从简单到复杂的场景都能应对。根据实际需求选择合适的工具和方法。
