当前位置：首页 > PHP

php实现分词

2026-02-28 08:23:42PHP

在PHP中实现分词功能可以通过多种方式完成，包括使用内置函数、第三方库或结合中文分词工具。以下是几种常见的方法：

使用PHP内置函数

对于英文或简单分词需求，可以使用explode()或preg_split()函数按空格或特定分隔符拆分字符串：

$text = "This is a sample text";
$words = explode(" ", $text); // 按空格分词

使用第三方库

PHP-ML（PHP Machine Learning库）
适用于简单分词任务，需安装库：

composer require php-ai/php-ml

示例代码：

use Phpml\Tokenization\WhitespaceTokenizer;
$tokenizer = new WhitespaceTokenizer();
$tokens = $tokenizer->tokenize("分词测试文本");

TextRank算法
可用于关键词提取和分词，需安装php-tm/tokenizer：
```
composer require php-tm/tokenizer
```

中文分词工具

SCWS（简易中文分词系统）
需安装SCWS扩展：

pecl install scws

示例代码：

$sh = scws_open();
scws_send_text($sh, "中文分词测试");
while ($res = scws_get_result($sh)) {
    foreach ($res as $word) {
        echo $word['word'] . "\n";
    }
}
scws_close($sh);

jieba-php（结巴分词PHP版）
需通过Composer安装：

composer require fukuball/jieba-php

示例代码：

require_once "vendor/autoload.php";
use Fukuball\Jieba\Jieba;
use Fukuball\Jieba\Finalseg;
Jieba::init();
Finalseg::init();
$seg_list = Jieba::cut("这是一个分词测试");
print_r($seg_list);

基于API的分词服务

调用第三方API如百度NLP、腾讯云NLP等，需注册获取API密钥：

php实现分词

$url = "https://api.baidu.com/nlp/v1/wordseg";
$data = ['text' => '分词文本'];
$options = [
    'http' => [
        'header' => "Content-type: application/json\r\nAuthorization: Token YOUR_API_KEY",
        'method' => 'POST',
        'content' => json_encode($data)
    ]
];
$context = stream_context_create($options);
$result = file_get_contents($url, false, $context);