当前位置：首页 > PHP

php实现分词

2026-01-29 11:11:26PHP

PHP实现中文分词的方法

中文分词在PHP中可以通过多种方式实现，以下是常见的几种方法：

使用PHP扩展库

安装scws扩展可以实现高效的中文分词。需要先下载并编译安装scws扩展，然后在PHP中调用相关函数。

php实现分词

$sh = scws_open();
scws_set_charset($sh, 'utf8');
scws_set_dict($sh, '/path/to/dict.utf8.xdb');
scws_set_rule($sh, '/path/to/rules.utf8.ini');
scws_send_text($sh, '这是一段需要分词的文本');
while ($res = scws_get_result($sh)) {
    print_r($res);
}
scws_close($sh);

调用第三方API

百度、阿里云等平台提供中文分词API服务，通过HTTP请求即可使用。

php实现分词

$text = urlencode('需要分词的文本');
$url = "https://aip.baidubce.com/rest/2.0/nlp/v1/lexer?access_token=YOUR_ACCESS_TOKEN&text=$text";
$result = file_get_contents($url);
print_r(json_decode($result, true));

使用开源分词库

PHP-ML是一个机器学习库，包含一些基础的分词功能。需要先通过Composer安装。

require_once 'vendor/autoload.php';
use Phpml\Tokenization\WhitespaceTokenizer;
$tokenizer = new WhitespaceTokenizer();
$tokens = $tokenizer->tokenize('This is a sample sentence');
print_r($tokens);

基于字典的简单分词实现

对于简单需求，可以自己实现基于字典的最大匹配算法。

function mmseg($text, $dict) {
    $maxLen = max(array_map('strlen', $dict));
    $len = strlen($text);
    $result = [];
    while($len > 0) {
        $wordLen = min($maxLen, $len);
        $tryWord = substr($text, 0, $wordLen);
        while(!in_array($tryWord, $dict) && $wordLen > 1) {
            $wordLen--;
            $tryWord = substr($text, 0, $wordLen);
        }
        $result[] = $tryWord;
        $text = substr($text, $wordLen);
        $len = strlen($text);
    }
    return $result;
}