Este é um módulo para o PHP 8.2 que permite dividir uma string em pedaços chamados tokens. Isso é útil para análise de texto e 
outras tarefas similares. Ele é fácil de usar e pode ser adicionado ao seu código PHP existente com poucas linhas de código.Exemplo de uso: $tokenizer = new Tokenizer(); $tokens =
$tokenizer->tokenize('Este é um exemplo de string'); print_r($tokens);
