它解决什么
tokenizers 提供快速且先进的分词器，优化用于研究和生产环境。
Repository #219035799 · stable identity
tokenizers｜高性能分词器huggingface/tokenizers
huggingface/tokenizersAI 译
tokenizers 提供快速且先进的分词器，优化用于研究和生产环境。 💥 Fast State-of-the-Art Tokenizers optimized for Research and Production
- 当前 Star
- 10,898
- 作者 / 所有者
- huggingface
- 主要语言
- Rust
- GitHub 创建
- 待补充
- 最近代码推送
- 待补充
- 已发布
- 发布天数待补充
- 首次发现
- 2026-07-16
- 最近追踪
- 2026-07-21
Decision brief
项目速览
适合谁
需要AI 编程能力的开发者或团队。
为什么上榜
2026-07-20 候选池 Star 净增 +3。
中文名称、简介和分类属于辅助理解层；GitHub 原始仓库信息始终是权威来源。
Project taxonomy
方向与适用场景
- 项目方向
- AI 与机器学习
- 产品形态
- 库/框架
- 适用场景
- AI 编程
- 分类来源
- GitHub Models 生成 · 词表 1.0.0
30 day true history
真实历史
日期总 Star净增日榜排名
10,898 +3 —
— — —
— — —
— — —
10,893 +1 —
— — —
— — —
— — —
— — —
— — —
— — —
— — —
— — —
— — —
— — —
— — —
— — —
— — —
— — —
— — —
— — —
— — —
— — —
— — —
— — —
— — —
— — —
— — —
— — —
— — —
— 表示当日缺少有效连续快照，或项目当日不在可比较候选中；不补零，不插值。
Related repositories