Chunking 的几种策略

基本分片策略

固定长度分片

按照固定字符数或 token 数（embedding 模型会有 token 限制）进行分片。优点是实现比较简单，缺点是语义可能被打断。

滑动窗口分片

在 固定长度分片 的基础上，相邻片之间增加重叠，比如 500token 内容 +100token overlap。优点是降低了语义被打断的风险，缺点是存储比较冗余。

基于结构分片

按文档层级分片

对于结构比较清晰的文档，如 markdown、html 等，可以以标题、段落、列表、代码块等结构进行分片。优点是能够最大程度保持语义的连贯，缺点是分片大小不一，如果超过 token 限制，需要进行二次分段。

按语义分片

通过 NLP 进行切分，保证分段是完整的句子或逻辑段落。优点是检索结果更加自然，缺点是实现复杂且分片大小不好控制。