研究
2026/10/27
本页简述好读背后的研究。
处理长句的认知负担
根据心理语言学家沃尔特·金奇(Walter Kinch)和范迪克(Van Dijk)提出的文本表征文本加工模型(Kintsch’s Text Processing Model),人在阅读时,真正理解的是命题。而眼睛所看到的表征,即表层字符时,需要先进行句法解析,这个过程里需要大量预测句法边界;一旦检测到边界,便将临时存储在工作内存(RAM)里的内容打包成语义,这个过程称为命题化(Propositionalization)。这些被抽象、压缩的命题形成更了紧凑的数据表达,储存到另一个地方(后面的步骤将是另一个故事)。在这之后,工作记忆即刻被清除,释放带宽,用于后续的表征处理。母语者(或阅读高手)拥有极强的打包能力。他们或者拥有更大的工作能存,暂存更多的表征进行压缩,或能更快速、更准确地识别出节点、进行闭合,把一大串词压缩成一个精简的标签,快速释放工作内存。
而闭合打包这个过程失败,比如错误判断边界,会导致阅读者回视和重解析,之前已经打包好的命题需要被拆掉并重新压缩。阅读者的注意力会表现出长距离的向前跳跃,重新扫描前方词汇,寻找正确的边界,这个过程甚至可能重复数次。
可以清晰看见,句法解析里,边界判断是最主要的消耗之一。下面的例子,仅仅是预先将句子分段,阅读的感受就大不一样。你实际体验到的,是由于无须寻找边界而产生的轻松。你因此可以快速打包、压缩语义,清空缓存,继续处理后续内容。并且,标注边界的手段是次要的;只要边界能清晰地被阅读者感知,这额外的认知成本就省了下来,中断风险更是几乎为零。
我昨天见到的那个带了上周买的帽子的朋友生病了
我昨天见到的,那个带了,上周买的帽子的,朋友生病了
我昨天见到的那个带了上周买的帽子的朋友生病了
因为句子本身没有被合理分段、或阅读者阅读能力的不足,
无长程依赖
断句这个任务不需要长程依赖。
标点必须保留
研究过程中,我曾一度认为,语言字符本身,完全可以为按语义断句的任务提供足够信息,
标准测试集
使用人类标注的高质量数据共一万条,作为固定的金标准,衡量模型的质量。测试数据包含各种被处理的语法、场景、领域知识和句子长短。