您当前的位置: > 详细浏览

引导大语言模型生成计算机可解析内容

请选择邀稿期刊:

Constraining Large Language Model for Generating Computer-Parsable Content

摘要: 大语言模型 (Large Language Models, LLMs) 能够从大量语料的上下文中学习到模式,其包括词语之间的关系、句子的结构甚至更复杂的语义和语用信息。然而,让预训练语言模型生成结构化、严格遵循约定的内容仍然是一项挑战。本文提出了一种引导LLMs生成计算机高可用内容的方案,无需微调和额外的神经网络推理,通过提前约定的上下文无关文法 (Context-Free Grammar, CFG) 引入基于协程的内容生成约束机制,在自回归模型Transformer的解码阶段引导模型采样正确的词元,以构成符合程序约定的形式语言。这将有效地提升LLMs生成目标数据结构、类型或指令的稳定性和一致性,降低应用开发和集成的难度。本文作者先通过“匹配括号对”实验验证了GPT-2和Gemma等模型在生成DSL长度分别大于36和282时错误率就达到了95%,说明了当前LLMs在特定DSL生成上的性能问题。本文作者还提出了基于协程的DSL生成框架YieldLang,并使用LLMs在多个任务数据集上进行了实验,包括JSON、Mermaid流图和函数调用表达式生成等任务。这些实验表明本文的方法相比基准,其准确率提升到了原来的109%到1160%,并且在最好的情况下能够将LLMs生成JSON的采样次数降低到基准的约16.5%,这将有效地提高LLMs生成内容对计算机程序的可用性。

版本历史

[V5] 2024-04-07 04:03:34 ChinaXiv:202403.00340V5 下载全文
[V1] 2024-03-26 22:54:14 ChinaXiv:202403.00340v1 查看此版本 下载全文
点击下载全文
预览
同行评议状态
待评议
许可声明
metrics指标
  •  点击量1833
  •  下载量407
分享
申请专家评阅