分类: 计算机科学 >> 计算机软件 分类: 语言学及应用语言学 >> 语言学及应用语言学 提交时间: 2024-04-21
摘要: 此幻灯片从背景、动机、方法、效果、展望和致谢六方面讲述了《引导大语言模型生成计算机可解析内容》的研究。全文请参考:https://arxiv.org/abs/2404.05499
分类: 计算机科学 >> 计算机软件 分类: 语言学及应用语言学 >> 语言学及应用语言学 提交时间: 2024-04-07
摘要: 大语言模型 (Large Language Models, LLMs) 能够从大量语料的上下文中学习到模式,其包括词语之间的关系、句子的结构甚至更复杂的语义和语用信息。然而,让预训练语言模型生成结构化、严格遵循约定的内容仍然是一项挑战。本文提出了一种引导LLMs生成计算机高可用内容的方案,无需微调和额外的神经网络推理,通过提前约定的上下文无关文法 (Context-Free Grammar, CFG) 引入基于协程的内容生成约束机制,在自回归模型Transformer的解码阶段引导模型采样正确的词元,以构成符合程序约定的形式语言。这将有效地提升LLMs生成目标数据结构、类型或指令的稳定性和一致性,降低应用开发和集成的难度。本文作者先通过“匹配括号对”实验验证了GPT-2和Gemma等模型在生成DSL长度分别大于36和282时错误率就达到了95%,说明了当前LLMs在特定DSL生成上的性能问题。本文作者还提出了基于协程的DSL生成框架YieldLang,并使用LLMs在多个任务数据集上进行了实验,包括JSON、Mermaid流图和函数调用表达式生成等任务。这些实验表明本文的方法相比基准,其准确率提升到了原来的109%到1160%,并且在最好的情况下能够将LLMs生成JSON的采样次数降低到基准的约16.5%,这将有效地提高LLMs生成内容对计算机程序的可用性。
分类: 语言学及应用语言学 >> 语言学及应用语言学 提交时间: 2024-01-26
摘要: 语言中的修辞如同空气一般无所不在,它不仅以狭义修辞(修辞格)的形态展现,从广义修辞观的视角看,修辞也隐含在所有语句中,内在地包含了狭义修辞的域。本文从狭义修辞格入手,以广义修辞观阐释源出语与译入语,探索了二者之间的联结关系,从广义修辞的角度分析了语句翻译过程,并形成衡量语句翻译质量的动态原则 。
分类: 语言学及应用语言学 >> 语言学及应用语言学 分类: 计算机科学 >> 自然语言理解与机器翻译 提交时间: 2024-01-11
摘要: 以GPT系列为代表的大规模预训练语言模型的快速发展,深刻改变了自然语言处理领域的科研与工程范式,对医疗、教育、司法、金融等相关领域产生了深远影响。同时,这也为语言本身的研究带来了一些新的可能性。本文从歧义分析出发,简要评估GPT4、百川2、ChatGLM3等模型对以歧义为代表的复杂语言现象的理解和分析能力。实验结果表明,GPT4可以融合歧义消解和句法分析等方法,有效感知和理解复杂的语言现象。对于百川2,我们可以通过提示词工程引导其对语言现象进行深入思考,在不进行参数优化时,提升其分析能力。此外,通过监测大模型在处理不同语言现象时的内部特征与神经元活动,可以直观展现语言现象与大模型之间的关系。实验结果表明,大语言模型可以辅助人类更好地理解语言的本质,揭示语言现象深层次规律,从而为语言学研究提供新的思路。
分类: 语言学及应用语言学 >> 语言学及应用语言学 提交时间: 2024-01-05
摘要: 以中文母语者为被试开展词汇学习实验,既操控新颖词出现的语境情感(积极、消极、中性),又操控语境的变异性(重复、变化),检验语境情感是否可通过阅读接触,从语境迁移到新颖词以及这种迁移是否影响新颖词习得的效果,从而探索新颖词语义韵的发生机制。196名被试参加了实验,他们在不同的语境情感和语境的变异性条件下一共阅读了45个篇章,然后对9个新颖词进行情感效价评分并参加了三种不同的词汇知识测试。结果显示,只有在重复阅读相同材料的条件下,语境的情感才顺利地迁移到新颖词,表现出明显的双枣树效应,而与此相反的是,只有在变化语境下,语境情感的迁移才对新颖词词形及词义的学习具有显著的预测作用,在越积极的情感语境里,词形和词义的习得效果也越好。双枣树效应有效地解释了新颖词语义韵的发生机制,也为新词学习提供了重要启示。