这项由诺基亚贝尔实验室（Nokia Bell Labs）与法国巴黎理工学院旗下的巴黎电信学院（Télécom Paris， Institut Polytechnique de Paris）蚁集开展的征询，以预印本质式发布于2026年5月，论文编号为arXiv:2601.07525v2，有兴味深远探究的读者可通过该编号检索齐全原文。

**当AI被"形式紧箍咒"握住了念念维**

你有莫得遭受过这么的情况：陶冶要求你写一篇作文，必须严格按照"发轫-分论点一-分论点二-论断"的形式来，远隔你发现我方花了多半元气心灵谈论形式，反而把该说的意思没阐明晰？大讲话模子（也等于咱们平时所说的AI对话系统，比如ChatGPT这类用具）正濒临着十足一样的窘境。

这个窘境的根源在于，AI系统被要求同期完成两件事：一是好好念念考问题，二是把谜底装进端正的形式盒子里。形式盒子越严格，念念维空间就越受限。这项征询的中枢问题恰是：能不可让AI先把念念维过程透顶放开，等想明晰了再套上形式外套？

征询团队给出的谜底是一个名为"In-Writing"的新框架。这个框架就像给AI瞎想了一套"先草稿后定稿"的使命历程，让它在念念考阶段十足摆脱阐扬，只好在准备输出最终谜底时才启动形式拘谨机制。实验远隔标明，这种作念法在多项任务上的准确率最高可以比原有方法提高27%。

**一、AI回话问题为什么需要"形式"这件事？**

在相识这项征询之前，需要先搞明晰一个配景问题：AI为什么要在乎形式？

当咱们在使命或生涯中使用AI用具时，许多时刻并不是简陋聊聊天，而是需要AI输出结构化的内容。比如，病院系统需要AI给出轨范化的会诊代码，财务软件需要AI输出固定形式的数据，开导者用具需要AI生成适宜特定语律例范的代码。这些场景的共同特色是：输出必须"合规"，不可有小数倾斜，不然后续系统根柢无法处理。

用一个更直不雅的比方来说，这就像餐厅的后厨系统和前台点单系统之间的对接。主顾可能用各式方式说"我要一份宫保鸡丁，少辣"，但后厨收到的指示必须是轨范化的代码形式，比如"item_code: 0031， spice_level: 1"。如果AI输出的谜底像主顾点单一样松弛，后台系统根柢不知谈该奈那边理。

正因如斯，征询东谈主员永恒戮力于让AI输出愈加表率、可领悟的内容。现在主流的方法约莫分为三种蹊径，而这三种蹊径各自王人有昭着的颓势，这也恰是本征询的起点。

**二、三条老路各有各的坑**

第一条路叫作念"天然生成"（Natural Generation），顾名念念义，等于让AI像聊天一样松弛回话，不施加任何形式放肆。这种方式的优点是AI的念念维十足摆脱，能充分张开推理过程，推理质地时时卓越可以。但污点也很昭着：AI无意刻会把谜底藏在一大段翰墨中间，需要格外瞎想方法去"挖"出来，并且挖出来的远隔不一定准确。更宏大的是，输出形式无法保证，关于需要结构化输出的工业场景简直莫得实用价值。

第二条路叫作念"硬拘谨解码"（Constrained Decoding），这是征询界为了措置形式问题而开导的本事。它的使命旨趣访佛于给AI戴上一副特殊的"滤镜"——在AI每生成一个词之前，系统会查验这个词是否适宜事前设定的形式表率，如果不适宜就径直屏蔽掉，免强AI只可选拔"正当"的词语。从形式保证的角度来说，这种方法相等可靠，输出的内容百分之百适宜表率。但问题在于，这副"滤镜"同期也放肆了AI的念念维。征询发现，这种方法会让AI在推理阶段就受到拘谨，导致一些在普通情况下十足正确的推理旅途被强行割断，最终远隔反而变差了。用打比方的方式说，这就像你在解数学题时，陶冶端正你只可使用"加法"和"减法"，是以你不得不澌灭更爽气的乘法解法，绕了一大圈才得到谜底，无意刻以致绕不精采。

第三条路叫作念"两阶段调治"（NL-to-Format），算是前两种方法的折中。具体作念法是先让一个AI用天然讲话给出齐全的推理和谜底，然后再用另一个（通常更大、更贵的）AI把这个天然讲话谜底调治成需要的形式。这种方法在一定进程上兼顾了推理质地和形式表率，但代价是需要调用两次AI，本钱翻倍，并且调治过程本人也可能出错，特等是在需要输出复杂多字段形式时，调治质地很不踏实。更要命的是，如果第二个AI解读第一个AI的输出时出了差错，最终谜底就会跑偏，而你以致不知谈问题出在哪一步。

还有一种叫作念CRANE的方法，它试图在推理过程中往来切换"摆脱模式"和"拘谨模式"，用特殊的分隔标志来离别哪些部分是AI在摆脱推理，哪些部分需要受到形式拘谨。天然这个念念路有一定创意，但实行起来卓越复杂，并且切换的时机很难把控，本质恶果也受到了征询团队的质疑。

**三、"先打草稿，再誊正"的In-Writing框架**

面对这三条老路的各式颓势，征询团队建议了In-Writing。其核花样念可以用书道进修来相识：先在厕纸上松弛挥洒，把通盘目标王人记载下来，比及念念路十足清醒之后，再拿出持重的形式纸，工奥妙整地誊写最终谜底。

具体的本事竣事方式是这么的：AI在回话问题时，当先插足"摆脱推理阶段"，这个阶段十足莫得任何形式拘谨，AI可以用任何它合计合适的方式念念考和抒发。当AI认为我方照旧想明晰了，它会输出一个特定的"触发词"（trigger token）。这个触发词就像是草稿纸上写下"定稿如下"四个字，标志着推理阶段的远隔和形式化输出阶段的运行。从触发词出现的那一刻起，系统才会启动形式拘谨机制，确保接下来的最终谜底十足适宜预定例范。

征询团队在原论文顶用了一个颇为逼真的类比：这种方法访佛于图像处理领域的"竖立绘图"本事（inpainting），等于只对图像的特定区域进行处理，滚球app2026世界杯中国官网下载而不改变其他部分。In-Writing同样只对"最终谜底输出"这个特定区域施加形式拘谨，让推理过程保捏齐全息争脱。

从数学角度来相识（别记忆，这里仅仅匡助相识，不需要确凿作念接洽），传统的拘谨解码会让形式要求影响到通盘推理过程，导致许多合理的推理旅途被提前铲除。而In-Writing通过将推理阶段和形式化阶段透顶分离，使得推理过程十足不受形式条目的搅扰，只好最终的谜底输出才需要知足形式要求。这种分离带来的公正是双重的：推理质地不会因为形式拘谨而下落，同期最终输出又能保证百分之百的形式合规性。

**四、触发词的选拔大有持重——"早醒"的郁闷**

征询团队在瞎想In-Writing时遭受了一个难办的问题，他们将其称为"过早触发"（premature triggering）。

回到书道的比方：如果你在草稿纸上写了一半，倏得以为我方照旧写好了，就仓卒切换到持重形式纸运行誊写，远隔发现还有许多内容没想明晰，这时刻再想且归补充草稿就不毛了。In-Writing濒临的是访佛的问题——如果触发词选拔欠妥，AI可能在还没推理完的时刻就误以为"该输出谜底了"，从而过早启动形式拘谨，把后续的推理过程也强行套进形式里，反而毒害了推理质地。

征询团队测试了两种触发词战略。第一种叫作念"In-Writing-Base"，使用了两个触发词：一个是"句子远隔符"（``，即AI认为一段话照旧说完的信号），另一个是大括号"{"（JSON形式的运行标志，因为征询团队选拔用JSON这种结构化形式来包装最终谜底）。问题在于，AI在推理过程中可能随时产生大括号这个标志，比如在描述一个蚁合或者例如时，这就会不测触发形式拘谨，截断正在进行的推理。

第二种叫作念"In-Writing*"，只使用一个触发词，等于"句子远隔符"``。这个选拔的逻辑很粗浅：``只好在AI确凿认为整段输出照旧完成时才会出现，它不会在推理半途松弛出现。因此，用``当作唯独触发词，可以确保AI在十足摆脱地推理收场并天然远隔之后，才运行形式化输出。实验远隔标明，这个粗浅的诊疗简直十足排斥了过早触发的问题，特等是在需要复杂数学推理的任务上，In-Writing-Base可能因为过早触发而亏损进步30%的准确率，而In-Writing*则能踏实保捏最优性能。

**五、实验瞎想：公正竞技场上的全面磨练**

为了考据In-Writing的恶果，征询团队搭建了一个相等全面的测试体系，并且挑升瞎想了一个对我方不利的条目，以此来阐述方法的鲁棒性。

在模子选拔上，团队测试了18个来自五个不同系列的开源讲话模子，参数范围从15亿到140亿不等，涵盖了Qwen（通义千问系列）、Llama、Gemma、DeepSeek以及SmolLM这些在业界泛泛使用的模子家眷。通盘测试王人在NVIDIA A40显卡上腹地运行，而非依赖买卖API奇迹。

在测试任务上，星空体育app2026世界杯官方下载团队选拔了两大类共七个数据集。推理类任务包括：需要多步数学推理的小学数学题库（GSM8K）、将数字替换为变量以测试代数泛化智商的标志变体（GSM-Symbolic）、将单词终末一个字母拼接起来的字母邻接任务（Last Letter Concatenation），以及接洽物品在一系列交换操作后位置的打乱物品任务（Shuffled Objects）。分类类任务包括：49类医学会诊数据集（DDXPlus）、5类金融文天职类（MultiFin）、体育相干句子的真实性判断（Sports Understanding），以及对形式相等明锐的刻板印象多选题（NI-Task 280）。

特等值得良善的是，征询团队在实验瞎想上有一个主动"衰弱"：他们沿用了之前其他征询团队的辅导词模板，而这些模板十足莫得为In-Writing的输出形式提供任何调换。换句话说，AI在推理完之后，十足靠形式拘谨机制自动输出结构化谜底，而不是因为辅导词中照旧告诉它"请用JSON形式输出谜底"。这种瞎想使得测试条目对In-Writing相对不利，但远隔标明，即便在这种不利条目下，In-Writing依然发扬优异。

**六、数字背后的故事：实验远隔阐明了什么**

实验远隔揭示了几个相等有真义的表象，每一个王人值得细细品尝。

第一个表象是"索要方式决定成败"。征询团队发现，在使用相通辅导词的情况下，天然生成（NL）、两阶段调治（NL-to-Format）和In-Writing*这三种方法本质上产生了十足相通的推理过程，区别只在于终末一步怎么从推理远隔中索要谜底。也等于说，AI料到的内容是一样的，但不同的"索要用具"带来了天渊之别的准确率。In-Writing*的结构化拘谨索要方式比用另一个大模子来解读的方式更准确，最高可以多索要出27%的正确谜底。这个发现相等宏大，因为它标明在很厚情况下，准确率的互异并不来自AI的推明智商，而来自终末的谜底索要设施。

第二个表象是"大模子解读也会出错"。两阶段调治方法依赖一个更大的AI来解读第一个AI的输出，表面上应该很可靠。但实验中发现，解读模子无意刻会犯很奇怪的缺欠。在DDXPlus医学会诊任务上，解读模子无意刻会在正确谜底前边加上一大段解释性翰墨，比如"适宜给定灵验会诊列表的最终谜底是……"然后才给出会诊称呼，导致后续方法无法正确匹配谜底。更令东谈主担忧的是，在字母邻接任务中，解读模子无意刻会"更动"第一个AI的输出——比如第一个AI在字母之间加了不消要的连字符，解读模子把这些连字符去掉了，无意刻这么的"更动"反而把缺欠谜底变成了正确谜底。这意味着两阶段方法无意刻不是在"索要"谜底，而是在"修改"谜底，这本质上是一种不透明的操作，让东谈主无法信任最终远隔的开始。

第三个表象是"形式拘谨不是银弹"。征询团队通过精好意思分析发现，In-Writing天然发扬出色，但并非白玉无瑕。在GSM8K数学题中，存在一些案例，AI在摆脱推理阶段得出的翰墨谜底是"52500好意思元"，但最终的形式化输出却只写了"52"。这阐明形式拘谨机制在将推理远隔"翻译"成结构化输出时，无意刻会截断或污蔑原始推理，这是改日需要继续改进的标的。

在与CRANE方法的对比上，数字互异愈加显贵。以Llama 3.1-8B模子为例，CRANE在GSM-Symbolic任务上的准确率是33%，而In-Writing*达到了59%，差距高达26个百分点。征询团队还特等指出，这种差距与另一项安谧征询的发现高度吻合：从GSM8K到GSM-Symbolic，同等智商的模子通常只会下落约10%的准确率。CRANE框架导致了远超这个平素水平的性能下落，阐明它的语法拘谨如实对推理过程形成了实质性伤害，而In-Writing*的下落幅度则看护在平素范围内。

**七、领悟智商与遵守：两个防碍冷落的维度**

除了准确率以外，征询团队还从两个格外维度对比了各式方法的发扬：形式合规率（parsability）和词汇奢华遵守。

在形式合规率方面，In-Writing*在通盘测试场景中王人达到了100%的形式合规率。比较之下，天然生成方法的形式合规率因模子大小和任务类型而互异悬殊，有些情况下以致不及40%。两阶段调治方法天然提高了形式合规率，但仍然无法保证100%，并且解读阶段使用的辅导词和模子对远隔影响极大，踏实性较差。硬拘谨解码方法也能达到较高的形式合规率，但会影响推理质地，这是一个两难窘境。

在词汇奢华遵守方面，远隔卓越令东谈主惬意。In-Writing*比天然生成方法多奢华的词汇量相等有限，通常只多出5到20个词（这些格外词汇主若是JSON形式所需的括号、引号等结构性标志）。比较之下，两阶段调治方法天然在现时测试中只多奢华了2到5个词，但这仅仅因为测试中的解读任务相对粗浅；当需要索要的是复杂的多字段结构化输出时，第二个AI需要奢华的词汇量会急剧加多，并且这第二次推理本人等于一笔不小的接洽支拨。

还有一个细节值得良善：征询团队在复核前东谈主数据时，发现了一些实验瞎想上的问题。比如，在打乱物品任务的辅导词模板中，有两个变体明明列出了七个选项（A到G），却在指示中缺欠地写谈"请从以下四个选项中选拔"。另外，少样本示例中有几个题目（比如"挪威男东谈主很没趣"的谜底果然是"种族"）和缱绻任务毫无关联，这些问题王人可能影响对比远隔的可靠性。这些发现提醒读者，在看待任何AI性能对比数据时，王人需要良善实验瞎想本人的严谨性。

**八、重迭分析：谁能弥补谁的不及？**

征询团队还作念了一项很有价值的"交叉分析"：在相通推理过程的基础上，In-Writing*和两阶段调治方法分别在哪些题目上生效，哪些上失败，两者的生效与失败是否重迭？

以字母邻接任务为例，SmolLM3-3B模子的分析远隔通晓：有53.5%的题目两种方法王人作念对了，有34%的题目两种方法王人作念错了，有0.7%的题目只好两阶段调治作念对了，而In-Writing*作念错了，但有高达11.8%的题目只好In-Writing*作念对了，而两阶段调治却失败了。这个漫衍阐明，In-Writing*大概弥补两阶段调治大部分的失败案例，而两阶段调治能弥补的In-Writing*失败案例却很少。

PG电子(PocketGames)游戏官网

这种不对称性的开始是两种方法的根柢互异：In-Writing*的形式拘谨机制除了索要谜底以外，还能对谜底进行隐性的"纠错"——如果AI在推理中输出了形式不对规的内容（比如在字母之间加了满盈的空格），形式拘谨会在输出最终谜底时自动过滤掉这些缺欠，将正确的内容以表率形式呈现出来。这是一种免费附赠的纠错功能，而两阶段调治方法除非解读模子正值能识别并修正这类缺欠，不然无法得到这个上风。

**局限性不侧目：征询团队的坦诚**

征询团队在论文中明确承认了In-Writing现时版块的主要不及：通盘征询过程中，他们莫得对辅导词进行任何专门针对In-Writing的优化。测试中使用的通盘辅导词王人是为天然生成或两阶段调治方法瞎想的，内部通常包含访佛"请在终末用'answer is:'前缀给出谜底"这么的指引，这对In-Writing来说十足莫得用。更进一步，跟着少样本示例数目的加多，AI会越来越倾向于严格战胜"answer is:"这个形式，反而在某些情况下镌汰了In-Writing和两阶段调治方法的索要准确率，因为AI给出的谜底形式越来越不像JSON结构，而是越来越像天然讲话前缀。这标明，如果专门为In-Writing瞎想优化的辅导词，其发扬很可能还会进一步提高。

此外，形式拘谨机制偶尔会在将推理远隔转动为结构化输出时产生缺欠，比如截断数字或浑浊标志，这是本事层面仍需改进的问题。

归根结底，In-Writing提供了一个在推理质地和形式表率之间竣事双赢的清醒念念路：不是让AI在念念考时就戴上形式镣铐，而是让它先摆脱念念考，然后通过一个精确的"终末一公里"形式拘谨将谜底装进合适的容器里。这个念念路的本钱极低（只多奢华5到20个词汇），带来的收益却卓越可不雅——岂论是准确率、形式合规率照旧系统复杂度的镌汰，王人有昭着改善。

关于那些需要在使命中使用AI用具处理结构化输出任务的东谈主来说，这项征询意味着一种更可靠、更高效的AI部署念念路行将成为可能。不消再纠结于"要准确率照旧要形式"，改日的AI系统十足可以在单次调用中同期作念好这两件事。有兴味进一步了解本事细节的读者，征询团队已在GitHub（Nokia-Bell-Labs/InWriting）敞开了一齐代码，同期原论文arXiv:2601.07525也提供了齐全的表面推导和实验数据。

Q&A

Q1：In-Writing框架和普通的AI回话方式有什么区别？

A：普通方式要么让AI十足摆脱回话（形式没保险），要么从一运行就给AI套上形式镣铐（推理受限）。In-Writing的区别在于它把这两个阶段分开：先让AI十足摆脱地把问题想明晰，等AI认为我方推理收场、产生一个特定的"远隔信号"之后，才启动形式拘谨，把最终谜底规章程矩地输出成需要的形式，两个阶段互不搅扰。

Q2：过早触提问题是奈何产生的，奈何措置？

A：过早触发是指AI在还没推理完的时刻，就误触发了形式拘谨机制，导致后续推理被强行截断。这个问题的根源是触发词选拔欠妥——如果用大括号"{"当作触发词，AI在推理中随时可能用到这个标志，就会不测启动形式拘谨。措置决策是只用"句子远隔符"当作唯独触发词，因为这个信号只好在AI确凿认为整段输出照旧完成时才会出现，简直十足排斥了过早触发的风险。

Q3：In-Writing多奢华的词汇量会不会显贵加多使用本钱？

A：不会。实验数据通晓星空体育APP，In-Writing*比较普通天然生成方式，只多奢华5到20个词汇，这些格外的词主若是JSON形式所需的括号和引号等结构性标志。比较之下，两阶段调治方法需要再调用一个大模子来领悟谜底，举座接洽支拨远高于In-Writing，并且第二次调用还需要把第一次的齐全输出当作输入，输入词汇量本人就很大。是以In-Writing的格外支拨是卓越轻飘且固定的。