論文の概要: Thinking Before Constraining: A Unified Decoding Framework for Large Language Models

• arxiv url: http://arxiv.org/abs/2601.07525v1
• Date: Mon, 12 Jan 2026 13:25:28 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-01-13 19:08:01.405569
• Title: Thinking Before Constraining: A Unified Decoding Framework for Large Language Models
• Title（参考訳）: 制約前を考える - 大規模言語モデルのための統一デコードフレームワーク
• Authors: Ngoc Trinh Hung Nguyen, Alonso Silva, Laith Zumot, Liubov Tupikina, Armen Aghasaryan, Mehwish Alam,
• Abstract要約: 自然生成と構造生成の両方の利点を組み合わせた簡単なアプローチを提案する。 提案手法は,構造化された出力の信頼性を確保しつつ,自然言語推論の表現力を維持する。
• 参考スコア（独自算出の注目度）: 1.2468700211588883
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Natural generation allows Language Models (LMs) to produce free-form responses with rich reasoning, but the lack of guaranteed structure makes outputs difficult to parse or verify. Structured generation, or constrained decoding, addresses this drawback by producing content in standardized formats such as JSON, ensuring consistency and guaranteed-parsable outputs, but it can inadvertently restrict the model's reasoning capabilities. In this work, we propose a simple approach that combines the advantages of both natural and structured generation. By allowing LLMs to reason freely until specific trigger tokens are generated, and then switching to structured generation, our method preserves the expressive power of natural language reasoning while ensuring the reliability of structured outputs. We further evaluate our approach on several datasets, covering both classification and reasoning tasks, to demonstrate its effectiveness, achieving a substantial gain of up to 27% in accuracy compared to natural generation, while requiring only a small overhead of 10-20 extra tokens.
• Abstract（参考訳）: 自然言語生成により、言語モデル(LM)はリッチな推論で自由形式の応答を生成することができるが、保証された構造がないため、出力のパースや検証は困難である。 構造化生成(あるいは制約付きデコーディング)は、JSONのような標準化されたフォーマットでコンテンツを生成し、一貫性と保証可能な出力を保証することで、この欠点に対処するが、モデルの推論能力を不注意に制限することができる。 本研究では,自然生成と構造化生成の両方の利点を組み合わせた簡単なアプローチを提案する。 LLMを特定のトリガトークンが生成されるまで自由に推論できるようにし、構造化された生成に切り替えることで、構造化された出力の信頼性を確保しながら自然言語推論の表現力を維持する。 さらに、分類タスクと推論タスクの両方をカバーするいくつかのデータセットに対するアプローチを評価し、その効果を実証し、10～20個の余分なトークンのオーバーヘッドをわずかに必要としながら、自然発生と比較して最大27%の精度を達成した。

関連論文リスト

• RL-Struct: A Lightweight Reinforcement Learning Framework for Reliable Structured Output in LLMs [0.08594140167290097]
  大規模言語モデル(LLM)は、自然言語の生成と推論において顕著な能力を示した。 自動化されたソフトウェアエコシステムへの統合は、しばしば"構造ギャップ"によって妨げられます。 このギャップを埋めるための軽量で効率的な強化学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2025-11-29T04:47:14Z)
• Extractive Fact Decomposition for Interpretable Natural Language Inference in one Forward Pass [4.990228412613982]
  JEDIは、原子の事実分解と解釈可能な推論を共同で行うエンコーダのみのアーキテクチャである。 学習を容易にするため、複数のNLIベンチマークをカバーする合成的合理性の大規模なコーパスを生成する。 本研究は, エンコーダのみのアーキテクチャと合成論理を用いて, NLIの解釈可能性とロバストな一般化を実現することができることを示す。
  論文  参考訳（メタデータ） (2025-09-23T11:30:42Z)
• StructTest: Benchmarking LLMs' Reasoning through Compositional Structured Outputs [78.84060166851805]
  StructTestは、大規模な言語モデル(LLM)を合成命令に従って構造化出力を生成する能力に基づいて評価する、新しいベンチマークである。 評価はルールベースの評価器を用いて決定的に行われ、新しいタスクやデータセットに容易に拡張できる。 StructTestは、Deepseek-V3/R1やGPT-4oといったトップパフォーマンスモデルでも、依然として難しいままです。
  論文  参考訳（メタデータ） (2024-12-23T22:08:40Z)
• A Simple but Effective Approach to Improve Structured Language Model Output for Information Extraction [11.165093163378152]
  大規模言語モデル(LLM)は、命令に従って非構造化自然言語を生成する際、印象的な能力を示した。 本稿では,その構造的テキスト生成能力を高めるために,効率的なG&O手法を提案する。
  論文  参考訳（メタデータ） (2024-02-20T20:42:02Z)
• Efficient Guided Generation for Large Language Models [0.21485350418225244]
  本稿では, 有限状態マシンの状態間の遷移の観点から, ニューラルテキスト生成の問題を構成的に再構成する方法を示す。 このフレームワークは、正規表現と文脈自由文法でテキスト生成を導くための効率的なアプローチをもたらす。
  論文  参考訳（メタデータ） (2023-07-19T01:14:49Z)
• Grammar-Constrained Decoding for Structured NLP Tasks without Finetuning [27.59524153097858]
  文法制約付き復号法(GCD)は、大言語モデル(LM)の生成を制御するために用いられる。 GCDは一般に構造化NLPタスクの統一フレームワークとして機能する。 文法制約付きLMは、制約なしLMよりも大幅に優れるか、タスク固有の微調整モデルよりも優れていることを示す。
  論文  参考訳（メタデータ） (2023-05-23T11:54:37Z)
• Physics of Language Models: Part 1, Learning Hierarchical Language Structures [51.68385617116854]
  トランスフォーマーベースの言語モデルは効率的だが複雑であり、内部の動作や推論メカニズムを理解することは大きな課題である。 本稿では,長文を生成可能な階層規則を生成する合成CFGのファミリーを紹介する。 我々は、GPTのような生成モデルがCFG定義階層を正確に学習し、推論し、それに基づいて文を生成することを実証する。
  論文  参考訳（メタデータ） (2023-05-23T04:28:16Z)
• Autoregressive Structured Prediction with Language Models [73.11519625765301]
  本稿では, PLM を用いた自己回帰的手法を用いて, モデル構造を行動列として記述する。 我々のアプローチは、私たちが見てきた全ての構造化予測タスクにおいて、新しい最先端を実現する。
  論文  参考訳（メタデータ） (2022-10-26T13:27:26Z)
• COLD Decoding: Energy-based Constrained Text Generation with Langevin Dynamics [69.8062252611486]
  コールドデコーディングは、既製の左から右の言語モデルに直接適用可能なフレキシブルなフレームワークである。 制約付き生成タスクの実験は、自動評価と人的評価の両方の観点から、我々のアプローチの有効性を示している。
  論文  参考訳（メタデータ） (2022-02-23T18:59:27Z)
• Lexically-constrained Text Generation through Commonsense Knowledge Extraction and Injection [62.071938098215085]
  我々は、ある入力概念のセットに対して妥当な文を生成することを目的としているcommongenベンチマークに焦点を当てる。 生成したテキストの意味的正しさを高めるための戦略を提案する。
  論文  参考訳（メタデータ） (2020-12-19T23:23:40Z)
• Contextualized Perturbation for Textual Adversarial Attack [56.370304308573274]
  逆例は自然言語処理(NLP)モデルの脆弱性を明らかにする。 本稿では,フロートおよび文法的出力を生成するContextualized AdversaRial Example生成モデルであるCLAREを提案する。
  論文  参考訳（メタデータ） (2020-09-16T06:53:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。