論文の概要: Schema Key Wording as an Instruction Channel in Structured Generation under Constrained Decoding

• arxiv url: http://arxiv.org/abs/2604.14862v1
• Date: Thu, 16 Apr 2026 10:52:50 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-04-17 21:29:31.850945
• Title: Schema Key Wording as an Instruction Channel in Structured Generation under Constrained Decoding
• Title（参考訳）: 制約付きデコードにおける構造生成における命令チャネルとしてのスキーマキーワード
• Authors: Yifan Le,
• Abstract要約: 本研究では,命令配置が構造生成におけるモデル性能に与える影響について検討する。 提案手法では,プロンプトやモデルパラメータを変更することなく,単にスキーマキーのワードを変更するだけで,制約付き復号化時のモデル性能を著しく変化させることができることを示す。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Constrained decoding has been widely adopted for structured generation with large language models (LLMs), ensuring that outputs satisfy predefined formats such as JSON and XML. However, existing approaches largely treat schemas as purely structural constraints and overlook the possibility that their linguistic formulation may affect model behavior. In this work, we study how instruction placement influences model performance in structured generation and show that merely changing the wording of schema keys, without modifying the prompt or model parameters, can significantly alter model performance under constrained decoding. Based on this observation, we propose to reinterpret structured generation as a multi-channel instruction problem, where instructions can be conveyed explicitly through prompts and implicitly through schema keys during decoding. To the best of our knowledge, this is the first work to systematically study how schema key formulation acts as an implicit instruction channel and affects model performance under constrained decoding. Experiments on multiple mathematical reasoning benchmarks show that different model families exhibit distinct sensitivities to these instruction channels: Qwen models consistently benefit from schema-level instructions, while LLaMA models rely more heavily on prompt-level guidance. We further observe non-additive interaction effects between instruction channels, showing that combining multiple channels does not always lead to further improvement. These findings suggest that schema design not only determines output structure, but also carries instruction signals, offering a new perspective on structured generation in LLMs.
• Abstract（参考訳）: 制約付きデコーディングは、大きな言語モデル(LLM)で構造化された世代に広く採用されており、出力がJSONやXMLのような事前定義されたフォーマットを満たすことが保証されている。 しかし、既存のアプローチはスキーマを純粋に構造的な制約として扱い、それらの言語的定式化がモデル行動に影響を与える可能性を見落としている。 本研究では,命令配置が構造的生成におけるモデル性能に与える影響について検討し,プロンプトやモデルパラメータを変更することなく,単にスキーマキーの単語化を変更するだけで,制約付き復号化時のモデル性能を著しく変化させることができることを示す。 そこで本研究では,マルチチャネル命令問題として構造生成を再解釈し,命令をプロンプトで明示的に伝達し,デコード中のスキーマキーで暗黙的に命令を伝達する手法を提案する。 我々の知る限りでは、スキーマキーの定式化が暗黙の命令チャネルとしてどのように振る舞うかを体系的に研究し、制約付き復号化の下でモデル性能に影響を及ぼすのはこれが初めてである。 複数の数学的推論ベンチマークの実験は、異なるモデルファミリーがこれらの命令チャネルに対して異なる感受性を示すことを示している: Qwenモデルは一貫してスキーマレベルの命令から恩恵を受け、LLaMAモデルはプロンプトレベルのガイダンスに大きく依存する。 さらに、命令チャネル間の非付加的な相互作用効果を観察し、複数のチャネルの組み合わせが必ずしも更なる改善につながるとは限らないことを示す。 これらの結果は、スキーマ設計が出力構造を決定するだけでなく、命令信号も持てることを示唆し、LLMにおける構造生成の新しい視点を提供する。

関連論文リスト

• Schema for In-Context Learning [0.7850388075652649]
  In-context Learning (ICL) は、実演例に条件付けすることで、言語モデルが新しいタスクに適応できるようにする。 CONTEXT(SA-ICL)におけるSCHEMAの導入 この枠組みは, 先行事例から, 推論過程に対する認知の構成要素の表現を抽出する。 SA-ICLは、単一の実演例が高品質である場合、パフォーマンスを36.19パーセントまで継続的に向上させることを示す。
  論文  参考訳（メタデータ） (2025-10-14T21:00:15Z)
• Every Step Counts: Decoding Trajectories as Authorship Fingerprints of dLLMs [63.82840470917859]
  本稿では,dLLMの復号化機構をモデル属性の強力なツールとして利用できることを示す。 本稿では、デコードステップ間の構造的関係を捉え、モデル固有の振る舞いをよりよく明らかにする、DDM(Directed Decoding Map)と呼ばれる新しい情報抽出手法を提案する。
  論文  参考訳（メタデータ） (2025-10-02T06:25:10Z)
• Intervening to learn and compose disentangled representations [8.452837716541705]
  本稿では,非絡み付き潜在構造を同時に学習する任意表現型生成モデルの学習手法を提案する。 これは、任意の複雑な既存のデコーダブロックのヘッドに単純なデコーダのみのモジュールを追加することで実現される。 因果的グラフィカルモデルへの介入の概念に触発されて、我々のモジュールはトレーニング中にアーキテクチャを選択的に修正し、異なるコンテキストでコンパクトなジョイントモデルを学ぶことができる。
  論文  参考訳（メタデータ） (2025-07-07T08:30:27Z)
• On Linearizing Structured Data in Encoder-Decoder Language Models: Insights from Text-to-SQL [8.57550491437633]
  本研究では,エンコーダ-デコーダ言語モデル,特にT5における構造化データの線形処理について検討する。 この結果から,スキーマリンクや構文予測など,人間設計プロセスの模倣が可能であることが判明した。 また、構造ノードエンコーディングのエゴ中心の性質を含む、モデルの内部メカニズムに関する洞察を明らかにした。
  論文  参考訳（メタデータ） (2024-04-03T01:16:20Z)
• From Language Modeling to Instruction Following: Understanding the Behavior Shift in LLMs after Instruction Tuning [63.63840740526497]
  そこで本研究では,本質的な変化に着目した事前学習モデルの調整方法について検討する。 次に、事前訓練されたモデルと命令調整されたモデルから導かれた説明を比較することで、命令チューニングの影響について研究する。 この結果から,指導指導の3つの重要な影響が明らかになった。
  論文  参考訳（メタデータ） (2023-09-30T21:16:05Z)
• Toward a Theory of Causation for Interpreting Neural Code Models [49.906221295459275]
  本稿では,ニューラルコードモデル(NCM)に特化したポストホック解釈法である$do_code$を紹介する。 $do_code$は、言語指向の説明を可能にする因果推論に基づいている。 その結果,NCMはコード構文の変化に敏感であることが判明した。
  論文  参考訳（メタデータ） (2023-02-07T22:56:58Z)
• Autoregressive Structured Prediction with Language Models [73.11519625765301]
  本稿では, PLM を用いた自己回帰的手法を用いて, モデル構造を行動列として記述する。 我々のアプローチは、私たちが見てきた全ての構造化予測タスクにおいて、新しい最先端を実現する。
  論文  参考訳（メタデータ） (2022-10-26T13:27:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。