論文の概要: Your Prompt Is Not the Only Prompt: How Much Do LLMs Weight Structured-Output Schema Descriptions?

• arxiv url: http://arxiv.org/abs/2608.08254v1
• Date: Sat, 08 Aug 2026 17:27:22 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-11 19:16:36.747928
• Title: Your Prompt Is Not the Only Prompt: How Much Do LLMs Weight Structured-Output Schema Descriptions?
• Title（参考訳）: あなたのプロンプトは、唯一のプロンプトではない: LLMは構造化された出力スキーマ記述をどれだけ重いか?
• Abstract要約: システムプロンプト,ユーザプロンプト,スキーマ記述において,分類ラベルの定義が適切かどうかを検証した。 記述はプロンプトベースの配置よりも一貫して優れていなかった。 ラベルフィールドの前に必要な中間推論フィールドを追加することで、ヘッダーが存在する場合、スキーマのみの精度が15-24ポイント向上した。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Structured output, where an LLM populates a predefined JSON schema, has become a default mechanism for data labeling and information extraction, but it also introduces a second instruction channel through schema descriptions. We tested whether classification-label definitions are better placed in the system prompt, user prompt, or schema description using a single-field classification task with nonce labels across ten model configurations from two vendors. Schema descriptions did not consistently outperform prompt-based placement; for GPT-4.1 and GPT-5.4 without reasoning, schema placement underperformed system prompts by 11-13 percentage points. Yet schemas are not inert metadata: when prompts and schemas conflicted, incorrect schema instructions caused accuracy drops of 5-45 points, with Claude Haiku 4.5 falling from 52.5% to 7%, indicating that schema instructions can override prompt instructions, and GPT-5.5 falling from 100% to 73%. Further, adding a required intermediate reasoning field before the label field improved schema-only accuracy by 15-24 points when headroom existed, exceeding system-prompt-only performance in every case tested. The effect held even for Claude Sonnet 4.6 at medium reasoning, where extended thinking alone did not produce a comparable gain. This suggests that schema design can affect how effectively models use information encoded in field descriptions. Overall, these results indicate that schema influence is model-dependent. In practice, the system prompt remains a safe default for definitions, but the bigger discipline is maintaining a single source of truth and preventing prompt/schema drift. More importantly, schema design itself may be a stronger lever than instruction placement. Practitioners should treat prompts and schemas as a unified instruction surface and empirically validate both placement and field design for their target model.
• Abstract（参考訳）: LLMが事前に定義されたJSONスキーマをポップアップさせる構造化出力は、データラベリングと情報抽出のデフォルトメカニズムとなっているが、スキーマ記述による第2の命令チャネルも導入されている。 システムプロンプト,ユーザプロンプト,スキーマ記述において,2つのベンダから10のモデル構成のナンスラベルを持つ単一フィールド分類タスクを用いて,分類ラベルの定義が適切かどうかを検証した。 GPT-4.1 と GPT-5.4 では、スキーマの配置は11-13のパーセンテージで処理される。 しかし、スキーマは不活性なメタデータではない:プロンプトとスキーマが矛盾すると、不正確なスキーマ命令は5-45ポイントの精度低下を引き起こし、Claude Haiku 4.5は52.5%から7%に低下し、スキーマ命令がプロンプト命令をオーバーライドでき、GPT-5.5は100%から73%に低下した。 さらに、ラベルフィールドの前に必要な中間推論フィールドを追加することで、ヘッダーが存在する場合、スキーマのみの精度が15～24ポイント向上し、テストされた全てのケースにおいてシステムプロンプトのみのパフォーマンスを上回った。 この効果はClaude Sonnet 4.6の中間的推論にも及んだが、拡張思考だけでは同等の利得は得られなかった。 これは、スキーマ設計が、フィールド記述にエンコードされた情報をどのように効果的に利用するかに影響を与えることを示唆している。 これらの結果から,スキーマの影響はモデル依存であることが示唆された。 実際には、システムプロンプトは定義の安全なデフォルトのままだが、より大きな規律は、単一の真実のソースを維持し、プロンプト/スキーマドリフトを防ぐことである。 さらに重要なことは、スキーマ設計自体が命令配置よりも強いレバーである可能性があることである。 実践者はプロンプトとスキーマを統一的な命令サーフェスとして扱い、ターゲットモデルの配置とフィールド設計の両方を実証的に検証する必要がある。

関連論文リスト

• DRL: A Deterministic Relational Middleware Layer for Transaction-Safe Enterprise NL2SQL Under Schema-Graph Scaling [0.19116784879310023]
  エンタープライズOに自然言語インターフェースをデプロイするのはスケールに失敗する。 本稿では,フロントエンドバックエンド間の安全なパイプラインであるDRLを紹介する。 DRLオノップ,1000のスケーリングモデル,およびエンタープライズスキーマにリンクしたNL2分類について検討した。 GPT-4o, Claude Sonnet 4.5, Gemini 2.5 Flash は52.9%, 54.5%, 52.1% 実行一致を達成した。
  論文  参考訳（メタデータ） (2026-07-23T18:01:11Z)
• DriftScope: Measuring The Hidden Effects of Diffusion Model Adaptation [50.584834483403675]
  新しい視覚概念を学習するか、望ましくないものを消去するか、事前学習したテキスト・画像拡散モデルに適応させることは、意図した効果だけで日常的に評価される。 適応が意味論的に無関係な概念を、構造的にメトリクスを集約することができない方法で体系的に損なうことを実証する。 DriftScopeは、任意の2つのモデルチェックポイントを取り込み、視覚的概念が最も移行したトークンのランクリストを返す、プロンプトレベルの診断ツールである。
  論文  参考訳（メタデータ） (2026-06-30T20:57:51Z)
• EviLink: Multi-Path Schema Linking with Uncertainty-Guided Evidence Acquisition for Large-Scale Text-to-SQL [53.116276478707626]
  EviLinkは、マルチハイプセシススキーマと不確実性誘導されたエビデンス獲得を組み合わせている。 Spider2-Snowでは、EviLinkは90.15%のフィールドレベルの厳格なリコールレートを獲得し、平均トークン123.30Kを使用し、固定ジェネレータによる下流SQL生成を改善している。
  論文  参考訳（メタデータ） (2026-05-28T09:32:38Z)
• The Constraint Tax: Measuring Validity-Correctness Tradeoffs in Structured Outputs for Small Language Models [0.5482532589225553]
  本稿では、デバイス上および低コストのSLM(Small Language Model)デプロイメントを対象としている。 出力制約が根底にある答えを変えることなく信頼性を向上させることを示す。 我々は,回答と実行可能精度損失を分離するための測定プロトコルであるEmphconstraint Taxを導入する。
  論文  参考訳（メタデータ） (2026-05-20T07:11:32Z)
• Semantic Layers for Reliable LLM-Powered Data Analytics: A Paired Benchmark of Accuracy and Hallucination Across Three Frontier Models [0.0]
  解析データベースの自然言語クエリ用にデプロイされたLLMは、2つの障害に悩まされる。 ClickHouseのCleaned Contoso Retailデータセットに対して,100の自然言語質問に対して,3つのフロンティアLSMをベンチマークした。
  論文  参考訳（メタデータ） (2026-04-28T02:53:23Z)
• Structured Context Engineering for File-Native Agentic Systems: Evaluating Schema Accuracy, Format Effectiveness, and Multi-File Navigation at Scale [0.0]
  大規模言語モデルエージェントは、プログラムインターフェイスを介してシステムを操作するようになっている。 しかし、実践者は、これらのエージェントが消費するコンテキストを構造化する方法に関する経験的なガイダンスを欠いている。 11のモデル、4のフォーマット、スキーマ10から10,000のテーブルにわたる9,649の実験を調査した。
  論文  参考訳（メタデータ） (2026-02-05T08:39:05Z)
• AutoLink: Autonomous Schema Exploration and Expansion for Scalable Schema Linking in Text-to-SQL at Scale [68.29002818359844]
  既存の方法は違法なコストを発生させ、リコールとノイズのトレードオフに苦労し、大規模データベースに不利なスケーリングを行う。 我々は、反復的エージェント駆動プロセスとしてスキーマリンクを再構成する、自律的なエージェントフレームワークであるtextbfAutoLinkを提案する。 実験ではAutoLinkの優れたパフォーマンスを示し、最先端の厳密なスキーマリンクのリコール、すなわち textbf68.7% EX on Bird-Dev (CHESSより優れている)、 textbf34.9% EX on Spider-2.0-Lite (第2位)を実現している。
  論文  参考訳（メタデータ） (2025-11-21T12:12:17Z)
• AutoSchemaKG: Autonomous Knowledge Graph Construction through Dynamic Schema Induction from Web-Scale Corpora [51.77079220622184]
  完全自律的な知識グラフ構築のためのフレームワークであるAutoKGを提案する。 大規模言語モデルを利用して知識トリプルを同時に抽出し,テキストから直接包括的なスキーマを誘導する。 我々は,9億以上のノードと590億のエッジを持つ知識グラフ群であるATLAS(Automated Triple Linking And induction)を構築した。
  論文  参考訳（メタデータ） (2025-05-29T16:34:58Z)
• ProTeCt: Prompt Tuning for Taxonomic Open Set Classification [59.59442518849203]
  分類学的オープンセット(TOS)設定では、ほとんどショット適応法はうまくいきません。 本稿では,モデル予測の階層的一貫性を校正する即時チューニング手法を提案する。 次に,階層整合性のための新しいPrompt Tuning(ProTeCt)手法を提案し,ラベル集合の粒度を分類する。
  論文  参考訳（メタデータ） (2023-06-04T02:55:25Z)
• Schema-adaptable Knowledge Graph Construction [47.772335354080795]
  従来の知識グラフ構築(KGC)アプローチは、通常、事前定義されたスキーマの閉じたセットで静的情報抽出パラダイムに従う。 我々は,スキーマ適応型KGCと呼ばれる新しいタスクを提案する。このタスクは,動的に変化するスキーマグラフに基づいて,再学習せずにエンティティ,リレーション,イベントを継続的に抽出することを目的としている。
  論文  参考訳（メタデータ） (2023-05-15T15:06:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。