論文の概要: Why Does Structured Output Fail? An Empirical Study of Prompt-Enforced Pydantic Schemas Across Nine LLMs

• arxiv url: http://arxiv.org/abs/2610.33949v1
• Date: Sat, 24 Oct 2026 23:30:38 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-27 22:27:13.490124
• Title: Why Does Structured Output Fail? An Empirical Study of Prompt-Enforced Pydantic Schemas Across Nine LLMs
• Title（参考訳）: 構造的アウトプットはなぜ機能しないのか?-9LLM間のプロンプト強化ピダンティック・スキーマの実証的研究
• Abstract要約: ホスト言語モデルからの構造化出力を必要とするパイプラインは、プロンプトにピダンティックスキーマを指定し、応答を検証し、バリデーションが失敗した時に再試行することが多い。 しかし、パイプラインの信頼性は単一の妥当性率によって要約されることが多い。 本稿では,スキーマ整合性障害の微粒な分類法と,モデル応答とピダンティック検証エラーから障害カテゴリを割り当てる決定論的分類法を導入する。
• 参考スコア（独自算出の注目度）: 0.2900810893770133
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Pipelines that require structured outputs from hosted language models often specify a Pydantic schema in the prompt, validate the response, and retry when validation fails. Although native structured-output modes provide an alternative, application-side validation remains important for enforcing custom constraints. Yet pipeline reliability is often summarized by a single validity rate, which obscures why outputs fail and which interventions may help. We introduce a fine-grained taxonomy of schema-conformance failures and a deterministic classifier that assigns failure categories from model responses and Pydantic validation errors. We apply this framework to 3,997 generation attempts across nine OpenAI and Anthropic model/API configurations, using questions from HotpotQA and FinanceBench. Our results show that similar validity rates can mask different failure patterns, and that dominant failure categories vary with schema constraints and task. Markdown-fenced JSON is the most common failure: among 681 fenced failures, only 48.0% pass validation after fence removal, while the remainder conceal additional violations, predominantly field-length violations. In an exploratory prompt ablation, variants that suppress fences appear to shift failures toward length violations, but the shift is consistent with exposing violations that were already present, illustrating how aggregate validity rates can obscure changes in failure composition. We derive four engineering practices for validator, schema, retry and evaluation design, three supported by our data and one, on retry feedback, proposed but not tested, and release the classifier, completions, and annotations.
• Abstract（参考訳）: ホスト言語モデルからの構造化出力を必要とするパイプラインは、プロンプトにピダンティックスキーマを指定し、応答を検証し、バリデーションが失敗した時に再試行することが多い。 ネイティブな構造化出力モードは代替手段を提供するが、アプリケーション側のバリデーションは、カスタム制約を強制する上で重要である。 しかし、パイプラインの信頼性は単一の妥当性率によって要約されることが多い。 本稿では,スキーマ整合性障害の微粒な分類法と,モデル応答とピダンティック検証エラーから障害カテゴリを割り当てる決定論的分類法を導入する。 このフレームワークを,HotpotQA と FinanceBench の質問を用いて,9つの OpenAI および Anthropic モデル/API 構成にわたる3,997 世代の試みに適用する。 我々の結果は、類似の妥当性は異なる障害パターンを隠蔽しうることを示し、主要な障害カテゴリはスキーマの制約やタスクによって異なることを示している。 681のフェンス付き障害のうち、フェンス除去後に48.0%のパスバリデーションしか行わず、残りは追加の違反を隠しており、主にフィールド長の違反である。 探索的なプロンプトアブレーションでは、フェンスを抑える変種は、失敗を長大な違反へとシフトしているように見えるが、この変化は、既に存在した違反を暴露することと一致しており、集合的妥当性が障害構成の変化を曖昧にしていることを示している。 検証,スキーマ,再試行,評価設計のための4つのエンジニアリングプラクティスを導出します。

関連論文リスト

• Beyond Causal Masks: Auditing and Localizing Hidden Future-Token Leakage in Adaptive Sequence Models [4.01764684910538]
  隠れた将来のリークは、誤ったアーキテクチャ上の利益を生み出す可能性がある。 適応型残差復号器におけるこの故障について検討する。 実験では、5つのモジュールファミリーにまたがる6つの合成実装ペアをカバーしている。
  論文  参考訳（メタデータ） (2026-10-22T16:34:32Z)
• Cortex: A Fixed-Point Theory of Governed Coding Agents - Technical Report [1.0838165655415846]
  コーディングエージェントは、大きな言語モデル(LLM)と、コードを計画、編集、実行するためのハーネスを組み合わせる。 我々は,事前実行管理,要件追跡,反復的検証と修復のための監督レイヤであるCortexについて検討する。
  論文  参考訳（メタデータ） (2026-10-16T21:28:03Z)
• GlitchPatch: Repairing Glitch Tokens in Frozen Language Models via Local Retokenization [52.5302018047534]
  グリッチトークンは異常な語彙のエントリであり、大きな言語モデルが一貫性のない出力を生成する可能性がある。 GlitchPatchは,局所的再トークン化に基づくフリーズ言語モデルの修復フレームワークである。 6つのトークンライザファミリーにまたがる10モデルの実験では、GlitchPatchの平均固定率は85.10%であり、最強のベースラインを14.37ポイント上回っている。
  論文  参考訳（メタデータ） (2026-10-03T09:44:13Z)
• Localizing Post-Wire Semantic Changes in MCP Agent Frameworks [0.0]
  本稿では,各フレームワークの公開インターフェースを通じて固定されたツール結果に従い,明示的な消費者要求をチェックする差分テスト手法を提案する。 Google ADKは、観察されたパス内のすべてのプライマリコントラクトを満たす。 その実際的な意味は、配線後回帰テストは必要な情報と消費者がそれをどのように読むかの両方を特定する必要があることである。
  論文  参考訳（メタデータ） (2026-09-17T04:06:38Z)
• PluginEval: A Diagnostic Benchmark for Fine-Grained Error Attribution in Function Calling [11.1017602726296]
  大規模言語モデルは、ますます自律的なエージェントとして機能している。 現在のベンチマークには3つの制限がある。 Evalは、2段階のフレームワークで構築されたベンチマークである。
  論文  参考訳（メタデータ） (2026-08-09T13:25:54Z)
• Gatekeepers and Hallucinations: A Layered Evaluation Framework for LLM-Driven Quantum Circuit Generation [0.0]
  材料インフォームド変分量子固有解器(VQE)回路生成のための階層評価フレームワークを提案する。 5つの異なるLCM障害モード(幾何学幻覚、存在しないAPI使用、統合障害、制約違反、検証不可能な出力)を分類する。 評価プラットフォーム自身のソースコードの法医学的な監査により、サイレントフォールバック・テンプレート置換によって、ハーネスに2つの明らかなモデル障害が生じたことが確認された。
  論文  参考訳（メタデータ） (2026-06-16T19:17:54Z)
• LiveFMBench: Unveiling the Power and Limits of Agentic Workflows in Specification Generation [75.05397479715576]
  大規模言語モデル(LLM)とエージェントは有望な進歩を示しているが、その真の能力と失敗モードは未だ不明である。 CプログラムのためのLCMおよびエージェントベースの形式仕様生成に関する、最初の体系的および汚染に配慮した研究を提案する。
  論文  参考訳（メタデータ） (2026-05-02T11:31:33Z)
• How LLMs Fail and Generalize in RTL Coding for Hardware Design? [56.361436215029045]
  我々は,認知理論に触発された問題解決性に基づく新しい誤り分類法を導入する。 我々の分類学は、障害を構文、意味、解決可能な機能、解決不可能な機能タイプに分類する。
  論文  参考訳（メタデータ） (2026-04-26T14:34:49Z)
• interwhen: A Generalizable Framework for Verifiable Reasoning with Test-time Monitors [47.363850513075356]
  実験時間検証フレームワークであるInterwhenを提案し, 与えられた検証結果に対して, 推論モデルの出力が有効であることを保証する。 検証された推論は、物理的な世界にエージェントを配置するといった高度なシナリオにおいて重要な目標である。
  論文  参考訳（メタデータ） (2026-02-05T08:35:01Z)
• CompassVerifier: A Unified and Robust Verifier for LLMs Evaluation and Outcome Reward [50.97588334916863]
  評価と結果報酬のための正確で堅牢な軽量検証モデルであるCompassVerifierを開発した。 数学、知識、多種多様な推論タスクにまたがる多分野の能力を示し、様々な答えの型を処理する能力を示す。 我々は,複数のデータソースから収集したモデル出力からなるVerifierBenchベンチマークを導入し,メタエラーパターンを手動で解析してCompassVerifierを強化する。
  論文  参考訳（メタデータ） (2025-08-05T17:55:24Z)
• TACRED Revisited: A Thorough Evaluation of the TACRED Relation Extraction Task [80.38130122127882]
  TACREDはリレーショナル抽出(RE)において最も大きく、最も広く使われているクラウドソースデータセットの1つである パフォーマンスの天井に到達したのか、改善の余地はあるのか? ラベルエラーは絶対F1テストエラーの8%を占めており、例の50%以上を可逆化する必要がある。
  論文  参考訳（メタデータ） (2020-04-30T15:07:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。