論文の概要: Where vs What: Decomposing Structural and Content Failures in LLM-Generated Structured Outputs
- arxiv url: http://arxiv.org/abs/2608.25358v1
- Date: Wed, 26 Aug 2026 04:32:06 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-27 14:15:15.591868
- Title: Where vs What: Decomposing Structural and Content Failures in LLM-Generated Structured Outputs
- Title（参考訳）: LLM生成構造出力における構造的・内容的故障の分解
- Abstract要約: 本稿では,構造忠実度と内容精度を計測するフレームワークであるStructure-Content Decomposition(SCD)を紹介する。
ネストされたタスクとテーブルタスクを6つのモデル(フロンティアに7B)に適用すると、一貫した現象が明らかになる。
我々は,SA-RLVRを提案し,SCDメトリクスを学習のための検証可能な報酬に変換する。
- 参考スコア（独自算出の注目度）: 15.823269213947347
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Structured outputs such as JSON and tables are central to modern LLM-based systems, yet generation failures are evaluated monolithically, conflating two distinct error modes: placement errors (correct values at wrong positions) and value errors (wrong values at intended positions). We introduce Structure-Content Decomposition (SCD), a framework that independently measures structural fidelity and content accuracy. Applying SCD to nested JSON and table tasks across six models (7B to frontier), we uncover a consistent phenomenon: structural fidelity degrades earlier and more sharply than content accuracy as complexity increases. At the highest complexity, even DeepSeek-V4-Flash (with reasoning) misplaces 35% of recalled values, while Qwen2.5-7B misplaces 74%. Controlled ablations suggest that this pattern is associated with reliance on semantic shortcuts rather than topological understanding of output structure. Based on these findings, we propose SA-RLVR, converting SCD metrics into verifiable rewards for reinforcement learning via GRPO. SA-RLVR successfully optimizes structural addressing across distinct topologies: it lifts JSON Value Placement Accuracy (VPA) from 26% to 63% while generalizing to held-out schemas; moreover, it consistently drives VPA improvements in the table domain, demonstrating that structure-aware rewards can directly enhance multi-domain structural positioning.
- Abstract（参考訳）: JSONやテーブルのような構造化されたアウトプットは、現代のLCMベースのシステムの中心であるが、生成エラーはモノリシックに評価され、配置エラー(間違った位置における正しい値)と値エラー(意図された位置における短い値)の2つの異なるエラーモードが混同される。
本稿では,構造忠実度と内容精度を独立に測定するフレームワークである構造化コンテンツ分解(SCD)を紹介する。
SCDをネストしたJSONとテーブルタスクに6つのモデル(7Bからフロンティア)に適用すると、一貫した現象が明らかになる。
もっとも複雑なところでは、DeepSeek-V4-Flashでさえ(推論を伴う)リコールされた値の35%を誤る一方、Qwen2.5-7Bは74%を誤る。
制御されたアブレーションは、このパターンが出力構造のトポロジ的理解よりも意味的ショートカットに依存することを示唆している。
これらの結果に基づき, GRPOを用いた強化学習において, SCDの指標を検証可能な報酬に変換するSA-RLVRを提案する。
SA-RLVRは、異なるトポロジ間の構造的アドレッシングをうまく最適化する。JSON値配置精度(VPA)を26%から63%に引き上げると同時に、保留スキーマに一般化する。
関連論文リスト
- Alignment-Guided Largest Table Overlap Size Estimation [11.275866569459502]
テーブル間の最大のオーバーラップサイズを高速に推定することで、大きなテーブルリポジトリにおけるブロッキングとクエリ・バイ・テーブル検索が可能になる。
ALOREは3つの原理に基づいて構築された,スケーラブルでドメイン・ロバストなオーバーラップ比推定器である。
さまざまなドメインとスケールにまたがる複数のデータセットの実験は、以前のベンチマーク以上の大規模な実世界のコーパスを含む、ALOREが芸術の状態を上回ることを示している。
論文 参考訳（メタデータ） (2026-07-03T07:38:43Z) - TS-Fault: Benchmarking Time Series Forecasters Against Structural Faults [22.88447833683736]
時系列予測(TSF)は、エネルギー、輸送、金融、医療の連続的な決定を支えている。
TSFモデルは、デプロイされた信頼性を予測するという暗黙の仮定の下で、クリーンなホールトアウトデータ上の1つの数でほぼ普遍的にランク付けされる。
TS-Faultは、制御可能な意味的難易度を持つ明示的でパラメータ化された障害シナリオの下で予測モデルを評価するベンチマークである。
論文 参考訳（メタデータ） (2026-06-16T23:15:20Z) - APEX-EM: Non-Parametric Online Learning for Autonomous Agents via Structured Procedural-Episodic Experience Replay [7.370176470430802]
LLMベースの自律エージェントは、永続的な手続き記憶を欠いている。
我々は,構造化手続き計画の蓄積,検索,再利用を行う非パラメトリックオンライン学習フレームワークであるAPEX-EMを提案する。
論文 参考訳（メタデータ） (2026-03-31T00:24:56Z) - Architecture-Aware Multi-Design Generation for Repository-Level Feature Addition [53.50448142467294]
RAIMは、リポジトリレベルの機能追加のための、多設計およびアーキテクチャ対応のフレームワークである。
複数の多様な実装設計を生成することで、線形パッチから切り離される。
NoCode-bench Verifiedデータセットの実験では、RAIMが新しい最先端のパフォーマンスを確立することが示されている。
論文 参考訳（メタデータ） (2026-03-02T12:50:40Z) - RL-Struct: A Lightweight Reinforcement Learning Framework for Reliable Structured Output in LLMs [0.08594140167290097]
大規模言語モデル(LLM)は、自然言語の生成と推論において顕著な能力を示した。
自動化されたソフトウェアエコシステムへの統合は、しばしば"構造ギャップ"によって妨げられます。
このギャップを埋めるための軽量で効率的な強化学習フレームワークを提案する。
論文 参考訳（メタデータ） (2025-11-29T04:47:14Z) - STED and Consistency Scoring: A Framework for Evaluating LLM Structured Output Reliability [11.095198847819573]
大規模言語モデル(LLM)は、構造化データ生成のためにますます多くデプロイされている。
LLM生成した構造化出力の整合性の評価と改善のための総合的なフレームワークを提案する。
論文 参考訳（メタデータ） (2025-11-27T02:49:52Z) - Self-Correction Distillation for Structured Data Question Answering [50.98882432829651]
小型言語モデル(LLM)は、構造化クエリの生成時にエラーを起こしやすい。
小型LCMの構造データQA能力を向上させるための自己補正蒸留(SCD)法を提案する。
論文 参考訳（メタデータ） (2025-11-11T09:01:51Z) - AlphaFold Database Debiasing for Robust Inverse Folding [58.792020809180336]
Debiasing Structure AutoEncoder (DeSAE)を導入し、故意に破損したバックボーンジオメトリからネイティブライクなコンフォーメーションを再構築することを学ぶ。
推測において、DeSAEをAFDB構造に適用すると、逆折り畳み性能を著しく向上する偏りのある構造が生成される。
論文 参考訳（メタデータ） (2025-06-10T02:25:31Z) - Elucidating the Design Space of Multimodal Protein Language Models [69.3650883370033]
マルチモーダルタンパク質言語モデル(PLM)は、シーケンスとトークンに基づく構造情報を統合する。
本稿では,マルチモーダルPLMの設計空間を体系的に解明し,その限界を克服する。
我々の進歩はよりきめ細かな監督にアプローチし、トークンベースのマルチモーダルPLMが堅牢な構造モデリングを実現することを実証する。
論文 参考訳（メタデータ） (2025-04-15T17:59:43Z) - Robust Self-Supervised LiDAR Odometry via Representative Structure
Discovery and 3D Inherent Error Modeling [67.75095378830694]
そこで我々は,2段階のオドメトリ推定ネットワークを構築し,一連の部分領域変換を推定してエゴモーメントを求める。
本稿では,トレーニング,推論,マッピングフェーズにおける信頼できない構造の影響を軽減することを目的とする。
我々の2フレームのオードメトリーは、翻訳/回転誤差の点で、過去の芸術の状態を16%/12%上回っている。
論文 参考訳（メタデータ） (2022-02-27T12:52:27Z) - ISTR: End-to-End Instance Segmentation with Transformers [147.14073165997846]
ISTRと呼ばれるインスタンスセグメンテーショントランスフォーマーを提案します。これは、その種類の最初のエンドツーエンドフレームワークです。
ISTRは低次元マスクの埋め込みを予測し、それらのマスクの埋め込みと一致する。
ISTRは、提案されたエンドツーエンドのメカニズムにより、近似ベースのサブオプティマティック埋め込みでも最先端のパフォーマンスを発揮します。
論文 参考訳（メタデータ） (2021-05-03T06:00:09Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。