論文の概要: Trace Integrity for LLM Data Agents: A Vision for Auditable Structured Reasoning in Real-World Systems
- arxiv url: http://arxiv.org/abs/2608.26036v1
- Date: Wed, 26 Aug 2026 17:15:24 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-27 14:15:15.963058
- Title: Trace Integrity for LLM Data Agents: A Vision for Auditable Structured Reasoning in Real-World Systems
- Title（参考訳）: LLMデータエージェントのためのトレースインテリジェンス:実世界のシステムにおける可聴構造推論のためのビジョン
- Abstract要約: 構造化データタスクでは、不正なトレースによってベンチマーク正解が生成される。
本稿では,回答の裏側で記録された計算が明確かどうかを評価するためのデプロイメント信頼性基準であるTrace Integrityを紹介する。
また,CAIT (Correct Answer / Invalid Trace) レートを導入し,回答のみの評価が計算支援出力をどれだけ成功させるかを測定する。
- 参考スコア（独自算出の注目度）: 0.519554837386174
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Answer accuracy is an insufficient reliability signal for LLM data agents. In structured-data tasks, a benchmark-correct answer can be produced by an invalid trace. This paper introduces Trace Integrity, a deployment reliability criterion for evaluating whether the computation recorded behind an answer is explicit, executable, schema-valid, operator-faithful, replayable, answer-consistent, and auditable. We identify the Structure Gap as the deployment failure mode that makes Trace Integrity necessary: natural-language reasoning and free-form rationales do not reliably specify the operator-level programs required by real-world systems. We operationalize Trace Integrity with execution contracts, structured artifacts that bind user intent to schema elements, operator plans, assumptions, executable queries, verification status, and final-answer linkage. We also introduce CAIT (Correct Answer / Invalid Trace) Rate, which measures how often answer-only evaluation counts computationally unsupported outputs as successes. In an empirical demonstration on BIRD Mini-Dev, Direct SQL, Operation Summary + SQL, and Contract-First SQL achieve answer accuracies of 20%, 22%, and 24%, while their Trace Integrity Pass Rates are 39%, 43%, and 40% and their CAIT Rates remain high at 55%, 59.1%, and 45.8%, showing that answer accuracy, trace validity, and silent-failure risk are distinct evaluation signals. Real-world LLM data agents should, therefore, be evaluated not only by whether their outputs match a reference answer, but by whether those outputs are backed by auditable computation.
- Abstract（参考訳）: アンサー精度はLLMデータエージェントにとって不十分な信頼性信号である。
構造化データタスクでは、不正なトレースによってベンチマーク正解が生成される。
本稿では, 応答の背後に記録された計算が明示的, 実行可能, スキーマ正則, 演算子正則, 再生可能, 応答整合性, 監査可能であるかどうかを評価するためのデプロイメント信頼性基準であるTrace Integrityを紹介する。
自然言語推論と自由形式論理は,実世界のシステムに必要な演算子レベルのプログラムを確実に特定するものではない。
実行契約、ユーザ意図をスキーマ要素、オペレータ計画、仮定、実行可能なクエリ、検証ステータス、ファイナル・アンサーリンクにバインドする構造化アーティファクトを運用します。
また,CAIT (Correct Answer / Invalid Trace) レートを導入し,回答のみの評価が計算支援出力をどれだけ成功させるかを測定する。
BIRD Mini-Dev、Direct SQL、Operation Summary + SQL、Contract-First SQLの実証的なデモでは、回答精度は20%、22%、24%、Trace Integrity Pass Rateは39%、43%、CAIT Ratesは55%、59.1%、45.8%で、回答精度、トレース妥当性、サイレント障害リスクは異なる評価信号である。
したがって、実世界のLLMデータエージェントは、それらの出力が参照応答に一致するかどうかだけでなく、それらの出力が監査可能な計算によってバックアップされているかどうかによって評価されるべきである。
関連論文リスト
- Efficient SWE Agent Benchmarking via Trajectory-Aware Evaluation [46.74484954631231]
プロセスと結果信号を融合するPTA-IRTを提案する。
低キャリブレーションの予算の下では、PTA-IRTは4つのSWEベンチマークのスコアとランキングのリカバリでIRT以前のベースラインを上回っている。
論文 参考訳（メタデータ） (2026-09-01T17:59:46Z) - From Sequence to Structure: Relational Uncertainty Propagation for LLM Agents [75.69180947909148]
大規模言語モデル(LLM)エージェントのためのトラジェクトリレベルのUQフレームワークを提案する。
RuPAは、推論状態、ツールインタラクション、環境フィードバックが時間的およびセマンティックな依存関係エッジで接続されたノードである、指向的なトラジェクトリグラフとして実行履歴を表現している。
我々は,複数のモデルファミリにまたがる6つのオープンソースLCMを用いて,代用エージェントベンチマーク($2, Terminal-Bench-2, GAIA)でRUPAを評価した。
論文 参考訳（メタデータ） (2026-08-17T01:40:14Z) - ClawTrack: Towards Trace-Level Evaluation and Improvement of Real-World Autonomous Agents [23.840537431318296]
エージェントが何を達成し、どのように達成するかを同時に測定するデュアルアセスメントベンチマークであるClawTrackを提示する。
ClawTrackは8つのドメインにわたる320のタスクと25以上の決定論的モックサービスで構成されている。
プロセスグレーダは、12,541のタスク固有の項目で固定された4次元(ゴールアライメント、効率性、情報利用、結果検証)に沿って各推論ターンをスコアする。
論文 参考訳（メタデータ） (2026-07-30T11:18:47Z) - CDR-Bench: Evaluating Faithful Execution of Compositional, Order-Sensitive Data Refinement Recipes [52.734097662607375]
CDR-Benchは、4つの現実世界のデータリファインメントドメインにまたがる3,462の高品質なタスクを特徴とする包括的なベンチマークである。
我々のベンチマークでは、原子性、秩序に依存しない、秩序に敏感な設定でモデルを評価する。
10以上の最先端のLLMの実験では、一貫した障害パターンが明らかになっている。
論文 参考訳（メタデータ） (2026-06-30T10:08:45Z) - Cross-Vendor Sola ISPM Benchmark: Evaluating Agentic AI for Federated Identity Security Reasoning [0.41942958779358674]
既存の評価は、孤立した単一プラットフォーム環境に焦点を当てている。
我々は、50個のデータ基底タスクのプロダクショングレードベンチマークであるCross-Vendor Sola ISPMベンチマークを紹介する。
また、最終回答の正当性だけでなく、明らかな根拠も測定する評価フレームワークにも貢献する。
論文 参考訳（メタデータ） (2026-06-01T12:41:00Z) - Time to REFLECT: Can We Trust LLM Judges for Evidence-based Research Agents? [61.49434544687523]
本稿では,エージェント環境におけるきめ細かい故障検出を目的としたメタ評価ベンチマークREFLECTを紹介する。
REFLECTはプロセスレベルの障害モードと結果レベルの障害モードの詳細な分類を定義し、制御および局所的な介入を実行することでインスタンス化する。
私たちの実験では、最高のパフォーマンスモデルでさえ、推論、ツール使用、レポート品質の失敗に対して、全体的なアキュラシーを55%以下に達成しています。
論文 参考訳（メタデータ） (2026-05-18T23:55:08Z) - LiveFMBench: Unveiling the Power and Limits of Agentic Workflows in Specification Generation [75.05397479715576]
大規模言語モデル(LLM)とエージェントは有望な進歩を示しているが、その真の能力と失敗モードは未だ不明である。
CプログラムのためのLCMおよびエージェントベースの形式仕様生成に関する、最初の体系的および汚染に配慮した研究を提案する。
論文 参考訳（メタデータ） (2026-05-02T11:31:33Z) - Rewarding the Scientific Process: Process-Level Reward Modeling for Agentic Data Analysis [68.28714988482703]
プロセス・リワード・モデル(PRM)は、LLM(Large Language Models)の推論能力を増強することに成功した。
本稿では,一般ドメインのPRMがデータ分析エージェントの監督に苦慮していることを示す。
本稿では,新しい環境対応生成プロセス報酬モデルであるDataPRMを紹介する。
論文 参考訳（メタデータ） (2026-04-27T09:00:30Z) - Runtime Execution Traces Guided Automated Program Repair with Multi-Agent Debate [8.424102114588559]
自動プログラム修復(APR)は複雑なロジックエラーとサイレント障害に悩まされる。
現在のLLMベースのAPRメソッドは主に静的であり、ソースコードと基本的なテスト出力に依存している。
我々は、パッチ検証のための共有制約としてランタイム事実を活用するマルチエージェントフレームワークであるTraceRepairを提案する。
論文 参考訳（メタデータ） (2026-04-03T02:23:25Z) - Can LLM Agents Generate Real-World Evidence? Evaluating Observational Studies in Medical Databases [17.35673829214932]
我々は、MIMIC-IVをベースとしたRWE-benchについて、ピアレビューによる観察研究から紹介する。
各タスクは対応する研究プロトコルを基準として提供し、エージェントは実際のデータベースで実験を行う必要がある。
162タスク全体では、タスク成功率は低く、最高のエージェントが39.9%、最高のオープンソースモデルが30.4%に達する。
論文 参考訳（メタデータ） (2026-03-24T03:50:34Z) - VIRO: Robust and Efficient Neuro-Symbolic Reasoning with Verification for Referring Expression Comprehension [51.76841625486355]
Referring Expression (REC) は、自然言語クエリに対応する画像領域をローカライズすることを目的としている。
最近のニューロシンボリックRECアプローチは、大規模言語モデル(LLM)と視覚言語モデル(VLM)を利用して構成推論を行う。
推論ステップ内に軽量な演算子レベルの検証器を組み込む,ニューロシンボリックなフレームワークであるVIROを紹介する。
論文 参考訳（メタデータ） (2026-01-19T07:21:19Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。