論文の概要: From Agent Traces to Trust: Evidence Tracing and Execution Provenance in LLM Agents
- arxiv url: http://arxiv.org/abs/2606.04990v1
- Date: Wed, 03 Jun 2026 15:12:47 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-06-04 20:44:18.849101
- Title: From Agent Traces to Trust: Evidence Tracing and Execution Provenance in LLM Agents
- Title（参考訳）: エージェントトレースから信頼へ:LSMエージェントのエビデンストレースと実行確率
- Authors: Yiqi Wang, Jiaqi Zhang, Taotao Cai, Zirui Liu, Qingqiang Sun, Zequn Sun, Zhangkai Wu, Mingkai Zhang, Yanming Zhu,
- Abstract要約: 大規模言語モデル(LLM)ベースのエージェントは、外部ツール、検索システム、メモリモジュール、環境、その他のエージェントと相互作用することで、複雑なタスクをますます解決する。
最終回答の精度だけでは、アウトプットがどのように生成されたかは説明できないため、それぞれのクレーム、ツールコールが正当化されたか、後の決定にメモリがどのように影響したか、実行失敗がどこから発生したかといった証拠が裏付けられている。
エビデンストレースと実行の証明は、検索されたエビデンス、ツール出力、メモリアイテム、環境観察、中間クレーム、アクション、最終回答がエージェントの実行を通してどのように接続されているかをモデル化することによって、このギャップに対処する。
- 参考スコア（独自算出の注目度）: 20.651400118242346
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Large language model (LLM)-based agents increasingly solve complex tasks by interacting with external tools, retrieval systems, memory modules, environments, and other agents. These capabilities expand agent autonomy, but also make agent behavior harder to verify, debug, and audit. Final-answer accuracy alone cannot explain how an output was produced, which evidence supported each claim, whether tool calls were justified, how memory influenced later decisions, or where execution failures originated. Evidence tracing and execution provenance address this gap by modeling how retrieved evidence, tool outputs, memory items, environment observations, intermediate claims, actions, and final answers are connected throughout agent execution. This survey provides a systematic review and conceptual framework for evidence tracing and execution provenance in LLM agents. We organize related work around a unified provenance perspective that connects retrieval grounding, claim support, tool-use safety, memory lineage, observability, debugging, audit, and recovery. We introduce a taxonomy covering trace sources, evidence and execution units, provenance relations, tracing granularity and timing, representation forms, and trust functions. We review key methodological directions, including provenance representation, evidence attribution, tool-use provenance, runtime guardrails, provenance-bearing memory, trace-based observability, and failure diagnosis. We also map existing benchmarks, datasets, and evaluation metrics to provenance-related capabilities, and discuss how evaluation can move from final-answer correctness toward process-level accountability. Finally, we outline open challenges, including unified trace schemas, claim-level and semantic provenance, provenance-aware safety mechanisms, realistic execution-trace benchmarks, recovery-oriented evaluation, and privacy-aware audit infrastructure.
- Abstract（参考訳）: 大規模言語モデル(LLM)ベースのエージェントは、外部ツール、検索システム、メモリモジュール、環境、その他のエージェントと相互作用することで、複雑なタスクをますます解決する。
これらの機能はエージェントの自律性を拡張するだけでなく、エージェントの動作の検証、デバッグ、監査を難しくする。
最終回答の精度だけでは、アウトプットがどのように生成されたかは説明できないため、それぞれのクレーム、ツールコールが正当化されたか、後の決定にメモリがどのように影響したか、実行失敗がどこから発生したかといった証拠が裏付けられている。
エビデンストレースと実行の証明は、検索されたエビデンス、ツール出力、メモリアイテム、環境観察、中間クレーム、アクション、最終回答がエージェントの実行を通してどのように接続されているかをモデル化することによって、このギャップに対処する。
本調査は, LLMエージェントにおけるエビデンス追跡および実行証明の体系的レビューと概念的枠組みを提供する。
検索グラウンディング、クレームサポート、ツール使用安全性、メモリライン、可観測性、デバッグ、監査、リカバリを接続する統合されたプロファイナンスの観点から、関連する作業を整理する。
本稿では,トレースソース,エビデンスと実行ユニット,証明関係,粒度とタイミングの追跡,表現形式,信頼機能などをカバーする分類法を紹介する。
本稿では,プロファイナンス表現,エビデンス属性,ツール使用プロファイナンス,実行時ガードレール,プロファイナンス対応メモリ,トレースベースオブザーバビリティ,障害診断など,主要な方法論の方向性について検討する。
また、既存のベンチマーク、データセット、評価メトリクスを証明関連能力にマッピングし、評価が最終回答の正しさからプロセスレベルの説明責任へとどのように移行できるかについて議論する。
最後に、統合トレーススキーマ、クレームレベルとセマンティックプロファイリング、証明対応の安全性メカニズム、現実的な実行トレースベンチマーク、リカバリ指向の評価、プライバシ対応の監査インフラストラクチャなど、オープンな課題を概説する。
関連論文リスト
- Harness-Bench: Measuring Harness Effects across Models in Realistic Agent Workflows [18.6534256358905]
本稿では,リアルエージェントシステムにおける構成レベルのハーネス効果を評価するための診断ベンチマークであるHarness-Benchを紹介する。
ベンチマークには、実用的なエージェント使用パターンから構築された106のサンドボックス化されたオフラインタスクが含まれている。
5,194個の実行軌道にまたがって、完了、プロセス品質、効率、障害挙動のかなりの変化を観察する。
論文 参考訳（メタデータ） (2026-05-27T03:47:35Z) - RepoMirage: Probing Repository Context Reasoning in Code Agents with Perturbations [51.43574078961796]
本稿では,SWE-Bench Verified上に構築された2段階評価スイートRepoMirageを紹介する。
RepoMirage-Perturbは、リポジトリレベルの摂動を保存する3つのタイプのセマンティクスを適用している。
RepoAnchorは、下流の問題解決からリポジトリの探索を分離する構造第一のプロトタイプワークフローである。
論文 参考訳（メタデータ） (2026-05-25T06:26:43Z) - Time to REFLECT: Can We Trust LLM Judges for Evidence-based Research Agents? [61.49434544687523]
本稿では,エージェント環境におけるきめ細かい故障検出を目的としたメタ評価ベンチマークREFLECTを紹介する。
REFLECTはプロセスレベルの障害モードと結果レベルの障害モードの詳細な分類を定義し、制御および局所的な介入を実行することでインスタンス化する。
私たちの実験では、最高のパフォーマンスモデルでさえ、推論、ツール使用、レポート品質の失敗に対して、全体的なアキュラシーを55%以下に達成しています。
論文 参考訳（メタデータ） (2026-05-18T23:55:08Z) - AJ-Bench: Benchmarking Agent-as-a-Judge for Environment-Aware Evaluation [71.49152943451328]
我々は,AJ-Benchベンチマークを導入し,ドメイン検索,データシステム,グラフィカルユーザインタフェースの3つの領域にまたがるエージェント・アズ・ア・Judgeを評価する。
実験ではLLM-as-a-Judgeベースラインよりも一貫したパフォーマンス向上を示し、エージェントベースの検証においてかなりオープンな課題を明らかにした。
論文 参考訳（メタデータ） (2026-04-20T13:23:38Z) - Reasoning Provenance for Autonomous AI Agents: Structured Behavioral Analytics Beyond State Checkpoints and Execution Traces [0.0]
Agent Execution Record (AER) は構造化された推論プリミティブであり、すべてのステップで第一級クエリ可能なフィールドとしてインテント、観察、推論をキャプチャする。
AERが集団レベルの行動分析を可能にする方法を示す: 推論パターンマイニング、信頼度校正、クロスエージェント比較、モックリプレイによる反事実回帰テスト。
論文 参考訳（メタデータ） (2026-03-23T08:27:54Z) - A Trace-Based Assurance Framework for Agentic AI Orchestration: Contracts, Testing, and Governance [0.22940141855172028]
本稿では,Large Language Models (LLM) を用いたエージェントAIシステムの保証フレームワークを提案する。
実行は、明示的なステップとトレースコントラクトを備えたメッセージ・アクション・トレース(MAT)として実装される。
このフレームワークは、有界摂動に対する予算付き反例探索として定式化されたストレステストを含む。
論文 参考訳（メタデータ） (2026-03-18T10:23:48Z) - Evidence-Driven Reasoning for Industrial Maintenance Using Heterogeneous Data [1.5991617440415131]
Condition Insight Agentは、メンテナンス言語、運用データの振る舞い抽象化、エンジニアリングの失敗セマンティクスを統合して、エビデンスに基づく説明とアドバイザリアクションを生成する。
システム制約は、決定論的エビデンスの構築と構造化された失敗知識による推論を制約し、許容された結論を抑えるためにルールベースの検証ループを適用する。
論文 参考訳（メタデータ） (2026-03-09T09:51:50Z) - Leveraging LLM Parametric Knowledge for Fact Checking without Retrieval [60.25608870901428]
信頼性は、大規模言語モデル(LLM)上に構築されたエージェントAIシステムの中核研究課題である
本研究では,任意の自然言語クレームの検証に焦点をあて,検索なしで事実チェックを行うタスクを提案する。
論文 参考訳（メタデータ） (2026-03-05T18:42:51Z) - Multi-Sourced, Multi-Agent Evidence Retrieval for Fact-Checking [47.47518672198846]
インターネット上に拡散する誤報は、社会と個人の両方に重大な脅威をもたらす。
これまでの方法は、トレーニングデータから学んだ意味的パターンと社会的コンテキスト的パターンに依存していた。
我々は、証拠のコアリソースとして認証されたオープンナレッジグラフを利用するWKGFCを提案する。
論文 参考訳（メタデータ） (2026-02-27T19:29:01Z) - Gaming the Judge: Unfaithful Chain-of-Thought Can Undermine Agent Evaluation [76.5533899503582]
大規模言語モデル(LLM)は、エージェントのパフォーマンスを評価するために、ますます裁判官として使われている。
このパラダイムは、エージェントのチェーン・オブ・シークレット(CoT)推論が内部の推論と環境状態の両方を忠実に反映していることを暗黙的に仮定している。
我々は、操作された推論だけで、様々なWebタスクにまたがる800の軌跡に対して、最先端のVLM審査員の偽陽性率を最大90%向上させることができることを実証した。
論文 参考訳（メタデータ） (2026-01-21T06:07:43Z) - Transparent, Evaluable, and Accessible Data Agents: A Proof-of-Concept Framework [0.0]
本稿では、AIエージェントの開発と評価のためのモジュール型コンポーネントベースのアーキテクチャについて述べる。
このシステムは、技術的でないユーザが複雑なデータウェアハウスと対話できるようにすることによって、データアクセシビリティにおける中核的な課題に対処する。
設計の要点は、多層推論フレームワークを通じて達成される透明な意思決定へのコミットメントである。
論文 参考訳（メタデータ） (2025-09-28T23:54:41Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。