論文の概要: LEDGER: Claim-to-Evidence Trace Graphs for Auditing LLM Agents
- arxiv url: http://arxiv.org/abs/2608.18398v1
- Date: Wed, 19 Aug 2026 00:10:04 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-20 20:13:55.235935
- Title: LEDGER: Claim-to-Evidence Trace Graphs for Auditing LLM Agents
- Title（参考訳）: LEDGER:LCMエージェントを監査するためのクレーム・ツー・エビデンス・トレースグラフ
- Abstract要約: LEDGERは観察されたエージェントセッションにトレースグラフを構築する。
結果として得られたトレースが、ワークフローの決定、アーティファクトの系統、修復ステップ、検証ステップ、エビデンス中心の監査のためのクレームサポートパスを公開する方法を示す。
- 参考スコア（独自算出の注目度）: 2.9951905451976106
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Large language model (LLM) agents can now carry out long-horizon technical workflows involving complex tool use, code execution, file edits, and generated artifacts. As agents do more work faster, the productivity bottleneck shifts from producing outputs to auditing whether those outputs are correct and trustworthy. Agent observability systems make fine-grained execution events visible, but visibility alone still leaves reviewers to reconstruct which actions, artifacts, and validation steps matter for a particular conclusion. We introduce LEDGER - Layered Evidence and Decision Graphs for Execution Review, a tracing and review system that builds layered trace graphs over observed agent sessions. LEDGER preserves Trace Records while grouping them into Evidence Nodes and Workflow Nodes, representing artifacts as evidence anchors, and adding typed semantic edges that connect claims to supporting actions, artifacts, and checks. Through data-analysis and coding examples, we show how the resulting traces expose workflow decisions, artifact lineage, repair steps, validation coverage, and claim-support paths for evidence-centered audit.
- Abstract（参考訳）: 大きな言語モデル(LLM)エージェントは、複雑なツールの使用、コード実行、ファイル編集、生成されたアーティファクトを含む、長期にわたる技術的ワークフローを実行することができる。
エージェントがより速く仕事をするにつれて、生産性のボトルネックは、アウトプットの生成から、それらのアウトプットが正確で信頼できるかどうかの監査へとシフトします。
エージェントオブザーバビリティシステムは、きめ細かい実行イベントを可視化するが、視認性だけでは、レビュアーは特定の結論のために重要なアクション、アーティファクト、バリデーションステップを再構築する必要がある。
LEDGER - Layered Evidence and Decision Graphs for Execution Reviewを紹介します。
LEDGERはトレースレコードを保持し、エビデンスノードとワークフローノードにグループ化し、アーティファクトをエビデンスアンカーとして表現し、クレームとアクション、アーティファクト、チェックを接続する型付きセマンティックエッジを追加する。
データ分析とコーディングの例を通じて、結果のトレースがワークフローの決定、アーティファクトの系統、修正ステップ、検証カバレッジ、エビデンス中心の監査のためのクレームサポートパスを公開しているかを示します。
関連論文リスト
- Terminal Agents: A Survey of AI Agents in Command-Line Environments [102.48222742145474]
大規模言語モデルエージェントは、ターミナルを通してますます行動するが、既存の調査は、ソフトウェア工学、ツールの使用、コンピュータ利用の研究にまたがって端末による振る舞いを分散させている。
我々は,端末エージェントを,端末コマンドの実行,テキストフィードバック,ステートフルな環境相互作用を介し,進行を伴う動作を主とするシステムとみなす。
我々の合成は、実現された行動はモデル、インターフェース、ハーネス、ランタイム、環境によって共同で形成されていることを示している。
論文 参考訳（メタデータ） (2026-08-20T18:16:44Z) - Formal Verification of Agentic Systems over Operational Data [59.98246281888422]
大規模言語モデル(LLM)によって駆動されるエージェントシステムは、永続的な運用データを扱う現実世界にますます展開されている。
既存のアプローチはそのようなシステムレベルの保証を提供していません。
本稿では, 1 つの LLM とツールオーケストレーションハーネスからなるエージェントシステムのリレーショナル操作データに対する検証について述べる。
論文 参考訳（メタデータ） (2026-08-04T13:01:30Z) - DocTrace: Towards Traceable Long Document VQA via Hierarchical Evidence Graph Reasoning [14.841209914774778]
Long Document Visual Question Answering (LongDocVQA)は、複数のページにまたがる異種文書要素を探索し、統合し、推論するために、MLLM(Multimodal Large Language Models)を必要とする。
エンド・ツー・エンドのMLLMを含む既存のアプローチは、しばしば推論中に、根拠となる証拠がどのように徐々に構成されているかを表現し、検証するための明確なメカニズムを欠いている。
本稿では,エビデンスローカライゼーション,構造化文書解析,エビデンスグラフ推論を行う階層的なフレームワークであるDocTraceを提案する。
論文 参考訳（メタデータ） (2026-08-04T08:04:59Z) - Execution-First Synthetic Tool-Use Trace Generation for LLM Agents [10.291533584425252]
SyntheticAgentTraceQAは、ツールエージェントのためのスケーラブルな監視データを生成するための実行ファーストフレームワークである。
4つのツールエコシステムにまたがるフレームワークを評価し、結果のデータを微調整し、Qwenモデルの変種を評価する。
論文 参考訳（メタデータ） (2026-07-31T08:52:26Z) - AgentTrails: Towards Trust and Reuse for Agentic Tasks [12.615897924172812]
LLMベースのエージェントは、ツールの呼び出し、データベースのクエリ、コードの実行、中間アーティファクトの操作によって複雑なタスクに対処する。
これらのエージェントは、通常、時系列ログとして格納されるトラジェクトリに従い、基礎となるデータフローを隠蔽する。
本稿ではエージェント証明とセンスメイキングのためのプロトタイプシステムであるAgentTrailsを紹介する。
論文 参考訳（メタデータ） (2026-07-21T07:53:58Z) - VeriGraph: Towards Verifiable Data-Analytic Agents [71.17693022916896]
LLMをベースとしたエージェントは、データ集約分析タスクにおいて強力な能力を示してきたが、その出力は滅多に検証されていない。
We propose VeriGraph, a traceable neuro-symbolic reasoning framework that agent can construct an explicit heterogeneous evidence directed acyclic graph。
以上の結果から,明示的なエビデンスグラフ構築がデータ分析エージェントの検証に期待できる道のりであることが示唆された。
論文 参考訳（メタデータ） (2026-06-15T11:50:56Z) - Beyond NL2Code: A Structured Survey of Multimodal Code Intelligence [31.954261925882452]
このサーベイは、視覚的に接地された入力と出力の下でコードを生成し、編集し、洗練し、理屈を定めているシステムを調べます。
まず、コードが各タスクで果たす役割によってフィールドを定式化します。
次に、ベンチマークとメソッドをグラフィカルユーザインタフェース、システミックビジュアライゼーション、構造化グラフィックス、フロンティアタスクとフレームワークの4つのドメインにまとめます。
論文 参考訳（メタデータ） (2026-06-14T17:21:43Z) - From Question Answering to Task Completion: A Survey on Agent System and Harness Design [67.8241530947325]
本研究はモデルハーネスレンズを用いてLCMをベースとしたエージェントについて検討する。
まず, LLMをベースとしたエージェントを基礎モデルと実行ハーネスとして, エージェントの機能的定義と実装の視点を明らかにする。
次に、モデル中心のスケーリングの限界を分析し、エージェントエンジニアリングの4つのパラダイムをトレースし、実行ハーネスを6つの結合ランタイム責任に分解する。
論文 参考訳（メタデータ） (2026-06-14T05:40:16Z) - From Agent Traces to Trust: Evidence Tracing and Execution Provenance in LLM Agents [20.651400118242346]
大規模言語モデル(LLM)ベースのエージェントは、外部ツール、検索システム、メモリモジュール、環境、その他のエージェントと相互作用することで、複雑なタスクをますます解決する。
最終回答の精度だけでは、アウトプットがどのように生成されたかは説明できないため、それぞれのクレーム、ツールコールが正当化されたか、後の決定にメモリがどのように影響したか、実行失敗がどこから発生したかといった証拠が裏付けられている。
エビデンストレースと実行の証明は、検索されたエビデンス、ツール出力、メモリアイテム、環境観察、中間クレーム、アクション、最終回答がエージェントの実行を通してどのように接続されているかをモデル化することによって、このギャップに対処する。
論文 参考訳（メタデータ） (2026-06-03T15:12:47Z) - Harness-Bench: Measuring Harness Effects across Models in Realistic Agent Workflows [18.6534256358905]
本稿では,リアルエージェントシステムにおける構成レベルのハーネス効果を評価するための診断ベンチマークであるHarness-Benchを紹介する。
ベンチマークには、実用的なエージェント使用パターンから構築された106のサンドボックス化されたオフラインタスクが含まれている。
5,194個の実行軌道にまたがって、完了、プロセス品質、効率、障害挙動のかなりの変化を観察する。
論文 参考訳（メタデータ） (2026-05-27T03:47:35Z) - AJ-Bench: Benchmarking Agent-as-a-Judge for Environment-Aware Evaluation [71.49152943451328]
我々は,AJ-Benchベンチマークを導入し,ドメイン検索,データシステム,グラフィカルユーザインタフェースの3つの領域にまたがるエージェント・アズ・ア・Judgeを評価する。
実験ではLLM-as-a-Judgeベースラインよりも一貫したパフォーマンス向上を示し、エージェントベースの検証においてかなりオープンな課題を明らかにした。
論文 参考訳（メタデータ） (2026-04-20T13:23:38Z) - Resolving Evidence Sparsity: Agentic Context Engineering for Long-Document Understanding [49.26132236798123]
視覚言語モデル(VLM)は、文書理解における主要なアプローチになりつつある。
本稿では,粗いプロセスにおいて,検索者と4つの協調エージェントを編成するマルチエージェントフレームワークSLEUTHを提案する。
このフレームワークは、検索したページ内の重要なテキストおよび視覚的手がかりを特定し、テーブルやチャートなどの健全な視覚的エビデンスをフィルタし、クエリを分析して推論戦略を考案する。
論文 参考訳（メタデータ） (2025-11-28T03:09:40Z) - Factcheck-Bench: Fine-Grained Evaluation Benchmark for Automatic Fact-checkers [121.53749383203792]
本稿では,大規模言語モデル (LLM) 生成応答の事実性に注釈を付けるための総合的なエンドツーエンドソリューションを提案する。
オープンドメインの文書レベルの事実性ベンチマークを,クレーム,文,文書の3段階の粒度で構築する。
予備実験によると、FacTool、FactScore、Perplexityは虚偽の主張を識別するのに苦労している。
論文 参考訳（メタデータ） (2023-11-15T14:41:57Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。