論文の概要: Auditing Agent Actions through Query-Conditioned Attribution
- arxiv url: http://arxiv.org/abs/2609.33676v2
- Date: Tue, 29 Sep 2026 19:47:18 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-01 18:57:25.886133
- Title: Auditing Agent Actions through Query-Conditioned Attribution
- Title（参考訳）: 質問内容の属性によるエージェント動作の監査
- Abstract要約: 既存の属性の定式化は、多様な監査対象に対して疑問特異的なトレースを提供しない。
我々は、自然言語監査クエリを入力とする新しいタスクである、クエリ条件付きエージェントアクション属性を定式化する。
提案手法は,オープンウェイトベースラインよりも推論コストの低いソースとエビデンスを一貫して達成する。
- 参考スコア（独自算出の注目度）: 7.93056778736348
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: LLM agents increasingly take consequential actions through interactions with users, policies, and external tools. Auditing these agents requires automated attribution of realized actions to their historical basis. However, existing attribution formulations do not provide question-specific traces for diverse auditing objectives. Additionally, when access to the acting model is limited (e.g., in API-only deployments), applicable methods commonly rely on costly input perturbations or external LLM analysis of complete trajectories. We therefore formulate query-conditioned agent action attribution, a new task that takes a natural-language auditing query as input and recovers the source and ordered intermediate evidence for the query-specified aspect of an action. We instantiate this task with $A^3Bench$, a benchmark comprising 1,396 auditing queries across policy basis, parameter provenance, failure propagation, and unsafe-behavior tracing. To enable efficient, query-specific attribution, we use small open-weight models as attribution proposers that combine query-conditioned gradient saliency with query-semantic relevance to rank history units. Our proposer consistently achieves stronger source and evidence rankings at lower inference cost than open-weight baselines, improving source MRR by up to 40.9\% and evidence MAP by 42.1\% with only two forward passes and one backward pass. Controlled evaluations confirm that our proposer improves attribution specificity by adapting its rankings to fine-grained changes in the auditing query. Building on a proposer ensemble, our end-to-end system surpasses the strongest frontier-model baseline in source accuracy (64.5\% vs.\ 60.4\%) while reducing empirical deployment latency by 29.9\% relative to the fastest frontier API baseline. Code and data will be released after the initial review period following final validation and cleanup.
- Abstract（参考訳）: LLMエージェントは、ユーザやポリシー、外部ツールとのインタラクションを通じて、連続的なアクションをますます受けます。
これらのエージェントを監査するには、その歴史的根拠に基づいて実現されたアクションの自動帰属が必要である。
しかし、既存の属性の定式化は、多様な監査対象に対して疑問特異的なトレースを提供していない。
さらに、アクションモデルへのアクセスが制限されている場合(例えば、APIのみのデプロイメント)、適用可能なメソッドは、一般的に、コストのかかる入力摂動や完全なトラジェクトリの外部LCM分析に依存します。
そこで我々は、自然言語監査クエリを入力として取り出し、ソースを復元する新しいタスクである、クエリ条件のエージェントアクション属性を定式化し、アクションのクエリ特定側面の中間的エビデンスを命令する。
このタスクを$A^3Bench$でインスタンス化する。これはポリシーベース、パラメータの証明、障害の伝播、安全でない振る舞いの追跡を含む1,396の監査クエリからなるベンチマークである。
効率よくクエリ固有の属性を実現するために、クエリ条件の勾配値とクエリ意味の関連性を組み合わせた属性提案として、小さなオープンウェイトモデルを用いる。
提案手法は,オープンウェイトベースラインよりも推論コストが低く,ソースMRRが最大40.9\%向上し,エビデンスMAPが42.1\%向上し,フォワードパスが2回,バックウェイトパスが1回しか得られない,より強力なソースとエビデンスランキングを一貫して達成している。
制御された評価は, オーディニングクエリのきめ細かい変更にランキングを適応させることにより, 属性特異性を向上することを確認した。
提案者アンサンブルに基づいて構築された私たちのエンドツーエンドシステムは、ソース精度(64.5\%対)で最強のフロンティアモデルベースラインを超えます。
最速のフロンティアAPIベースラインと比較して,経験的なデプロイメント遅延を29.9%削減した。
コードとデータは、最終的なバリデーションとクリーンアップの後、最初のレビュー期間後にリリースされる。
関連論文リスト
- EAVer: Long-Form Factuality Verification as an End-to-End Agentic Policy [50.665874114632]
我々は、完全な応答レベルの検証ワークフローを統一ポリシーとして制御することを学ぶ、エンドツーエンドのエージェント検証であるEAVerを紹介する。
EAVerはセマンティック関連クレームをグループ化し、信頼に基づいた直接検証やターゲット検索にルートし、コンパクトなインコンテキストメモで検索によって返される証拠を保持する。
論文 参考訳（メタデータ） (2026-09-02T21:00:35Z) - When Agents Implement Systems: A Case Study in Defects, Detection, and Evaluation Rigor [0.0]
本稿では,既存の詳細な仕様に対するマルチコンポーネントデータシステムを実装するエージェントのケーススタディを提案する。
制約違反と検出方法によって分類された5つの欠陥をカタログ化する。
回収予算は、2994段落のプール型コーパスに対して1～10件、100件で、選抜されたリコールは金段落に限れば3件の予算で天井に達する。
論文 参考訳（メタデータ） (2026-09-02T01:43:09Z) - From Sequence to Structure: Relational Uncertainty Propagation for LLM Agents [75.69180947909148]
大規模言語モデル(LLM)エージェントのためのトラジェクトリレベルのUQフレームワークを提案する。
RuPAは、推論状態、ツールインタラクション、環境フィードバックが時間的およびセマンティックな依存関係エッジで接続されたノードである、指向的なトラジェクトリグラフとして実行履歴を表現している。
我々は,複数のモデルファミリにまたがる6つのオープンソースLCMを用いて,代用エージェントベンチマーク($2, Terminal-Bench-2, GAIA)でRUPAを評価した。
論文 参考訳（メタデータ） (2026-08-17T01:40:14Z) - RESTOR: Automated Test Oracle Generation for RESTful APIs via Reinforcement Learning [21.927343858709122]
Restorは、ブラックボックスの設定で単一のリクエスト-レスポンスペアから実行可能なテストアサーションを生成するフレームワークである。
実世界の246のサービスにまたがる2,300以上のAPIトレースからなる産業データセット上でRestorを評価する。
論文 参考訳（メタデータ） (2026-07-27T03:20:28Z) - DoVer: Intervention-Driven Auto Debugging for LLM Multi-Agent Systems [48.971606069204825]
DoVerは、大規模言語モデル(LLM)ベースのマルチエージェントシステムのための介入駆動デバッグフレームワークである。
ターゲットの介入を通じて、アクティブな検証によって仮説生成を増強する。
DoVerは失敗試験の18～28%を成功させ、最大16%のマイルストーンを達成し、失敗仮説の30～60%を検証または否定する。
論文 参考訳（メタデータ） (2025-12-07T09:23:48Z) - Learning to Route: A Rule-Driven Agent Framework for Hybrid-Source Retrieval-Augmented Generation [55.47971671635531]
大言語モデル(LLM)は、一般質問回答(QA)において顕著な性能を示した。
Retrieval-Augmented Generation (RAG)は、LLMを外部知識で強化することで、この制限に対処する。
既存のシステムは、主に構造化されていないドキュメントに依存しているが、主にリレーショナルデータベースを見下ろしている。
論文 参考訳（メタデータ） (2025-09-30T22:19:44Z) - FinAgentBench: A Benchmark Dataset for Agentic Retrieval in Financial Question Answering [57.18367828883773]
FinAgentBenchは、ファイナンスにおける多段階推論によるエージェント検索を評価するためのベンチマークである。
このベンチマークは、S&P-500上場企業に関する26Kのエキスパートアノテート例から成っている。
我々は,最先端モデルの集合を評価し,対象の微調整がエージェント検索性能を大幅に向上することを示す。
論文 参考訳（メタデータ） (2025-08-07T22:15:22Z) - Compliance Brain Assistant: Conversational Agentic AI for Assisting Compliance Tasks in Enterprise Environments [2.8724171056550256]
Compliance Brain Assistant (CBA) は、企業環境における人員の日々のコンプライアンスタスクの効率を高めるために設計された、対話型のエージェントAIアシスタントである。
応答品質とレイテンシのバランスを良くするために,FastTrackモードとFullAgenticモードをインテリジェントに選択できるユーザクエリルータを設計する。
論文 参考訳（メタデータ） (2025-07-23T07:51:10Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。