論文の概要: ReA-Bench: Benchmarking Responsible Agent Auditing
- arxiv url: http://arxiv.org/abs/2611.16493v1
- Date: Thu, 12 Nov 2026 09:01:24 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-11-14 01:36:33.405176
- Title: ReA-Bench: Benchmarking Responsible Agent Auditing
- Title(参考訳): ReA-Bench: 責任のあるエージェントのベンチマーク
- Abstract要約: ReA-Benchは、責任あるエージェントの振る舞いを監査するための診断ベンチマークである。
監査の課題は、内部の安全知識、軌道内の矛盾、長期の文脈における証拠の検索、情報源と推論の検証、間接的なステアリング、行方不明情報という6つの階層に分けられる。
また、トラジェクトリの短縮や欠落した情報が供給された場合に、監査人が同じリスクをより確実に検出するかどうかをテストするためのペアトラジェクトリ版も提供する。
- 参考スコア(独自算出の注目度): 18.62814956590679
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: As agents perform tasks autonomously in local and cloud environments, auditing their execution trajectories can help service providers identify risks and improve agent harnesses and foundation models. Our analysis of production and red-team trajectories shows that some risks are repeatedly missed across auditing configurations. Overall recall obscures which risks are missed and whether higher recall comes with more false positives on legitimate behavior. Existing benchmarks offer limited insight into these failures. Generated trajectories can contain inconsistent tool calls and responses, conspicuous risky actions, or repetitive attack patterns. Grouping results by risk type also makes it difficult to tell whether auditors overlooked evidence, accepted an unsupported conclusion, or lacked information needed to make a judgment. We introduce ReA-Bench, a diagnostic benchmark for auditing responsible agent behavior. It organizes auditing challenges into six tiers: internal safety knowledge, contradictions within trajectories, evidence retrieval in long contexts, verification of sources and reasoning, indirect steering, and missing information. It includes challenging benign cases in which actions resemble risky ones but are consistent with the task and its authorization. It also provides paired trajectory versions to test whether auditors detect the same risks more reliably when the trajectory is shortened or missing information is supplied. Most samples are drawn from real production trajectories, with scenarios manually selected and adapted to preserve realistic tasks and risks that could plausibly arise during execution.
- Abstract(参考訳): エージェントはローカルおよびクラウド環境で自律的にタスクを実行するため、実行軌跡の監査は、サービスプロバイダがリスクを特定し、エージェントハーネスとファンデーションモデルを改善するのに役立つ。
プロダクションとレッドチームトラジェクトリの分析から、監査設定間でいくつかのリスクが繰り返し見逃されていることが分かりました。
全体的なリコールでは、どのリスクが欠落しているか、より高いリコールが正当な行動に対する偽の陽性を伴うかどうかが不明確になっている。
既存のベンチマークは、これらの失敗について限定的な洞察を提供する。
生成されたトラジェクトリには、一貫性のないツールコールとレスポンス、顕著なリスク対応、反復的な攻撃パターンが含まれる。
リスクタイプによるグループ化の結果は、オーディエンスが証拠を見落としているか、否定された結論を受け入れているか、判断に必要な情報がないかを判断することが困難になる。
本稿では、責任あるエージェントの振る舞いを監査するための診断ベンチマークであるReA-Benchを紹介する。
監査の課題は、内部の安全知識、軌道内の矛盾、長期の文脈における証拠の検索、情報源と推論の検証、間接的なステアリング、行方不明情報という6つの階層に分けられる。
行動が危険なものに似ているが、タスクとその承認と一致している、困難な良心的なケースを含む。
また、トラジェクトリの短縮や欠落した情報が供給された場合に、監査人が同じリスクをより確実に検出するかどうかをテストするためのペアトラジェクトリ版も提供する。
ほとんどのサンプルは実際の生産軌道から引き出されており、シナリオは手動で選択され、実行中に起こりうる現実的なタスクやリスクを保存するために適合している。
関連論文リスト
- MCAIR: Monitoring and Correcting Agent Unfaithfulness via Internal Representations [13.951743753354807]
LLM(Large Language Model)ベースのエージェントは、最終的なレポートが実際の実行軌跡を忠実に反映していない不誠実な振る舞いを示すことができる。
LLMエージェントの内部表現を活用するランタイム監視・修正フレームワークMCAIRを提案する。
実験により、MCAIRはLSM-as-a-judgeベースラインより優れ、プロンプトとタスクをまたいで一般化し、エージェントの完了を効果的に抑制することが示された。
論文 参考訳(メタデータ) (2026-10-14T07:00:02Z) - AutoAgent0: An Agentic Runtime for Safe Closed-Loop Driving [61.924851163300076]
エージェントランタイムとハーネスフレームワークであるAutoAgent0を導入し、既存の運転専門家に補完的な検出スキル、ルールベースのアクション検証、フィードバック駆動リカバリを付加する。
長距離および安全クリティカルシナリオにおけるシングルエキスパート実行に対する閉ループロバスト性の向上を実証した。
論文 参考訳(メタデータ) (2026-10-13T17:59:50Z) - CART: Closed-Loop Adaptive Red Teaming for Large Language Models [91.66397227953821]
CART(Closed-Loop Adaptive Red Teaming)は、各結果を使用して、次にテストするものをガイドするフレームワークである。
テストを生成するChallengeと、テスト中のTarget、テキストのみのモデルや境界ツール使用エージェント、結果を評価するJuiceを分離する。
論文 参考訳(メタデータ) (2026-09-23T04:16:46Z) - AURA-Eval: Evaluation Framework for Acting Under Risk Awareness in LLM Agent Trajectories [12.694014584212695]
ツール・ユース・トラジェクトリにおける制御強化と行動のきめ細かい診断を組み合わせたフレームワークであるAURA-Evalを紹介する。
157個のトラジェクトリを用いて1,249個の評価項目を生成し,20個のフロンティアモデルとオープンウェイトモデルを評価する。
以上の結果から, LLM エージェントは安全経路が存在しない場合, より安全でない行動に陥ることが示唆された。
論文 参考訳(メタデータ) (2026-09-06T18:58:56Z) - Towards Risk-free AI Agent Deployment [13.502827903528948]
我々は、リスクフリーなデプロイメントはエージェントの軌道に根ざしていなければならないと論じる。
この記事では、オラクル問題を含むテストエージェントの課題から始めます。
これらの方向を実際の展開可読性チェックリストに抽出する。
論文 参考訳(メタデータ) (2026-08-17T11:07:07Z) - ToolChain-CRC: Conformal Risk Control for Agentic AI Under Retrieval and Tool-Use Drift [0.0]
ドリフト中の検索・ツール利用エージェントに対する共形リスク制御手法であるToolChain-CRCを提案する。
この方法は各エージェントを行動、観察、最終的な出力の完全な軌跡として扱う。
ステップレベルのリスクスコアを構築し、それらを軌道上のリスクスコアに組み合わせ、アクセプションまたはインターベンルールを校正し、いつでもアラームを追加します。
論文 参考訳(メタデータ) (2026-06-16T20:27:37Z) - Time to REFLECT: Can We Trust LLM Judges for Evidence-based Research Agents? [61.49434544687523]
本稿では,エージェント環境におけるきめ細かい故障検出を目的としたメタ評価ベンチマークREFLECTを紹介する。
REFLECTはプロセスレベルの障害モードと結果レベルの障害モードの詳細な分類を定義し、制御および局所的な介入を実行することでインスタンス化する。
私たちの実験では、最高のパフォーマンスモデルでさえ、推論、ツール使用、レポート品質の失敗に対して、全体的なアキュラシーを55%以下に達成しています。
論文 参考訳(メタデータ) (2026-05-18T23:55:08Z) - Enhancing Agent Safety Judgment: Controlled Benchmark Rewriting and Analogical Reasoning for Deceptive Out-of-Distribution Scenarios [0.2578242050187029]
ROMEは、既知の安全でないトラジェクトリを偽評価インスタンスに書き換える、制御されたベンチマーク構築パイプラインである。
ARISEは、外部アナログベースからReActスタイルのアナログ安全軌道を抽出し、それらを構造化推論例として注入する検索誘導推論時間拡張である。
論文 参考訳(メタデータ) (2026-05-05T00:21:00Z) - When Models Outthink Their Safety: Mitigating Self-Jailbreak in Large Reasoning Models with Chain-of-Guardrails [74.63933201261595]
大規模推論モデル(LRM)は複雑な推論タスクにおいて顕著な能力を示す。
LRMは、有害なコンテンツ生成やジェイルブレイク攻撃など、深刻な安全リスクに弱いままである。
安全でない推論ステップを再構成またはバックトラックするトレーニングフレームワークであるChain-of-Guardrail(CoG)を提案する。
論文 参考訳(メタデータ) (2025-10-24T09:32:25Z) - Controlling Risk of Retrieval-augmented Generation: A Counterfactual Prompting Framework [77.45983464131977]
我々は、RAGモデルの予測が誤りであり、現実のアプリケーションにおいて制御不能なリスクをもたらす可能性がどの程度あるかに焦点を当てる。
本研究は,RAGの予測に影響を及ぼす2つの重要な潜伏要因を明らかにする。
我々は,これらの要因をモデルに誘導し,その応答に与える影響を解析する,反実的プロンプトフレームワークを開発した。
論文 参考訳(メタデータ) (2024-09-24T14:52:14Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。