論文の概要: Detecting Safety Violations Across Many Agent Traces

• arxiv url: http://arxiv.org/abs/2604.11806v1
• Date: Mon, 13 Apr 2026 17:59:40 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-04-14 20:13:16.74956
• Title: Detecting Safety Violations Across Many Agent Traces
• Title（参考訳）: エージェントトレースにおける安全違反の検出
• Abstract要約: 本稿では,クラスタリングとエージェント検索を組み合わせることで,自然言語で指定された違反を明らかにするMeerkatを紹介する。 Meerkatは誤用、不正調整、タスクゲームの設定などを通じて、モニター上の安全違反の検出を大幅に改善している。
• 参考スコア（独自算出の注目度）: 41.40594315855062
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: To identify safety violations, auditors often search over large sets of agent traces. This search is difficult because failures are often rare, complex, and sometimes even adversarially hidden and only detectable when multiple traces are analyzed together. These challenges arise in diverse settings such as misuse campaigns, covert sabotage, reward hacking, and prompt injection. Existing approaches struggle here for several reasons. Per-trace judges miss failures that only become visible across traces, naive agentic auditing does not scale to large trace collections, and fixed monitors are brittle to unanticipated behaviors. We introduce Meerkat, which combines clustering with agentic search to uncover violations specified in natural language. Through structured search and adaptive investigation of promising regions, Meerkat finds sparse failures without relying on seed scenarios, fixed workflows, or exhaustive enumeration. Across misuse, misalignment, and task gaming settings, Meerkat significantly improves detection of safety violations over baseline monitors, discovers widespread developer cheating on a top agent benchmark, and finds nearly 4x more examples of reward hacking on CyBench than previous audits.
• Abstract（参考訳）: 安全違反を特定するために、監査人はしばしば大量のエージェントトレースを探索する。 この探索は、障害が稀で複雑で、時には逆向きに隠され、複数のトレースが一緒に分析された場合にのみ検出されるため、難しい。 これらの課題は、誤用キャンペーン、隠蔽サボタージュ、報酬ハッキング、即時注入といった様々な設定で生じる。 既存のアプローチは、いくつかの理由でここで苦労しています。 トレース毎の判断は、トレース間でのみ見える障害を見逃し、単純でエージェント的な監査は大きなトレースコレクションにスケールせず、固定されたモニターは予期しない振る舞いに対して脆弱である。 本稿では,クラスタリングとエージェント検索を組み合わせることで,自然言語で指定された違反を明らかにするMeerkatを紹介する。 構造化された検索と、有望な領域の適応的な調査を通じて、Meerkat氏は、シードシナリオや固定ワークフロー、徹底的な列挙に頼ることなく、スパース障害を見つける。 不正使用、不正調整、タスクゲームの設定などを通じて、Meerkatはベースラインモニタに対する安全違反の検出を大幅に改善し、トップエージェントベンチマークで広範な開発者の不正行為を発見し、前回の監査よりもCyBenchでの報酬ハッキングの例が約4倍多いことを発見した。

関連論文リスト

• Steganalysis of Adaptive Covert Collusion in Tool-Using Agent Populations: A Black-Box, Cross-Principal Approach [0.0]
  大規模言語モデル(LLM)は、単一のオペレータではなく、多くのオペレータによって、共有インフラストラクチャに並行してデプロイされるようになっている。 これにより、シングルエージェントのセーフガードが逃避する集団レベルのリスクが生じる。 我々は,クロスラン相互情報推定,置換試験,分布シフト統計,タイミングとツールコール側チャネルを組み合わせたブラックボックスステガナリシス検出器を構築した。
  論文  参考訳（メタデータ） (2026-08-03T13:00:25Z)
• The Arbiter Agent: Continually Monitoring Multi-Agent Conversations to Detect Emergent Misalignment [2.8807875670834506]
  本稿では,マルチエージェントの会話をリアルタイムで監視し,どの参加者が不一致に行動しているかを特定するエージェントであるArbiterを紹介する。 Arbiterは限定的な「検査予算」の下で運用されており、リソースの使い方を慎重に決めなければならない。 リスクの高い金融アドバイスモデルから評価意識・衝突エージェントまで,5つの会話条件でArbiterを評価した。
  論文  参考訳（メタデータ） (2026-06-09T11:57:02Z)
• TIDE: Proactive Multi-Problem Discovery via Template-Guided Iteration [74.97459526627395]
  2つの補完機構を備えたテンプレート誘導反復フレームワークであるTIDEを紹介する。 我々は,すでに発見されているものを条件付けながら,ラウンド毎に少数の候補を探索する反復探索を提案する。 単一ショットと並列マルチエージェントのベースラインをタスクカバレッジ,識別,解像度で比較すると,大幅に向上した。
  論文  参考訳（メタデータ） (2026-06-03T11:23:08Z)
• Stateful Online Monitoring Catches Distributed Agent Attacks [63.00394432922707]
  我々は、リアルタイムクラスタリングを用いて、多くのエージェントの転写にまたがる弱い疑わしい信号を収集するオンラインステートフルモニターを開発した。 本研究の結果は,孤立したテキストではなく,ユーザグループを優先する,新たな安全モニタのクラスに向けられたものである。
  論文  参考訳（メタデータ） (2026-05-29T17:57:00Z)
• Affordance Agent Harness: Verification-Gated Skill Orchestration [45.231685718099264]
  Affordance groundingは、オープンワールドのシーンでエージェントがどこでどのように対話すべきかを特定する必要がある。 本稿では,エビデンスストアとコストコントロールを備えたクローズドループランタイムであるAffordance Agent Harnessを提案する。
  論文  参考訳（メタデータ） (2026-05-01T13:45:16Z)
• When Is Enough Not Enough? Illusory Completion in Search Agents [56.98225130959051]
  検索エージェントが、複数の条件をトラッキングし、検証し、維持することで、すべての要件に対して確実に理性性を持たせるかどうかを調査する。 エージェントは、未解決の制約や違反の制約にもかかわらずタスクが完了したと信じており、未検証の回答につながる。 我々は、実行中の明示的な制約状態追跡が、推論時トラッカーであるLiveLedgerを介してこれらの障害を緩和するかどうかを検討する。
  論文  参考訳（メタデータ） (2026-02-07T13:50:38Z)
• PATHWAYS: Evaluating Investigation and Context Discovery in AI Web Agents [0.0]
  PATHWAYSは250のマルチステップ決定タスクのベンチマークである。 Webベースのエージェントが、隠れたコンテキスト情報を発見し、正しく使用できるかをテストする。
  論文  参考訳（メタデータ） (2026-02-05T06:24:23Z)
• Large Language Model-Powered Smart Contract Vulnerability Detection: New Perspectives [8.524720028421447]
  本稿では, GPT-4 のような大規模言語モデル (LLM) を利用する機会, 課題, 潜在的な解決策を体系的に分析する。 高いランダム性でより多くの答えを生成することは、正しい答えを生み出す可能性を大幅に押し上げるが、必然的に偽陽性の数が増加する。 本稿では,GPTLens と呼ばれる,従来の一段階検出を2つの相乗的段階に分割し,生成と識別を行う逆方向のフレームワークを提案する。
  論文  参考訳（メタデータ） (2023-10-02T12:37:23Z)
• MMNet: Multi-Collaboration and Multi-Supervision Network for Sequential Deepfake Detection [81.59191603867586]
  シークエンシャルディープフェイク検出は、回復のための正しいシーケンスで偽の顔領域を特定することを目的としている。 偽画像の復元には、逆変換を実装するための操作モデルの知識が必要である。 顔画像の空間スケールや逐次順列化を扱うマルチコラボレーション・マルチスーパービジョンネットワーク(MMNet)を提案する。
  論文  参考訳（メタデータ） (2023-07-06T02:32:08Z)
• Bandit Social Learning: Exploration under Myopic Behavior [54.767961587919075]
  オンラインプラットフォーム上でのレビューによって動機付けられた社会学習のダイナミクスについて検討する。 エージェントはまとめて単純なマルチアームのバンディットプロトコルに従うが、各エージェントは探索を伴わずにミオプティカルに振る舞う。 このような振る舞いに対して,スターク学習の失敗を導出し,好意的な結果を提供する。
  論文  参考訳（メタデータ） (2023-02-15T01:57:57Z)
• The Effects of Reward Misspecification: Mapping and Mitigating Misaligned Models [85.68751244243823]
  RLエージェントが不特定報酬関数のギャップを悪用するリワードハッキングは広く観測されているが、体系的にはまだ研究されていない。 本稿では,モデル能力,行動空間分解能,観測空間雑音,訓練時間といったエージェント能力の関数としての報酬ハッキングについて検討する。 エージェントの動作が定性的にシフトする能力閾値は、真の報酬の急激な減少につながる。
  論文  参考訳（メタデータ） (2022-01-10T18:58:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。