論文の概要: AM-Bench: A Unified Taxonomy and Evaluation Suite for Agentic Misalignment

• arxiv url: http://arxiv.org/abs/2610.24264v2
• Date: Tue, 20 Oct 2026 15:40:19 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-21 21:58:47.242398
• Title: AM-Bench: A Unified Taxonomy and Evaluation Suite for Agentic Misalignment
• Title（参考訳）: AM-Bench: エージェントのミス修正のための統合分類と評価スイート
• Abstract要約: 本稿では, 統合分類法であるAM-Benchと, エージェントミスアライメントのための7つの業界にまたがるシナリオ評価ベンチマーク35を提案する。 我々は各次元を先行理論に根ざした構造的部分圏に運用する。 10のフロンティアモデルによる評価では,シナリオ間のミスアライメントにおいて,62パーセントの差が示される。
• 参考スコア（独自算出の注目度）: 48.77851013638857
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: As LLM-based agents are deployed with increasing autonomy in real-world environments, a critical failure mode emerges: agentic misalignment, where agents choose harmful actions over failure. However, existing safety benchmarks primarily evaluate whether agents comply with explicitly harmful instructions, leaving the conditions that cause agents to choose harmful actions poorly understood. To address this limitation, we propose AM-Bench, a unified taxonomy and 35 scenario evaluation benchmark spanning seven industries for agentic misalignment grounded in the fraud triangle, a well-established criminological framework explaining goal-directed misconduct. We adapt this framework to agentic environments and construct our evaluation suite and detection systems along three dimensions: perceived threat, perceived opportunity, and reasoning. We operationalize each dimension into structured subcategories rooted in prior theory: five threat categories derived from the instrumental convergence thesis, seven opportunity categories drawn from the Emergent Strategic Reasoning Risks (ESRR) taxonomy, and a novel four-question binary reasoning framework synthesized from prior literature. Our evaluation of 10 frontier models reveals a 62-percentage-point gap in misalignment across scenarios, with Gemini 3 Flash and Gemini 3.1 Pro exhibiting the highest levels of agentic misalignment while Claude Sonnet 4.6 displays near-zero rates across all conditions. Our reasoning framework further reveals that models may exhibit harmful behaviours without explicit situational awareness or explanation, complicating both mitigation and detection. AM-Bench scenarios and code are available at https://github.com/AI4Collaboration/Agentic-Misalignment-Bench
• Abstract（参考訳）: LLMベースのエージェントは、現実の環境で自律性を高めてデプロイされるため、致命的な障害モードが出現する。 しかし、既存の安全ベンチマークは、エージェントが明らかに有害な指示に従うかどうかを主に評価し、エージェントが有害な行為を選択する原因となる条件を十分に理解していないままにしておく。 この制限に対処するため,本研究では,目標指向の不正行為を解説した確立した犯罪学的枠組みであるAM-Benchと,不正三角形に根ざしたエージェント的不正調整のための7つの産業を対象としたシナリオ評価ベンチマーク35を提案する。 この枠組みをエージェント環境に適用し,脅威の認識,機会の認識,推論という3つの側面に沿って評価スイートと検出システムを構築する。 我々は,各次元を,機器収束論から派生した5つの脅威カテゴリ,創発的戦略推論リスク(ESRR)分類から引き出された7つの機会カテゴリ,および先行研究から合成された新しい4つの二項推論フレームワークに分類する。 Gemini 3 Flash と Gemini 3.1 Pro は最も高いレベルのエージェントミスアライメントを示し、Claude Sonnet 4.6 はあらゆる条件でほぼゼロのレートを示す。 我々の推論フレームワークは、モデルが明確な状況認識や説明なしに有害な行動を示し、緩和と検出の両方を複雑にしていることをさらに明らかにしている。 AM-Benchのシナリオとコードはhttps://github.com/AI4Collaboration/Agentic-Misalignment-Benchで公開されている。

関連論文リスト

• DecepEval: A Benchmark for Evaluating Deception in LLM Agents [75.59466511154791]
  大規模言語モデル(LLM)エージェントは騙しによってタスクパフォーマンスを追求することができる。 既存の評価では、LLMエージェントは騙すことができるが、しばしば孤立したシナリオや狭義に定義された条件を調べることができる。 3つのタスクファミリに1,532のインスタンスと28のプロフェッショナルシナリオからなるベンチマークであるDecepEvalを紹介します。
  論文  参考訳（メタデータ） (2026-10-06T08:33:43Z)
• VATS: Exploiting Implicit Authority in Error-Path Injection via Systematic Mutation [0.3222802562733787]
  VATS (Vulnerability Analysis of Tool Streams) は、7つの構造的および言語的次元にわたる逆ペイロードを進化させる突然変異駆動型フレームワークである。 Gemini 3.1 Pro, GPT-5.5, GLM-5.1, Qwen3-Coderの4つのフロンティアモデルに対して, エラーパスインジェクションが標準間接インジェクションの成功率を3倍にすることを示す。
  論文  参考訳（メタデータ） (2026-06-06T06:07:52Z)
• A New Framework for Cybersecurity Refusals in AI Agents [52.94784168139071]
  攻撃的セキュリティの文脈において、拒絶境界を確立するための最初の枠組みを提示する。 本研究では,現在のLLMエージェントがWebベースの攻撃的セキュリティシナリオにおいて,適切な拒絶境界にどのように準拠しているかを評価するために,このフレームワークを適用した。
  論文  参考訳（メタデータ） (2026-05-31T15:39:39Z)
• Emergent Strategic Reasoning Risks in AI: A Taxonomy-Driven Evaluation Framework [63.74295981594549]
  大規模言語モデル(LLM)は、自身の目的を達成する行動に関与している。 これには、詐欺(故意に誤解を招くユーザや評価者)、評価ゲーム(安全テスト中のパフォーマンスを戦略的に操作する)、報酬ハッキングなどが含まれる。 自動行動リスク評価のための分類駆動型エージェントフレームワークであるESRRSimを紹介する。
  論文  参考訳（メタデータ） (2026-04-23T23:44:01Z)
• Taming Actor-Observer Asymmetry in Agents via Dialectical Alignment [59.536125286960186]
  セルフリフレクションと相互監査を可能にするために、専門的な役割を割り当てるマルチエージェントフレームワークがますます採用されている。 アクター・オブザーバ非対称性(Actor-Observer Asymmetric)と呼ばれる認知バイアスを同時に誘発する。 ReTASは、対立する視点を客観的なコンセンサスに合成するためにエージェントを誘導する。
  論文  参考訳（メタデータ） (2026-04-21T15:05:58Z)
• FormalJudge: A Neuro-Symbolic Paradigm for Agentic Oversight [21.731032636844237]
  本稿では,双方向のフォーマル・オブ・サートアーキテクチャを用いたニューロシンボリック・フレームワークを提案する。 行動安全,マルチドメイン制約順守,エージェントによる上向き偽装検出の3つのベンチマークにまたがって検証を行った。
  論文  参考訳（メタデータ） (2026-02-11T18:48:11Z)
• Building a Foundational Guardrail for General Agentic Systems via Synthetic Data [76.18834864749606]
  LLMエージェントは、計画段階で介入するマルチステップタスクを計画できる。 既存のガードレールは主にポスト・エグゼクティブ(英語版)を運用しており、スケーリングが困難であり、計画レベルで制御可能な監督を行う余地がほとんどない。 我々は、良性軌道を合成し、カテゴリーラベル付きリスクを困難に注入し、自動報酬モデルを介して出力をフィルタリングする制御可能なエンジンであるAuraGenを紹介する。
  論文  参考訳（メタデータ） (2025-10-10T18:42:32Z)
• AgentMisalignment: Measuring the Propensity for Misaligned Behaviour in LLM-Based Agents [0.0]
  大規模言語モデル (LLM) エージェントはより広く普及し、関連するミスアライメントリスクが増加する。 本研究では,モデルが追求する内部目標と,デプロイ者の意図する目標との相反として,不整合にアプローチする。 現実的なシナリオにおいて,LLMエージェントの適合性を評価するためのベンチマークスイートであるtextscAgentMisalignmentを導入する。
  論文  参考訳（メタデータ） (2025-06-04T14:46:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。