論文の概要: ManagerBench: Evaluating the Safety-Pragmatism Trade-off in Autonomous LLMs

• arxiv url: http://arxiv.org/abs/2510.00857v1
• Date: Wed, 01 Oct 2025 13:08:33 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-03 16:59:20.569839
• Title: ManagerBench: Evaluating the Safety-Pragmatism Trade-off in Autonomous LLMs
• Title（参考訳）: ManagerBench: 自律LLMにおけるセーフティ・プラグマティズムのトレードオフの評価
• Authors: Adi Simhi, Jonathan Herzig, Martin Tutek, Itay Itzhak, Idan Szpektor, Yonatan Belinkov,
• Abstract要約: 大きな言語モデル(LLM)が進化するにつれて、その行動の安全性を評価することが重要になる。 現実的な人為的な管理シナリオにおけるLCM意思決定を評価するベンチマークである ManagerBench を紹介する。 潜在的な害が無生物にのみ向けられる並列制御セットは、モデルのプラグマティズムを測定し、過度に安全である傾向を特定する。
• 参考スコア（独自算出の注目度）: 48.50397204177239
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: As large language models (LLMs) evolve from conversational assistants into autonomous agents, evaluating the safety of their actions becomes critical. Prior safety benchmarks have primarily focused on preventing generation of harmful content, such as toxic text. However, they overlook the challenge of agents taking harmful actions when the most effective path to an operational goal conflicts with human safety. To address this gap, we introduce ManagerBench, a benchmark that evaluates LLM decision-making in realistic, human-validated managerial scenarios. Each scenario forces a choice between a pragmatic but harmful action that achieves an operational goal, and a safe action that leads to worse operational performance. A parallel control set, where potential harm is directed only at inanimate objects, measures a model's pragmatism and identifies its tendency to be overly safe. Our findings indicate that the frontier LLMs perform poorly when navigating this safety-pragmatism trade-off. Many consistently choose harmful options to advance their operational goals, while others avoid harm only to become overly safe and ineffective. Critically, we find this misalignment does not stem from an inability to perceive harm, as models' harm assessments align with human judgments, but from flawed prioritization. ManagerBench is a challenging benchmark for a core component of agentic behavior: making safe choices when operational goals and alignment values incentivize conflicting actions. Benchmark & code available at https://github.com/technion-cs-nlp/ManagerBench.
• Abstract（参考訳）: 大きな言語モデル(LLM)が会話アシスタントから自律エージェントへと進化するにつれて、その行動の安全性を評価することが重要になる。 以前の安全性ベンチマークでは、主に有害なテキストなどの有害なコンテンツの発生を防ぐことに重点を置いていた。 しかし、運用目標への最も効果的な経路が人間の安全と矛盾する場合、有害な行動を取るエージェントの課題を見落としている。 このギャップに対処するため、現実的な人為的な管理シナリオにおけるLCM意思決定を評価するベンチマークであるMan ManagerBenchを紹介します。 それぞれのシナリオでは、運用目標を達成する実用的だが有害なアクションと、運用パフォーマンスの悪化につながる安全なアクションとを選択せざるを得ない。 潜在的な害が無生物にのみ向けられる並列制御セットは、モデルのプラグマティズムを測定し、過度に安全である傾向を特定する。 以上の結果から,この安全プラグマティズムトレードオフをナビゲートする際,フロンティアLSMは不十分であることが示唆された。 多くの者は、運用目標を前進させる有害な選択肢を一貫して選択する一方で、過度に安全で非効率になるためにのみ危害を避けている。 批判的に言えば、このミスアライメントは、モデルの害評価が人間の判断と一致しているため、害を知覚できないことではなく、優先順位付けの欠陥によるものである。 ManagerBenchはエージェント的振る舞いの中核的なコンポーネントのための挑戦的なベンチマークである。 Benchmark & code available at https://github.com/technion-cs-nlp/ManagerBench.com

関連論文リスト

• Learning When to Act or Refuse: Guarding Agentic Reasoning Models for Safe Multi-Step Tool Use [6.622648583261088]
  エージェント言語モデルは、単一のミスステップが不可逆的な害を引き起こす可能性のあるロングホライゾンアクションを計画、呼び出し、実行しなければなりません。 安全判断を明確化し,学習可能にすることで,エージェントを安全なマルチステップツール使用に整合させるフレームワークであるMOSAICを紹介する。 以上の結果から,MOSAICは有害行為を最大50%減らし,インジェクション攻撃で20%以上減らし,プライバシリークを減らし,良質なタスク性能を保ち,改善することを示した。
  論文  参考訳（メタデータ） (2026-03-03T17:59:35Z)
• When Personalization Legitimizes Risks: Uncovering Safety Vulnerabilities in Personalized Dialogue Agents [49.341830745910194]
  本稿では,パーソナライズされたエージェントの安全性障害である意図的正当性を明らかにする。 我々の研究は、安全障害モードとしての意図的正当性の最初の体系的な調査と評価を提供する。
  論文  参考訳（メタデータ） (2026-01-25T15:42:01Z)
• The Shadow Self: Intrinsic Value Misalignment in Large Language Model Agents [37.75212140218036]
  コントロの損失リスクを定式化し、これまで過小評価されていた内因性価値の相違(内因性VM)を識別する。 次に、このリスクを体系的に評価するシナリオ駆動フレームワークであるIMPRESSを紹介します。 我々は,21種類のLLMエージェント上での固有のVMの評価を行い,モデル間での安全性のリスクが広く見られることを発見した。
  論文  参考訳（メタデータ） (2026-01-24T07:09:50Z)
• Fine-Tuning Lowers Safety and Disrupts Evaluation Consistency [17.57889200051214]
  特定のドメインやタスクに対して汎用的な大規模言語モデル(LLM)を微調整することは,一般ユーザにとって日常的な手順となっている。 我々は、これを「攻撃」の良質な性質と相まって、微調整の広汎な取り込みによるLCMの臨界故障モードとみなす。 本実験では, 微調整装置に不連続な変化が生じても, 安全性評価の結果に驚くほどのばらつきが認められた。
  論文  参考訳（メタデータ） (2025-06-20T17:57:12Z)
• AgentAuditor: Human-Level Safety and Security Evaluation for LLM Agents [48.925168866726814]
  AgentAuditorは、トレーニングなし、メモリ拡張推論フレームワークである。 ASSEBenchは、LLMベースの評価器が安全リスクとセキュリティ上の脅威の両方を見つけることができるかを確認するために設計された最初のベンチマークである。
  論文  参考訳（メタデータ） (2025-05-31T17:10:23Z)
• PredictaBoard: Benchmarking LLM Score Predictability [50.47497036981544]
  大きな言語モデル(LLM)は予測不能に失敗することが多い。 これは、安全なデプロイメントを保証する上で、大きな課題となる。 PredictaBoardは,新しいベンチマークフレームワークである。
  論文  参考訳（メタデータ） (2025-02-20T10:52:38Z)
• SafeAgentBench: A Benchmark for Safe Task Planning of Embodied LLM Agents [58.65256663334316]
  我々は,対話型シミュレーション環境におけるLLMエージェントの安全性を考慮したタスク計画のための最初のベンチマークであるSafeAgentBenchを紹介する。 SafeAgentBenchは、(1)10の潜在的な危険と3つのタスクタイプをカバーするために厳格にキュレートされた750のタスクの実行可能な多種多様な高品質データセット、(2)低レベルコントローラを備えた普遍的な実施環境、9つの最先端ベースラインに対して17のハイレベルアクションでマルチエージェント実行をサポートするSafeAgentEnv、(3)実行とセマンティックの両方の観点から信頼性の高い評価方法を含む。
  論文  参考訳（メタデータ） (2024-12-17T18:55:58Z)
• Criticality and Safety Margins for Reinforcement Learning [53.10194953873209]
  我々は,定量化基盤真理とユーザにとっての明確な意義の両面から,批判的枠組みを定めようとしている。 エージェントがn連続的ランダム動作に対するポリシーから逸脱した場合の報酬の減少として真臨界を導入する。 我々はまた、真の臨界と統計的に単調な関係を持つ低オーバーヘッド計量であるプロキシ臨界の概念も導入する。
  論文  参考訳（メタデータ） (2024-09-26T21:00:45Z)
• Safety Margins for Reinforcement Learning [53.10194953873209]
  安全マージンを生成するためにプロキシ臨界度メトリクスをどのように活用するかを示す。 Atari 環境での APE-X と A3C からの学習方針に対するアプローチを評価する。
  論文  参考訳（メタデータ） (2023-07-25T16:49:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。