論文の概要: Instrumental Choices: Measuring the Propensity of LLM Agents to Pursue Instrumental Behaviors

• arxiv url: http://arxiv.org/abs/2605.06490v1
• Date: Thu, 07 May 2026 16:12:36 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-08 22:27:11.980905
• Title: Instrumental Choices: Measuring the Propensity of LLM Agents to Pursue Instrumental Behaviors
• Title（参考訳）: 機器選択:LLM剤の有効性の測定と機器の挙動
• Authors: Jonas Wiedermann-Möller, Leonard Dung, Maksym Andriushchenko,
• Abstract要約: 本稿では,端末エージェントのインストゥルメンタルコンバージェンス(IC)動作に対するモデルの妥当性を評価するためのベンチマークを提案する。 我々のベンチマークは現実的で低評価であり、評価意識とロールプレイの相違を減らすのに役立ちます。 その結果,ほとんどの試験モデルでは,現実的で低汚泥環境がIC行動を引き起こすことは稀であるが,体系的に実施されることが示唆された。
• 参考スコア（独自算出の注目度）: 15.880694616254297
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: AI systems have become increasingly capable of dangerous behaviours in many domains. This raises the question: Do models sometimes choose to violate human instructions in order to perform behaviour that is more useful for certain goals? We introduce a benchmark for measuring model propensity for instrumental convergence (IC) behaviour in terminal-based agents. This is behaviour such as self-preservation that has been hypothesised to play a key role in risks from highly capable AI agents. Our benchmark is realistic and low-stakes which serves to reduce evaluation-awareness and roleplay confounds. The suite contains seven operational tasks, each with an official workflow and a policy-violating shortcut. An eight-variant shared framework varies monitoring, instruction clarity, stakes, permission, instrumental usefulness and blocked honest paths to support inferences regarding the factors driving IC behaviour. We evaluated ten models using deterministic environment-state scorers over 1,680 samples, with trace review employed for audit and adjudication purposes. The final IC rate is 86 out of 1,680 samples (5.1%). IC behaviour is concentrated rather than uniform: two Gemini models account for 66.3% of IC cases and three tasks account for 84.9%. Conditions in which IC behaviour is indispensable for task success result in the greatest increase in the adjusted IC rate (+15.7 percentage points), whereas emphasising that task success is critical or certain framing choices do not produce comparable effects. Our findings indicate that realistic, low-nudge environments elicit IC behaviour rarely but systematically in most tested models. We conclude that it is feasible to robustly measure tendencies for dangerous behaviour in current frontier AI agents.
• Abstract（参考訳）: AIシステムは、多くのドメインで危険な振る舞いがますます可能になっている。 モデルでは、特定の目標に対してより有用な行動を実行するために、時に人間の指示に違反することを選択しますか? 本稿では,端末エージェントのインストゥルメンタルコンバージェンス(IC)動作に対するモデルの妥当性を評価するためのベンチマークを提案する。 これは、高度に有能なAIエージェントからのリスクにおいて重要な役割を果たすと仮説された自己保存のような行動である。 我々のベンチマークは現実的で低評価であり、評価意識とロールプレイの相違を減らすのに役立ちます。 このスイートには7つの運用タスクが含まれており、それぞれに公式ワークフローとポリシー違反のショートカットがある。 8種類の共有フレームワークは、監視、指示の明確性、利害関係、許可、道具的有用性、ブロックされた正直なパスによって、ICの動作を駆動する要因に関する推論をサポートする。 決定論的環境状態スコアラを1,680以上のサンプルを用いて10種類のモデルの評価を行った。 最終ICレートは1,680サンプル中86点(5.1%)である。 2つのジェミニモデルが66.3%、3つのタスクが84.9%を占めている。 タスク成功にICの動作が不可欠である条件は、調整されたICレート(+15.7ポイント)の最大の増加をもたらす。 その結果,ほとんどの試験モデルでは,現実的で低汚泥環境がIC行動を引き起こすことは稀であるが,体系的に実施されることが示唆された。 我々は、現在のフロンティアAIエージェントにおける危険な行動の傾向をしっかりと測定することは可能であると結論付けている。

関連論文リスト

• Claw-Eval: Toward Trustworthy Evaluation of Autonomous Agents [66.97968363332465]
  エージェントベンチマークの3つのギャップに対処するエンドツーエンド評価スイートであるClaw-Evalを紹介した。 Claw-Evalは3つのグループにまたがる9つのカテゴリにまたがる300の人間検証タスクで構成されている。 すべてのエージェントアクションは、3つの独立したエビデンスチャネルを通じて記録される。
  論文  参考訳（メタデータ） (2026-04-07T17:43:18Z)
• CWM: Contrastive World Models for Action Feasibility Learning in Embodied Agent Pipelines [2.8681767712152197]
  信頼性の高いアクション実現可能性スコアラは、エンボディされたエージェントパイプラインにおける重要なボトルネックである。 既存のアプローチでは、教師付き微調整(SFT)を使用してアクションスコアラーを訓練している。 本稿では,大規模言語モデル(LLM)をアクションスコアラーとして微調整するContrastive World Model (CWM)を提案する。
  論文  参考訳（メタデータ） (2026-02-25T22:27:30Z)
• Capabilities Ain't All You Need: Measuring Propensities in AI [32.960519634809145]
  本稿では,モデル成功のためのバイオロジカルな定式化を用いて,AIの正当性を測定するための最初の公式なフレームワークを紹介する。 私たちは、どの程度の確率がシフトしているか、これがタスクにどんな影響を及ぼすかを測定することができることに気付きました。 我々は、それぞれ別々に比較して、妥当性と能力を組み合わせる際に、より強い予測力を得る。
  論文  参考訳（メタデータ） (2026-02-20T12:40:18Z)
• A Benchmark for Evaluating Outcome-Driven Constraint Violations in Autonomous AI Agents [4.851169906977996]
  40の異なるシナリオからなる新しいベンチマークを導入する。 各シナリオはマルチステップアクションを必要とするタスクを示し、エージェントのパフォーマンスは特定のキーパフォーマンス指標(KPI)に結び付けられている。 我々は、結果駆動の制約違反を1.3%から71.4%まで観察し、12モデルのうち9モデルが30%から50%の不正調整率を示した。
  論文  参考訳（メタデータ） (2025-12-23T21:52:53Z)
• OmniEAR: Benchmarking Agent Reasoning in Embodied Tasks [52.87238755666243]
  OmniEARは,言語モデルが身体的相互作用やツールの使用,マルチエージェントの協調にどう影響するかを評価するためのフレームワークである。 我々は、家庭と工業領域にまたがる1500のシナリオにおける連続的な物理的特性と複雑な空間的関係をモデル化する。 我々の体系的な評価は、モデルが制約から推論しなければならない場合、厳しい性能劣化を示す。
  論文  参考訳（メタデータ） (2025-08-07T17:54:15Z)
• Model Editing as a Double-Edged Sword: Steering Agent Ethical Behavior Toward Beneficence or Harm [57.00627691433355]
  我々は、モデル編集タスクとしてエージェントの行動ステアリングをフレーム化し、振舞い編集という。 心理学的道徳理論に基づくベンチマークであるBehaviorBenchを紹介する。 行動編集は倫理的・好意的な行動を促進するためにも、逆に有害な行動や悪意のある行動を引き起こすためにも利用できることを実証する。
  論文  参考訳（メタデータ） (2025-06-25T16:51:51Z)
• Criticality and Safety Margins for Reinforcement Learning [53.10194953873209]
  我々は,定量化基盤真理とユーザにとっての明確な意義の両面から,批判的枠組みを定めようとしている。 エージェントがn連続的ランダム動作に対するポリシーから逸脱した場合の報酬の減少として真臨界を導入する。 我々はまた、真の臨界と統計的に単調な関係を持つ低オーバーヘッド計量であるプロキシ臨界の概念も導入する。
  論文  参考訳（メタデータ） (2024-09-26T21:00:45Z)
• DCIR: Dynamic Consistency Intrinsic Reward for Multi-Agent Reinforcement Learning [84.22561239481901]
  本稿では,エージェントの行動が他のエージェントの行動と一致しているかどうかを学習するための新しいアプローチを提案する。 マルチエージェント粒子, Google Research Football および StarCraft II Micromanagement を含む複数の環境における DCIR の評価を行った。
  論文  参考訳（メタデータ） (2023-12-10T06:03:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。