論文の概要: Winning at All Cost: A Small Environment for Eliciting Specification Gaming Behaviors in Large Language Models

• arxiv url: http://arxiv.org/abs/2505.07846v1
• Date: Wed, 07 May 2025 07:59:56 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-14 20:57:54.216206
• Title: Winning at All Cost: A Small Environment for Eliciting Specification Gaming Behaviors in Large Language Models
• Title（参考訳）: あらゆるコストで勝つ:大規模言語モデルにおける仕様ゲーム行動の緩和のための小さな環境
• Authors: Lars Malmqvist,
• Abstract要約: 本研究では,フロンティア大規模言語モデル(LLM)が,不可能な状況に直面した場合,いかにして「システム」をプレイできるかを明らかにする。 そこで本研究では, テキストシミュレーション手法を用いて, t-tac-toeシナリオを用いた3つのLLMを提示した。 より新しく、推論にフォーカスしたo3-miniモデルは、システムの脆弱性を悪用する確率の2倍近くを示しました。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: This study reveals how frontier Large Language Models LLMs can "game the system" when faced with impossible situations, a critical security and alignment concern. Using a novel textual simulation approach, we presented three leading LLMs (o1, o3-mini, and r1) with a tic-tac-toe scenario designed to be unwinnable through legitimate play, then analyzed their tendency to exploit loopholes rather than accept defeat. Our results are alarming for security researchers: the newer, reasoning-focused o3-mini model showed nearly twice the propensity to exploit system vulnerabilities (37.1%) compared to the older o1 model (17.5%). Most striking was the effect of prompting. Simply framing the task as requiring "creative" solutions caused gaming behaviors to skyrocket to 77.3% across all models. We identified four distinct exploitation strategies, from direct manipulation of game state to sophisticated modification of opponent behavior. These findings demonstrate that even without actual execution capabilities, LLMs can identify and propose sophisticated system exploits when incentivized, highlighting urgent challenges for AI alignment as models grow more capable of identifying and leveraging vulnerabilities in their operating environments.
• Abstract（参考訳）: 本研究では,LLMが不可能な状況や重要なセキュリティ,アライメントといった問題に直面した場合に,いかにして「システムをゲームする」ことができるかを明らかにする。 新たなテキストシミュレーション手法を用いて,3つの主要なLCM (o1, o3-mini, r1) を, 正当なプレイで勝てないように設計した tic-tac-toe シナリオで提示し, 敗退を受け入れるのではなく, 抜け穴を悪用する傾向を解析した。 より新しく推論にフォーカスしたo3-miniモデルは、古いo1モデル(17.5%)に比べて、システムの脆弱性(37.1%)を悪用する確率の2倍近くを示した。 最も印象的だったのは、プロンプトの効果だった。 単に「創造的な」解決策を必要とするとしてタスクをフレーミングすることで、全てのモデルでゲーム行動が77.3%に急上昇した。 ゲーム状態の直接操作から、対戦行動の洗練された修正に至るまで、我々は4つの異なる搾取戦略を特定した。 これらの結果は、実際の実行機能なしでも、LLMはインセンティブを得たときに高度なシステムエクスプロイトを特定し、提案できることを示し、モデルが自身の運用環境における脆弱性を特定し、活用する能力を高めることで、AIアライメントに対する緊急の課題を強調している。

関連論文リスト

• Detecting and Understanding Vulnerabilities in Language Models via Mechanistic Interpretability [44.99833362998488]
  大規模言語モデル(LLM)は、幅広いタスクで素晴らしいパフォーマンスを示している。 特にLSMは敵攻撃に弱いことが知られており、入力に対する非受容的な変更はモデルの出力を誤解させる可能性がある。 本稿では,メカニスティック・インタプリタビリティ(MI)技術に基づく手法を提案する。
  論文  参考訳（メタデータ） (2024-07-29T09:55:34Z)
• BadRobot: Jailbreaking Embodied LLMs in the Physical World [20.96351292684658]
  Embodied AIは、AIが物理的エンティティに統合されるシステムを表す。 大きな言語モデル(LLM)は強力な言語理解能力を示す。 我々は,従来の音声ベースのユーザシステムインタラクションを通じて,LLMを安全性や倫理的制約に違反させることを目的とした,新たな攻撃パラダイムであるBadRobotを紹介した。
  論文  参考訳（メタデータ） (2024-07-16T13:13:16Z)
• AutoDetect: Towards a Unified Framework for Automated Weakness Detection in Large Language Models [95.09157454599605]
  大規模言語モデル(LLM)はますます強力になってきていますが、それでも顕著ですが微妙な弱点があります。 従来のベンチマークアプローチでは、特定のモデルの欠陥を徹底的に特定することはできない。 さまざまなタスクにまたがるLLMの弱点を自動的に露呈する統合フレームワークであるAutoDetectを導入する。
  論文  参考訳（メタデータ） (2024-06-24T15:16:45Z)
• Can We Trust Embodied Agents? Exploring Backdoor Attacks against Embodied LLM-based Decision-Making Systems [27.316115171846953]
  大規模言語モデル(LLM)は、実世界のAI意思決定タスクにおいて大きな可能性を示している。 LLMは、固有の常識と推論能力を活用するために微調整され、特定の用途に適合する。 この微調整プロセスは、特に安全クリティカルなサイバー物理システムにおいて、かなりの安全性とセキュリティの脆弱性をもたらす。
  論文  参考訳（メタデータ） (2024-05-27T17:59:43Z)
• On the Vulnerability of LLM/VLM-Controlled Robotics [54.57914943017522]
  大規模言語モデル(LLM)と視覚言語モデル(VLM)を統合するロボットシステムの脆弱性を,入力モダリティの感度によって強調する。 LLM/VLM制御型2つのロボットシステムにおいて,単純な入力摂動がタスク実行の成功率を22.2%,14.6%減少させることを示す。
  論文  参考訳（メタデータ） (2024-02-15T22:01:45Z)
• Trojaning Language Models for Fun and Profit [53.45727748224679]
  TROJAN-LMは、悪質に製作されたLMがホストNLPシステムを故障させる新しいタイプのトロイの木馬攻撃である。 セキュリティクリティカルなNLPタスクにおいて、3つの最先端のLMを実証的に研究することにより、TROJAN-LMが以下の特性を持つことを示す。
  論文  参考訳（メタデータ） (2020-08-01T18:22:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。