論文の概要: RSI Control: Can AI Models Perform Covert Sabotage in the Self-Improvement Process?

• arxiv url: http://arxiv.org/abs/2610.27735v1
• Date: Tue, 20 Oct 2026 06:57:59 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-21 21:58:47.678972
• Title: RSI Control: Can AI Models Perform Covert Sabotage in the Self-Improvement Process?
• Title（参考訳）: RSIコントロール:AIモデルは自己改善プロセスでカバーされたサボタージュを実行できるか?
• Abstract要約: 我々は、AI制御のレンズを通して、不整合モデルトレーニングのリスクを調査する。 本稿では、自律R&Dエージェントとして機能するフロンティアモデルに良質なメインタスクを与えるテストベッドであるRSI Control Arenaを紹介する。 我々は,6つのフロンティアモデルをエージェントとして評価し,ランの書き起こしとエージェントの推論を読み取るモニタについて検討した。
• 参考スコア（独自算出の注目度）: 17.36918926335993
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recursive self-improvement, in which frontier AI models work on training the next generation, is quickly becoming a reality. However, the safety of this process has received far less attention than it should. A misaligned model training its successor can shape what that successor knows, how it behaves, and what it wants, and the harm carries forward into the next generation. We study this risk through the lens of AI control. We introduce RSI Control Arena, a testbed in which a frontier model, acting as an autonomous R\&D agent, is given a benign main task from a stage of a successor model's training pipeline together with a covert side task to install a misaligned property in the successor. The testbed contains 16 side tasks in three classes, forming 22 task pairs with main tasks that span the pipeline from data curation to reinforcement learning. We evaluate six frontier models as agents against LLM monitors that read the transcript of the run and the agent's reasoning. We observe that every model completes a substantial share of the side tasks without degrading the main-task performance, including side tasks that make the successor itself a better saboteur. Under minimal instructions to stay covert, models already produce successful attacks that monitors fail to detect, and providing a short list of evasion tactics further reduces the detection rate. Monitors with access to agent's reasoning detects most attacks, but not all. Our results indicate that recursive self-improvement raises significant safety concerns, and that strong safety effort should be in place before models are trusted with greater responsibility of training their successors.
• Abstract（参考訳）: 再帰的な自己改善は、フロンティアAIモデルが次世代のトレーニングに取り組んでいるもので、急速に現実化しつつある。 しかし、このプロセスの安全性は、本来よりもはるかに低い注目を集めている。 後継モデルのトレーニングは、その後継者が知っていること、どのように振る舞うか、何を望むかを形作ることができ、その害は次の世代へと続く。 我々は、このリスクをAI制御のレンズを通して研究する。 本稿では、自律的なR\&Dエージェントとして機能するフロンティアモデルに、後継モデルのトレーニングパイプラインのステージから、隠蔽側タスクとともに良質なメインタスクを付与し、後継モデルに不整合プロパティをインストールするテストベッドであるRSI Control Arenaを紹介する。 テストベッドには3つのクラスで16のサイドタスクが含まれており、データキュレーションから強化学習まで、パイプラインにまたがる22のタスクペアで構成されている。 我々は6つのフロンティアモデルをLCMモニタに対するエージェントとして評価し、ランとエージェントの推論の書き起こしを読み取る。 すべてのモデルがメインタスクのパフォーマンスを劣化させることなく、サイドタスクのかなりの割合を完了します。 隠れ続けるための最小限の指示の下では、モデルはすでに検知できない攻撃を成功させており、回避策の短いリストを提供することで、検出率をさらに低下させる。 エージェントの推論にアクセス可能なモニターは、ほとんどの攻撃を検出するが、すべてではない。 以上の結果から,再帰的自己改善が重大な安全上の懸念を生じさせ,モデルが後継者の育成により大きな責任を負う前に,強力な安全努力が実施されるべきであることが示唆された。

関連論文リスト

• SIGMA: Self-Improving Alignment Generalization from a Model Spec [67.90375426350123]
  LLMエージェントは複雑なタスクを実行する能力がますます高まっている。 これにより、適切な安全アライメントなしに能力が増大するリスクが増大する。 我々は、アライメント自己改善を可能にするデータ生成およびトレーニングパイプラインであるSIGMAを提案する。
  論文  参考訳（メタデータ） (2026-10-06T08:09:56Z)
• ResearchArena: Evaluating Sabotage and Monitoring in Automated AI R&D [11.818511808737037]
  我々はResearchArenaを用いた自動AI研究開発のためのAI制御の評価を行った。 メインタスクと2種類の隠れサイドタスクをペアにします。 トレーニングデータに隠されたサボタージュは、最もキャッチが難しいのです。
  論文  参考訳（メタデータ） (2026-07-21T17:41:12Z)
• CIAware-Bench: Benchmarking Control Intervention Awareness Across Frontier LLMs [100.38986535324284]
  我々は、フロンティアモデル全体でのtextbfcontrol textbfintervention (CI) の認識を測定するベンチマークである textbfCIAware-Bench を紹介する。 CIAware-Benchは、モデルが自身の軌跡を制御介入によって修正されたものと区別できるかどうかをテストする。
  論文  参考訳（メタデータ） (2026-06-09T16:24:16Z)
• Claw-Eval: Toward Trustworthy Evaluation of Autonomous Agents [66.97968363332465]
  エージェントベンチマークの3つのギャップに対処するエンドツーエンド評価スイートであるClaw-Evalを紹介した。 Claw-Evalは3つのグループにまたがる9つのカテゴリにまたがる300の人間検証タスクで構成されている。 すべてのエージェントアクションは、3つの独立したエビデンスチャネルを通じて記録される。
  論文  参考訳（メタデータ） (2026-04-07T17:43:18Z)
• CTRL-ALT-DECEIT: Sabotage Evaluations for Automated AI R&D [4.230181169227057]
  機械学習(ML)エンジニアリングを行う際に,AIエージェントがユーザの興味に反して行動する能力について検討する。 現実的なMLタスクのベンチマークであるMLE-Benchを拡張し、バックドアを埋め込んだり、意図的に一般化の失敗を引き起こすようなコードサボタージュタスクを実行します。 我々は、不審なエージェントの挙動を検出するためにLMモニターを使用し、これらのモニターによって検出されることなく、モデル能力をサボタージュやサンドバッグに測定する。
  論文  参考訳（メタデータ） (2025-11-13T03:02:36Z)
• Adaptive Attacks on Trusted Monitors Subvert AI Control Protocols [80.68060125494645]
  プロトコルとモニタモデルを知っている信頼できないモデルによるアダプティブアタックについて検討する。 我々は、攻撃者がモデル出力に公知またはゼロショットプロンプトインジェクションを埋め込む単純な適応攻撃ベクトルをインスタンス化する。
  論文  参考訳（メタデータ） (2025-10-10T15:12:44Z)
• SHADE-Arena: Evaluating Sabotage and Monitoring in LLM Agents [8.02267424051267]
  大規模言語モデル(LLM)は、複雑で長い地平線設定において、自律的なエージェントとしてますます多くデプロイされている。 本研究では,フロンティアLSMの監視を回避し,有害な隠れた目標を達成する能力について検討する。 SHADE(Subtle Harmful Agent Detection & Evaluation)-Arenaを用いて,広い範囲のフロンティアLSMを評価した。
  論文  参考訳（メタデータ） (2025-06-17T15:46:15Z)
• Pre-trained Trojan Attacks for Visual Recognition [106.13792185398863]
  PVM(Pre-trained Vision Model)は、下流タスクを微調整する際、例外的なパフォーマンスのため、主要なコンポーネントとなっている。 本稿では,PVMにバックドアを埋め込んだトロイの木馬攻撃を提案する。 バックドア攻撃の成功において、クロスタスクアクティベーションとショートカット接続がもたらす課題を強調します。
  論文  参考訳（メタデータ） (2023-12-23T05:51:40Z)
• URLB: Unsupervised Reinforcement Learning Benchmark [82.36060735454647]
  教師なし強化学習ベンチマーク(URLB)を紹介する。 URLBは2つのフェーズで構成されている。 評価のために3つのドメインから12の連続制御タスクを提供し、8つの主要な教師なしRLメソッドに対してオープンソースコードを提供する。
  論文  参考訳（メタデータ） (2021-10-28T15:07:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。