Fugu-MT 論文翻訳(概要): ReSI: Recursive Safety Improvement toward Resistant and Resilient AI

論文の概要: ReSI: Recursive Safety Improvement toward Resistant and Resilient AI

arxiv url: http://arxiv.org/abs/2610.12233v1
Date: Thu, 08 Oct 2026 16:17:21 GMT
ステータス: 翻訳完了
システム内更新日: 2026-10-10 02:36:54.156866
Title: ReSI: Recursive Safety Improvement toward Resistant and Resilient AI
Title（参考訳）: ReSI: Recursive Safety Improvement to Resistant and Resilient AI
Abstract要約: 再帰的自己改善(Recursive self-improvement)、つまり、AIシステムが自身の能力を改善することへの参加は、理論的な見通しから実践へと移行し始めている。本稿では,この手法を自動研究によって実装するフレームワークであるReSIを紹介する。各ラウンドにおいて、ReSIは、現在のターゲットモデルの脆弱性を特定し、トレーニングレシピを開発し、最大の安全性向上でアップデートを促進するために、さまざまな赤チーム方式を適用している。
参考スコア（独自算出の注目度）: 79.72081502522337
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Recursive self-improvement, the participation of AI systems in improving their own capabilities, is beginning to move from theoretical prospect to practice, posing both challenges and opportunities for safety alignment. Models evolve through frequent updates, and their safety alignment requires continual adaptation to each new checkpoint. Meanwhile, with evolving red-teaming methods exposing new vulnerabilities, safety improvement for each checkpoint needs to mitigate exposed vulnerabilities and generalize to risks not yet revealed. Following R$^2$AI, we term these goals resistance to known threats and resilience to unforeseen risks. Recursive self-improvement, in turn, inspires an approach to both goals: safety alignment could likewise advance through successive rounds of evaluation and update. We therefore introduce ReSI, a recursive safety improvement framework that implements this approach through automated research. In each round, ReSI applies diverse red-teaming methods to identify vulnerabilities in the current target model, develops training recipes, and promotes the update with the largest safety gain among those passing a Pareto gate on capability retention as the next target model. Across four dense and mixture-of-experts models, ReSI matches or exceeds evaluated frontier models on in-distribution and out-of-distribution safety benchmarks, and outperforms alignment baselines on nearly all safety evaluations while largely preserving general capabilities. In particular, ReSI reduces the mean X-Teaming attack success rate across the four models from 86.01% to 31.45%, well below GPT-5.6-Luna's leading frontier result of 56.69%, indicating stronger resilience to attacks unseen during training. These findings support recursive safety improvement as a practical path toward resistant and resilient AI.
Abstract（参考訳）: 再帰的自己改善(Recursive self-improvement) — 自身の能力を改善するためのAIシステムの関与 — は、理論的な見通しから実践へと移行し始めており、課題と安全性の整合性の機会の両方を呈している。モデルは頻繁な更新によって進化し、その安全性は各新しいチェックポイントに継続的に適応する必要がある。一方、新しい脆弱性を暴露する赤チーム方式の進化に伴い、各チェックポイントの安全性の改善は、露出した脆弱性を緩和し、まだ明らかにされていないリスクに一般化する必要がある。 R$2$AIに従って、これらの目標を既知の脅威に対する抵抗と、予期せぬリスクに対するレジリエンスと表現する。再帰的な自己改善は、両方の目標にアプローチを促します。そこで我々は,この手法を自動研究によって実装した再帰的安全改善フレームワークであるReSIを導入する。各ラウンドにおいて、ReSIは、現在のターゲットモデルの脆弱性を特定し、トレーニングレシピを開発し、次のターゲットモデルとして機能保持でParetoゲートを通過する人々の中で、最大の安全性向上で更新を促進するために、さまざまな赤チーム方式を適用している。 4つの密集型および混合型モデルにおいて、ReSIは分布内および分布外安全ベンチマークで評価されたフロンティアモデルと一致または超過し、ほぼすべての安全性評価においてアライメントベースラインを上回り、概ね一般的な能力を保っている。特に、ReSIは4つのモデルの平均X-Teaming攻撃成功率を86.01%から31.45%に下げ、GPT-5.6-Lunaの56.69%をはるかに下回った。これらの知見は、レジリエントでレジリエントなAIへの実践的な道として、再帰的安全性向上を支援する。

関連論文リスト

On-Policy Self-Evolution via Failure Trajectories for Agentic Safety Alignment [54.30690671490447]
既存の安全アライメント信号は、主に応答レベルまたは政治外である。 FATEは、検証済みの失敗を専門家のデモンストレーションなしで修復管理に変換する。 FATEは攻撃成功率を33.5%、有害なコンプライアンスを82.6%削減し、外的軌道安全診断を6.5%改善する。
論文参考訳（メタデータ） (2026-05-12T09:56:28Z)
Self-Guard: Defending Large Reasoning Models via enhanced self-reflection [54.775612141528164]
Self-Guardは、大規模推論モデルのための軽量な安全防御フレームワークである。これは認識とコンプライアンスのギャップを埋め、モデルユーティリティを損なうことなく堅牢な安全性能を達成する。セルフガードは、さまざまな未知のリスクとさまざまなモデルスケールにまたがる強力な一般化を示す。
論文参考訳（メタデータ） (2026-01-31T13:06:11Z)
Think-Reflect-Revise: A Policy-Guided Reflective Framework for Safety Alignment in Large Vision Language Models [58.17589701432514]
Think-Reflect-Revise (TRR)は、LVLM(Large Vision Language Models)の安全性向上を目的としたトレーニングフレームワークである。まず、リフレクティブセーフティ推論(ReSafe)データセットを5000の例で構築し、シンク・リフレクティブ・リフレクティブ・プロセスに従っています。次に、ReSafeデータセットを用いてターゲットモデルを微調整し、反射行動の初期化を行い、最後に強化学習を通じてポリシー誘導反射を強化する。
論文参考訳（メタデータ） (2025-12-08T03:46:03Z)
Replicating TEMPEST at Scale: Multi-Turn Adversarial Attacks Against Trillion-Parameter Frontier Models [0.0]
本研究では、TEMPESTマルチターン攻撃フレームワークを用いて、1000の有害な振る舞いに対して8つのベンダーから10のフロンティアモデルを評価する。 6つのモデルが96%から100%の攻撃成功率(ASR)を達成し、4つのモデルが有意な抵抗を示し、ASRは42%から78%であった。
論文参考訳（メタデータ） (2025-12-08T00:30:40Z)
Breaking the Safety-Capability Tradeoff: Reinforcement Learning with Verifiable Rewards Maintains Safety Guardrails in LLMs [3.198812241868092]
検証可能な報酬(RLVR)による強化学習は、客観的に測定可能なタスクのモデルを最適化する有望な代替手段として登場した。 RLVRにおける安全特性の総合的・実証的な分析を行った。実証実験により,RLVRは安全ガードレールの維持・改善を図りながら推論能力を同時に向上できることを示す。
論文参考訳（メタデータ） (2025-11-26T04:36:34Z)
Rethinking Deep Alignment Through The Lens Of Incomplete Learning [14.306119791052575]
自己回帰訓練中の位置依存的勾配弱化は信号減衰を引き起こし,不完全安全性学習につながることを示す。不完全な安全学習の計算指標として,基本条件付きトークンを導入する。 Llama と Qwen モデルファミリ間の実験的評価により, 対向ロバスト性は劇的に向上した。
論文参考訳（メタデータ） (2025-11-15T10:53:03Z)
SafeEvalAgent: Toward Agentic and Self-Evolving Safety Evaluation of LLMs [37.82193156438782]
本稿では, エージェント安全評価の新しいパラダイムとして, 継続的かつ自己進化的なプロセスとしてのリフレーミング評価を提案する。本稿では、構造化されていないポリシー文書を自律的に取り込み、包括的な安全ベンチマークを生成し、永続的に進化させる、新しいマルチエージェントフレームワークSafeEvalAgentを提案する。本実験はSafeEvalAgentの有効性を実証し,評価が強まるにつれてモデルの安全性が一貫した低下を示す。
論文参考訳（メタデータ） (2025-09-30T11:20:41Z)
SafeKey: Amplifying Aha-Moment Insights for Safety Reasoning [76.56522719330911]
大規模推論モデル(LRM)は、応答する前に明示的に推論する新しい世代パラダイムを導入する。 LRMは有害なクエリや敵の攻撃に対して大きな安全リスクをもたらす。キー文中の安全アハモーメントをより活性化するSafeKeyを提案する。
論文参考訳（メタデータ） (2025-05-22T03:46:03Z)
Safeguarded Progress in Reinforcement Learning: Safe Bayesian Exploration for Control Policy Synthesis [63.532413807686524]
本稿では、強化学習(RL)におけるトレーニング中の安全維持の問題に対処する。探索中の効率的な進捗と安全性のトレードオフを扱う新しいアーキテクチャを提案する。
論文参考訳（メタデータ） (2023-12-18T16:09:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。