ReSI: Recursive Safety Improvement toward Resistant and Resilient AI
Abstractの概要
ReSIは、モデルの安全性アライメントをレッドチーミング、自動化されたレシピ探索、検証済みモデル更新からなる反復ループとして扱う再帰的安全性向上フレームワークです。各ラウンドにおいて、複数のレッドチーミング手法を用いて現在のモデルの脆弱性を特定し、パイロット実行によってアライメントレシピの候補を選別した上で、能力保持基準を満たしつつ安全性を向上させる更新のみを採用します。本フレームワークは、攻撃データソース、アライメント手法、学習データの混合比率、ハイパーパラメータを探索し、指示追従能力や無害な要求への遵守度を維持しながら安全性の向上を強制するパレートゲートを備えています。4つのDenseモデルおよびMixture-of-Expertsモデルにわたる実験において、分布内の安全性の向上、未知の攻撃メカニズムに対する頑健性の強化、および汎用能力の大部分の保持が報告されています。
新規性
際立った貢献は、安全性アライメントそのものを有界な再帰的自己改善プロセスとして位置づけ、固定された学習レシピではなく自動化された研究を通じて具現化した点にあります。またReSIは、反復的なレッドチーミングとアライメント手法およびレシピ構成要素の構造化された探索を組み合わせ、有用性を過度に損なう安全性向上の伝播を防ぐ固定パレートゲートを採用しています。
成果
評価された4つのモデル全体で、ReSIは分布内および分布外の安全性ベンチマークの双方で攻撃成功率を低下させ、多くの場合でA3ベースラインを上回り、報告された大半の比較でMAGICと同等以上の結果を示しました。4モデルにおける平均X-Teaming攻撃成功率が86.01%から31.45%へ減少したことが強調されており、そのベンチマークにおいてReSIでアライメントされた4モデルすべてが評価対象のフロンティアモデルの範囲を下回ったと報告されています。能力保持はおおむね良好で、一部のモデルでは無害な要求への遵守度が向上し、指示追従精度もベースモデルに近い水準を維持していますが、Ministralでは一部の能力低下が見られました。
論文の注目点
- ReSIは、安全性の改善をレッドチーミング評価、パイロット選別、本格的な改良、ゲート付きモデル更新の反復ラウンドとして構成している。
- 発見された脆弱性で学習し、H-CoTやX-Teamingなどの非公開攻撃メカニズムでテストすることにより、既知の攻撃への耐性と未知の攻撃に対する回復力の双方を明示的に目標としている。
- 実験的に、ReSIはパレート基準に基づく選択ルールのもとで、無害な要求への遵守度や汎用能力を大枠で維持しながら、4つのモデルファミリー全体で安全性を向上させている。