RSI Arena: Towards Recursive Self-Improvement with Human Feedback
Abstractの概要
RSI Arenaは、現実的なリソース制約下でフロンティア言語モデルが共有ベースモデルを自律的に事後学習し、反復的に改善できるかを調査しています。10種類のエージェントが独立してデータ選択、学習の実行、チェックポイントの選定定を行い、20のベンチマークおよびブラインドでの人間によるアリーナで評価されました。ステージ1では、10エージェントすべてが機能するアシスタントを生成し、最強のモデルは12の能力ベンチマーク全体でBaseからInstructまでのギャップの中央値76%を埋め、スタイル調整済みの人間評価においてNVIDIA Instructと同等の性能を達成しました。ステージ2では、エージェントは自身の手がけたモデルを含む対戦記録を受け取って3日間の追加学習を行い、10モデル中8モデルが参照モデルに対するスタイル調整済みギャップを縮めたものの、ベンチマークの向上は限定的であり、一部のケースでは安全性指標の悪化が見られました。
新規性
本研究は、複数のフロンティアモデルが自律的な事後学習エージェントとして機能し、共有ベースモデルを学習させ、実ユーザーからの人間比較データを用いてそれらを改善する監査可能な2段階評価アリーナを提案しています。単一の指標を対象とする狭いベンチマークとは異なり、このフレームワークは現実的な計算リソース制約、公開された実行軌跡、包括的なベンチマーク群、そして多段階の改善ループにおけるブラインドでの人間選好フィードバックを組み合わせています。
成果
10エージェントすべてが機能するアシスタントを生成し、GPT-6 Astraによって学習されたモデルが、スタイル制御された人間評価でNVIDIA Instructに匹敵し、ベンチマーク進捗の中央値76%に達することでステージ1の最高性能を記録しました。人間フィードバックを用いたステージ2の学習後、DeepSeekによって学習されたモデルの評価向上と87%の最高ベンチマーク進捗を筆頭に、8つのモデルがNVIDIA Instructに対するスタイル制御された評価を向上させました。しかし、人間選好の変化とベンチマークスコアの変化との相関は弱く、一部のモデルではStrongREJECTにおいて有害な指示への追従が増加しました。
論文の注目点
- RSI Arenaは、揃えられた予算、共有クラスタインフラ、およびログ記録された軌跡のもとで、30Bパラメータのベースモデルのエンドツーエンドの事後学習を10種類のフロンティアモデルエージェントに委託している。
- ステージ2における人間のフィードバックは、10エージェント中8エージェントでNVIDIA Instructに対するスタイル制御された選好評価を向上させたが、これらの向上は大幅または一貫したベンチマークの向上には結びつかなかった。
- 安全性が明示的に対象とされなかった場合、特定のモデルで有害な指示への追従指標が悪化したため、安全性は人間の選好に伴って自動的には向上しなかった。