論文の概要: RSI Arena: Towards Recursive Self-Improvement with Human Feedback

• arxiv url: http://arxiv.org/abs/2610.33624v1
• Date: Sat, 24 Oct 2026 11:54:45 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-27 22:27:13.375088
• Title: RSI Arena: Towards Recursive Self-Improvement with Human Feedback
• Title（参考訳）: RSIアリーナ:人間のフィードバックによる再帰的自己改善を目指して
• Abstract要約: 10台のフロンティアモデルがトレーニングエージェントとして働き、それぞれがNVIDIA Nemotron 3.5 Lightning 30B-A3B Baseから始まる。 我々は、20のベンチマークと盲人評価により、それらのモデルを評価した。 NVIDIA Instructを共通参照として,10モデル中8モデルのスタイル調整された相対評価において,Stage 1からStage 2への改善を観察する。
• 参考スコア（独自算出の注目度）: 64.79750666976021
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Can AI agents autonomously train useful language models and improve them using feedback from users? We introduce RSI Arena, a two-stage study of autonomous post-training as a step toward recursive self-improvement. Ten frontier models act as training agents, each starting from NVIDIA Nemotron 3.5 Lightning 30B-A3B Base. During a six-day first stage, each agent has 1,000 GPU-hours and $300 in API credit on a shared 64-GPU cluster, independently selecting data, implementing training procedures, and choosing checkpoints. We evaluate their models on 20 benchmarks and through blind human evaluations. All ten agents produce working assistants, with the strongest model, trained by GPT-6 Astra, closing a median of 76% of the base-to-Instruct gap across 12 capability benchmarks. Its human-preference rating is also close to NVIDIA Instruct after statistical adjustment for answer length and formatting. In Stage 2, each agent receives the comparison records and votes involving its Stage 1 model and is given three additional days for further training. Using NVIDIA Instruct as a common reference across the two evaluation rounds, we observe an improvement from Stage 1 to Stage 2 in the style-adjusted relative rating of eight of the ten models. We show that benchmark gains were modest, with no clear link to preference gains, while some agents encouraged longer responses and one model showed increased harmful compliance on StrongREJECT. RSI Arena provides an auditable setting for studying how human feedback can guide autonomous model development. It takes a step toward recursive self-improvement with human feedback (RSIHF), in which people help define what improvement means for the AI systems they use.
• Abstract（参考訳）: AIエージェントは、ユーザからのフィードバックを使って、有用な言語モデルを自律的にトレーニングし、改善できますか? 本稿では、再帰的自己改善に向けたステップとして、自律的ポストトレーニングの2段階の研究であるRSI Arenaを紹介する。 10台のフロンティアモデルがトレーニングエージェントとして働き、それぞれがNVIDIA Nemotron 3.5 Lightning 30B-A3B Baseから始まる。 6日間の第1ステージでは、各エージェントは共有64GPUクラスタ上で1000GPU時間と300ドルのAPIクレジットを持ち、独立してデータを選択し、トレーニング手順を実装し、チェックポイントを選択する。 我々は、20のベンチマークと盲人評価により、それらのモデルを評価した。 GPT-6 Astraによって訓練され、12の能力ベンチマークでベースとインストラクションのギャップの中央値の76%を閉じている。 人間の嗜好評価は、回答の長さとフォーマットを統計的に調整した後、NVIDIA Instructに近づいた。 ステージ2では、各エージェントがステージ1モデルを含む比較記録と投票を受け取り、さらに3日間のトレーニングが与えられる。 NVIDIA Instructを2つの評価ラウンドの共通参照として使用し,10モデル中8モデルのスタイル調整された相対評価において,ステージ1からステージ2への改善を観察した。 また,StrongREJECTに対する有害なコンプライアンスが向上したモデルもある。 RSI Arenaは、人間のフィードバックが自律的なモデル開発をガイドする方法を研究するための監査可能な設定を提供する。 人間のフィードバック(RSIHF)による再帰的自己改善(recursive self-improvement)への一歩を踏み出します。

関連論文リスト

• Athanor: An Agent-Native System for Autonomous Post-Training Research [11.127333067873225]
  私たちは自律的なポストトレーニング研究のためのオープンエージェントネイティブシステムであるAthanorを構築します。 Athanorのサービスは凍結した評価、管理されたジョブ、汚染されたデータ、永続的な研究記録、エージェントが知らないホールドアウトスイートを提供する。 これは、フロンティアエージェントのチームが、生のベースモデルを自律的にポストトレーニングできる最初のデモである。
  論文  参考訳（メタデータ） (2026-10-15T00:56:33Z)
• More Methods, Better Agents? A Reality Check on Self-Distillation in Agentic Reinforcement Learning [63.18264683480907]
  エージェント強化学習における自己蒸留は、多くの方法を生み出している。 既存の評価は、異なる実験条件下で発行されたベースラインスコアを再利用することが多い。 これらの制限は、報告された利得の源と、競合する手法の実践的な強みと弱点を曖昧にしている。
  論文  参考訳（メタデータ） (2026-10-14T08:36:31Z)
• NeoHorse-1: Towards Recursive Self-Improvement via Agentic Post-Training with Routing Harness [76.6324710887112]
  NeoHorse-1は、エージェントのポストトレーニングを通じてこの経路を探索するために開発されたエージェントネイティブモデルのファミリーである。 本システムでは,異種モデルプールとインテリジェントなルーティング,予測能力要求,選択されたサービス層,およびその後のユーザ毎のインタラクションを結合する。
  論文  参考訳（メタデータ） (2026-09-08T03:14:54Z)
• OdysSim: Building Foundation Models for Human Behavior Simulation [70.35265860287608]
  大規模言語モデルは、対話的評価と社会シミュレーションのための人間のシミュレータとして、ますます多くデプロイされている。 しかし、有益性駆動のポストトレーニングは、それらを同質で過度に同意できるアシスタントレジスタへと引き寄せる。 OdysSimは行動基礎モデルに関する最大のオープン・システマティック・リサーチである。
  論文  参考訳（メタデータ） (2026-06-12T07:31:55Z)
• Large Language Models Often Know When They Are Being Evaluated [0.015534429177540245]
  そこで本研究では,フロンティア言語モデルを用いて,評価や実世界の展開に起因した書き起こしを正確に分類できるかどうかを検討する。 我々は61の異なるデータセットから1000のプロンプトと書き起こしのベンチマークを構築した。 以上の結果から,フロンティアモデルにはまだ評価・認識レベルがかなり高いことが示唆された。
  論文  参考訳（メタデータ） (2025-05-28T12:03:09Z)
• Self-Taught Evaluators [77.92610887220594]
  本稿では,人工的なトレーニングデータのみを用いて,人間のアノテーションを使わずに即興で証明することを目的としたアプローチを提案する。 我々の自己学習評価器は、RewardBench上で75.4から88.3までの強いLDMを改善することができる。
  論文  参考訳（メタデータ） (2024-08-05T17:57:02Z)
• AIBench Training: Balanced Industry-Standard AI Training Benchmarking [26.820244556465333]
  新しいAIアーキテクチャ/システムのアーリーステージ評価には、安価なベンチマークが必要だ。 私たちは現実世界のベンチマークを使って、学習力学に影響を与える要因をカバーしています。 私たちは、最も包括的なAIトレーニングベンチマークスイートにコントリビュートしています。
  論文  参考訳（メタデータ） (2020-04-30T11:08:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。