Fugu-MT 論文翻訳(概要): Recursive Reward Improvement via Adversarial Meta-Prompt Evolution

論文の概要: Recursive Reward Improvement via Adversarial Meta-Prompt Evolution

arxiv url: http://arxiv.org/abs/2610.21040v1
Date: Thu, 15 Oct 2026 00:31:18 GMT
ステータス: 翻訳完了
システム内更新日: 2026-10-16 19:13:16.109334
Title: Recursive Reward Improvement via Adversarial Meta-Prompt Evolution
Title（参考訳）: 反転メタプロンプト進化による再帰的逆行改善
Abstract要約: 再帰的自己改善(Recursive Self-Improvement、RSI)は、限られたデータを扱う能力において広く注目を集めている。 RRIを導入し、報酬ハッキングの敵を利用して報酬を監督する。 RRI は, 自己改善ベースラインに対して, 9B で 10.9 点, 27B で 12.4 点, 外部モデルなしで 10.3 点の調整スコアを改善した。
参考スコア（独自算出の注目度）: 33.30865111416434
License: http://creativecommons.org/licenses/by-sa/4.0/
Abstract: Recursive Self-Improvement (RSI) has gained wide attention for its ability to work with limited data. In a proposer-solver loop, a proposer model writes training tasks and a solver model learns to solve them through reinforcement learning. Such loops have succeeded in mathematics and coding, where every answer can be checked automatically. Open-ended expert tasks, like clinical report generations, have no answer key, which makes simple question-answer generation not viable. Here the proposer must also write a rubric that lists the content an answer should include and the errors it should avoid. However, the unique challenge behind model-written rubric is the comprehensiveness of it. For naively generated rubric, solvers tend to exploit it, naming the expected topics without the substance behind them, which corrupts the learning process. To solve this problem, we introduce RRI, Recursive Reward Improvement, which uses a reward hacking adversary to supervise the reward. Before the solver trains on a generated task, an adversary writes an answer that games its rubric while being as useless as possible, the same model writes an honest answer without seeing the rubric, and up to two repair steps revise the rubric to make the honest answer win. The exploits found also rewrite how future tasks and rubrics are generated. On HealthBench Professional, RRI improves the adjusted score over the Generation Only self-improvement baseline by 10.9 points at 9B and 12.4 at 27B, and by 10.3 points without any external model. In particular, the gains are largest on difficult and writing tasks. We show that the 27B model trained on the HealthBench Professional description improves by 6.6 points on PRBench Hard and 8.0 on ProfBench without seeing a task from either. We further analyze the exploitable points of model-generated question-rubric pairs to facilitate future research on open-ended self-play.
Abstract（参考訳）: 再帰的自己改善(Recursive Self-Improvement、RSI)は、限られたデータを扱う能力において広く注目を集めている。提案者-解決者ループでは、提案者モデルはトレーニングタスクを書き、解決者モデルは強化学習を通じてそれらを解決することを学習する。このようなループは数学やコーディングに成功し、全ての答えは自動的にチェックできる。臨床報告世代のようなオープンエンドの専門家タスクには、応答キーがないため、単純な質問応答生成は不可能である。ここでは、提案者は、答えが含めるべきコンテンツと避けるべきエラーをリストするルーブリックも書かなければならない。しかし、モデル記述のルーブリックの背後にあるユニークな課題は、その包括性である。鼻生成ルーリックでは、解決者はそれを悪用し、背後にある物質を使わずに期待されるトピックを命名する傾向があり、学習過程を損なう。この問題を解決するために、報酬ハッキングの敵であるRRI(Recursive Reward Improvement)を導入し、報酬を監督する。解決者が生成されたタスクで訓練する前に、敵はルーリックをできるだけ役に立たない状態でゲームする答えを書き、同じモデルはルーリックを見ることなく正直な答えを書き、最大2つの修復ステップでルーリックを修正し、正直な答えを勝ち取る。エクスプロイトは、将来のタスクやルーリックの生成方法も書き直した。 HealthBench Professionalでは、RRIはジェネレーションのみの自己改善ベースラインを10.9ポイント、27Bで12.4ポイント、外部モデルなしで10.3ポイント改善している。特に、仕事の難易度と書き方では、利益が最も大きい。この結果から,HealthBench Professionalでトレーニングした27BモデルはPRBench Hardで6.6ポイント,ProfBenchで8.0ポイント向上した。さらに、モデル生成型質問文対の活用可能な点を分析し、オープンエンドセルフプレイの今後の研究を促進する。

論文の概要: Recursive Reward Improvement via Adversarial Meta-Prompt Evolution

関連論文リスト