Tail-Likelihood Reinforcement Learning
Abstractの概要
本論文では、一様にサンプリングされた報酬閾値を超える期待対数確率を最大化する、連続報酬向けの強化学習（RL）目的関数であるTail-Likelihood Reinforcement Learning（TailRL）を提案しています。この手法は、連続報酬を一連の二値テールイベントとして再構成し、平均報酬のみを最適化するのではなく、めったに到達しない報酬レベルを重視します。論文内では、TailRLがBest-of-k勾配の調和混合へと分解されること、および二値報酬の場合には正確にMaxRLに帰着することが示されています。また、ロールアウトの重み付けやアドバンテージ計算のみを変更する不偏な有限ロールアウト推定量も導出されており、標準的なCritic不要のRLパイプラインと高い互換性を持っています。実験において著者らは、物体局所化、テキスト迷路ナビゲーション、GUIグラウンディング、コード実行時間最適化でTailRLを評価しています。
新規性
主な新規性は、すべての報酬閾値にわたって対数テール確率を積分し、尤度ベースの成功最適化を連続報酬に対応させたRL目的関数を提案した点にあります。際立った理論的成果として、Best-of-k勾配への厳密な調和分解が挙げられ、単一のターゲットkを選択することなく、学習を推論時サンプリングの性能と直接結びつけています。
成果
4つのタスク全体で、TailRLはGRPOやRLOOなどの期待報酬ベースラインと比較して、高報酬な結果のカバレッジを一貫して向上させました。実証された結果には、教師あり局所化の目的関数と同等以上の性能達成、期待報酬ベースラインが失敗する初期最短経路成功率が約0.01%の迷路ポリシーからの学習、GUIグラウンディングにおいてRLOOのPass@1024を128〜256倍少ない推論ロールアウトで達成すること、そしてGRPOやRLOOが入力のコピーに縮退するなかでコード最適化において7.7倍のBest-of-1024高速化を達成することが含まれます。
論文の注目点
- TailRLは報酬閾値を超える対数尤度を最適化し、すべてのテール確率を同等に扱うのではなく、稀な高報酬ロールアウトの重みを大きくします。
- この手法はロールアウトの重みやアドバンテージのみを変更する不偏な有限ロールアウト推定量を提供し、ロールアウトグループの拡大は単なる分散低減ではなくTailRL目的関数の高次打ち切りの最適化に対応します。
- 実証的評価により、TailRLは優れた結果が達成可能であるものの稀である場合に特に効果的であり、安全で最適ではない近道へのポリシーの縮退を防ぎ、推論計算量に応じたスケーリングを向上させることが示されています。