論文の概要: Tail-Likelihood Reinforcement Learning

• arxiv url: http://arxiv.org/abs/2609.02987v2
• Date: Wed, 09 Sep 2026 16:07:49 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-10 15:10:00.891704
• Title: Tail-Likelihood Reinforcement Learning
• Title（参考訳）: テールライクな強化学習
• Abstract要約: Tail-Likelihood Reinforcement Learning (TailRL)は、ランダムに選択された報酬閾値を超える対数確率を最大化する。 TailRLは、利点関数に簡単な修正しか必要とせず、既存の強化学習パイプラインと互換性がある。
• 参考スコア（独自算出の注目度）: 63.90013981311359
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Reinforcement learning typically optimizes average reward. For generative policies, the average can hide an important distinction: two policies can achieve the same mean reward while having very different chances of producing a rare but high-reward rollout. This matters as sampling increases during training and inference, since its benefit depends on retaining probability mass on high-reward outcomes. We propose to optimize this coverage directly. Rather than considering only expected reward, we consider all of its upper tails: for each reward threshold, how likely is the policy to exceed it? This turns a continuous reward into a family of binary success events. We introduce Tail-Likelihood Reinforcement Learning (TailRL), which maximizes the log-probability of exceeding a randomly chosen reward threshold. Its gradient gives more weight to rare, high-reward rollouts and can be interpreted as a mixture of Best-of-k gradients. TailRL requires only a simple modification to the advantage function, making it compatible with existing reinforcement learning pipelines. Across object localization, maze navigation, GUI grounding, and code optimization, TailRL leverages rare high-reward training samples to avoid suboptimal solutions and yields models that benefit more from additional samples at inference time.
• Abstract（参考訳）: 強化学習は通常、平均的な報酬を最適化する。 2つのポリシーは同じ平均報酬を達成できると同時に、稀だが高水準のロールアウトを発生させる可能性も極めて異なる。 これは、トレーニングと推論中にサンプリングが増加するにつれて重要であり、その利点は、高い回帰結果に対する確率質量を維持することに依存する。 我々はこのカバレッジを直接最適化することを提案する。 予想される報酬のみを考えるのではなく、すべての上位のテールを考慮し、それぞれの報酬閾値に対して、政策がそれを超える可能性はどの程度あるかを考える。 これにより、継続的な報酬はバイナリ成功イベントのファミリーに変わります。 ランダムに選択された報酬閾値を超える対数確率を最大化するTail-Likelihood Reinforcement Learning (TailRL)を導入する。 その勾配は希少で高い逆転のロールアウトをより重くし、Best-of-k勾配の混合と解釈できる。 TailRLは、利点関数に簡単な修正しか必要とせず、既存の強化学習パイプラインと互換性がある。 TailRLはオブジェクトのローカライゼーション、迷路ナビゲーション、GUIのグラウンディング、コード最適化など、希少なハイリワードトレーニングサンプルを活用して、最適以下のソリューションを避け、推論時に追加サンプルの恩恵を受けるモデルを生成する。

関連論文リスト

• MARBLE: Multi-Aspect Reward Balance for Diffusion RL [71.6241143519038]
  強化学習は、拡散モデルと人間の嗜好を整合させる主要なアプローチとなっている。 既存のプラクティスは、報酬ごとに1つのスペシャリストモデルをトレーニングすることで、複数の報酬を処理します。 我々は,各報酬に対する独立な優位推定器を維持する勾配空間最適化フレームワークMARBLEを提案する。
  論文  参考訳（メタデータ） (2026-05-07T16:20:42Z)
• Chasing the Tail: Effective Rubric-based Reward Modeling for Large Language Model Post-Training [39.36546278921025]
  強化微調整 (Reinforcement fine-tuning, RFT) は、ポリシーモデルが報酬信号をハックして高いスコアを得るという、過度な最適化に悩まされることが多い。 我々の理論的分析は、高いリワードテールにおける報酬の誤特定に鍵がかかっていることを示している。 政治以外の見習いは入手し易いが、彼らのナイーティブな訓練は、私たちが調整しようとしている政策に対して、不明確な報酬を与える。
  論文  参考訳（メタデータ） (2025-09-25T19:57:39Z)
• Residual Reward Models for Preference-based Reinforcement Learning [11.797520525358564]
  優先度に基づく強化学習(PbRL)は、報酬信号の特定が難しい環境で、高性能なポリシーを学習する方法を提供する。 PbRLは報酬モデルでのトレーニングを必要とするため、収束速度が遅い。 本稿では,Residual Reward Model (RRM) を用いた事前知識の有効活用手法を提案する。
  論文  参考訳（メタデータ） (2025-07-01T09:43:57Z)
• Reward Shaping to Mitigate Reward Hacking in RLHF [47.71454266800376]
  Preference As Reward (PAR) は、報酬モデルに埋め込まれた潜在的嗜好を強化学習の信号として活用する新しいアプローチである。 AlpacaEval 2.0ベンチマークでは、PARは競合するアプローチよりも少なくとも5パーセント高い勝利率を達成する。
  論文  参考訳（メタデータ） (2025-02-26T02:57:59Z)
• RED: Unleashing Token-Level Rewards from Holistic Feedback via Reward Redistribution [50.171320156632866]
  人間のフィードバックからの強化学習は、大きな言語モデルを人間の好みに合わせるための有望なアプローチを提供する。 現在の報酬モデルはシークエンス・ツー・ワンモデルとして動作し、単一、スパース、遅延報酬を全出力シーケンスに割り当てる。 よりきめ細かなトークンレベルの指導手法をRLトレーニングに提案する。
  論文  参考訳（メタデータ） (2024-11-13T02:45:21Z)
• The Perils of Optimizing Learned Reward Functions: Low Training Error Does Not Guarantee Low Regret [64.04721528586747]
  報奨モデルの十分に低いテスト誤差は、最悪の場合の後悔を確実にすることを示す。 次に、ポリシー正則化技術を用いても、同様の問題が持続することを示す。
  論文  参考訳（メタデータ） (2024-06-22T06:43:51Z)
• RewardsOfSum: Exploring Reinforcement Learning Rewards for Summarisation [7.0471949371778795]
  本稿では,抽象的な要約作業に対する2つの報酬関数を提案する。 最初の関数はRwB-Hingeと呼ばれ、勾配更新のサンプルを動的に選択する。 第2の機能はRISKと呼ばれ、強力な候補者の小さなプールを利用して報酬を知らせる。
  論文  参考訳（メタデータ） (2021-06-08T03:30:50Z)
• Model-free Policy Learning with Reward Gradients [9.847875182113137]
  モデルを学ぶことなく報酬勾配を統合する新しいアプローチであるtextitReward Policy Gradient estimator を開発した。 また,様々な MuJoCo 制御タスクにおける近似ポリシ最適化の性能も向上する。
  論文  参考訳（メタデータ） (2021-03-09T00:14:13Z)
• Learning to Utilize Shaping Rewards: A New Approach of Reward Shaping [71.214923471669]
  リワード整形は、ドメイン知識を強化学習(RL)に組み込む効果的な手法である 本稿では,所定の整形報酬関数を適応的に活用する問題を考察する。 スパース逆カートポールとMuJoCo環境の実験は、我々のアルゴリズムが有益な整形報酬を完全に活用できることを示している。
  論文  参考訳（メタデータ） (2020-11-05T05:34:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。