論文の概要: Density-Aware Reward Scaling: A Reinforcement Learning Framework for Reward-Proportional Sampling

• arxiv url: http://arxiv.org/abs/2611.04792v1
• Date: Tue, 03 Nov 2026 12:29:58 GMT
• ステータス: 情報取得中
• システム内更新日: 2026-11-04 17:26:23.410404
• Title: Density-Aware Reward Scaling: A Reinforcement Learning Framework for Reward-Proportional Sampling
• Title（参考訳）: 密度認識Reward Scaling:Reward-Proportional Smplingのための強化学習フレームワーク
• Abstract要約: 期待されるリターンを最大化する強化学習目的は、高いリワード結果の小さなサブセットに確率質量を集中させることができる。 本稿では,報酬-比例サンプリングを促進する単純な報酬処理機構であるDARSを紹介する。 DARSは、各オンラインロールアウトグループ内の結果の局所密度を推定し、この密度によって報酬を逆スケールする。
• 参考スコア（独自算出の注目度）: 2.638670738998938
• License:
• Abstract: Reinforcement learning objectives that maximize expected return can concentrate probability mass on a small subset of high-reward outcomes, limiting diversity when multiple distinct solutions are desirable. We introduce Density-Aware Reward Scaling (DARS), a simple reward-processing mechanism that promotes reward-proportional sampling in continuous outcome spaces while retaining standard policy-gradient training. DARS estimates the local density of outcomes within each on-policy rollout group and inversely scales rewards by this density. The method requires no learned density model, auxiliary objective, critic, or modification to the underlying policy-gradient objective. In a controlled multimodal navigation task, DARS-GRPO avoids the single-mode collapse exhibited by GRPO and closely recovers the target mode allocation. Applied to text-to-image prompt adaptation, DARS-GRPO consistently improves image and prompt diversity across datasets, Policy LMs, and reward settings while maintaining good semantic alignment. These results show that density-aware reward scaling provides a lightweight way to improve coverage of diverse high-reward outcomes within existing reinforcement-learning pipelines.
• Abstract（参考訳）: 期待されるリターンを最大化する強化学習目的は、複数の異なる解が望ましい場合の多様性を制限し、高いリワード結果の小さなサブセットに確率質量を集中させることができる。 本稿では,標準的な政策段階のトレーニングを維持しつつ,連続的な結果空間における報酬-比例的なサンプリングを促進するシンプルな報奨処理機構であるDARSを紹介する。 DARSは、各オンラインロールアウトグループ内の結果の局所密度を推定し、この密度によって報酬を逆スケールする。 この方法は、学習された密度モデル、補助的な目的、批判、根底にある政策段階の目的への修正を必要としない。 制御されたマルチモーダルナビゲーションタスクでは、DARS-GRPOはGRPOによって示される単一モードの崩壊を回避し、ターゲットモード割り当てを密に回復する。 テキストから画像への即時適応に応用すると、DARS-GRPOは、優れたセマンティックアライメントを維持しながら、データセット、ポリシーLM、報酬設定を一貫して改善し、多様性を促進する。 これらの結果から、密度認識型報酬スケーリングは、既存の強化学習パイプラインにおける多種多様なハイリワード結果のカバレッジを改善するための軽量な方法であることが示された。

関連論文リスト

• RSPO: Reward-Swap Policy Optimization for Multi-Turn LLM Agents [24.215311212134882]
  本稿では,高密度なプロセス報酬から得られる豊富な情報を活用して,結果報酬によるトレーニングを容易にするために,Reward-Swap Policy Optimization (RSPO)を提案する。 RSPOは、最適化目標と真の結果報酬との整合性を確保しつつ、サンプル軌跡の多様性を保証する。
  論文  参考訳（メタデータ） (2026-07-06T06:32:39Z)
• Uncertainty-Aware LLM-Guided Policy Shaping for Sparse-Reward Reinforcement Learning [2.384534878752428]
  校正された大言語モデルを強化学習訓練ループに統合するフレームワークである,不確実性を考慮した LLM-Guided Policy Shaping (ULPS) を提案する。 ULPS は A* ベースのオラクルを用いて最適な記号軌道を合成し、BERT ベースの言語モデルを微調整する。 成功率、報酬効率、サンプルの複雑さを、無誘導、非校正、標準のRLベースラインで一貫した改善を観察する。
  論文  参考訳（メタデータ） (2026-06-04T19:46:45Z)
• PPO-HSC: An Exploratory Reinforcement Learning Framework Based on Wide-Area Policy Coverage Optimization [2.670322123407994]
  PPO-HSCは、LLM(Large Language Model)ファインチューニングにおけるモード崩壊の「見えないシャクルス」に対処する。 これは「低相似だが高相似性」推論パターンの発見を動機付ける高次サンプリングカバレッジ報酬を取り入れている。 これは、最先端のRLベースラインの正確さと構文の整合性を維持したり、超えたりしながら、ソリューションの多様性と状態空間のカバレッジを大幅に向上させる。
  論文  参考訳（メタデータ） (2026-05-08T12:29:23Z)
• Too Correct to Learn: Reinforcement Learning on Saturated Reasoning Data [55.84428098924793]
  構造保存探索を行うためのパラメータ自由復号法である Constrained Uniform Top-K Smpling (CUTS) を提案する。 グループ内の利点分散を増幅するために、エクスプロイトと探索的なロールアウトを相乗化するためのトレーニングフレームワークであるMixed-CUTSに統合する。 特にMixed-CUTSは、AIME25ベンチマークのPass@1の精度を標準のGRPOよりも15.1%向上している。
  論文  参考訳（メタデータ） (2026-04-20T16:43:28Z)
• Policy-based Tuning of Autoregressive Image Models with Instance- and Distribution-Level Rewards [16.135177543347773]
  自己回帰モデル(AR)は画像生成に非常に効果的であるが、標準の最大形推定トレーニングではサンプルの品質と多様性を直接最適化することができない。 本稿では,トークンベースのAR推論をマルコフ決定プロセスとして,グループ相対ポリシー最適化によって最適化した軽量なRLフレームワークを提案する。 私たちの中核的な貢献は、新しい流通レベルのLeave-One-Out FID(LOO-FID)の報酬の導入です。
  論文  参考訳（メタデータ） (2026-03-24T11:28:36Z)
• SetPO: Set-Level Policy Optimization for Diversity-Preserving LLM Reasoning [50.93295951454092]
  本稿では,カーネル化類似性を用いたサンプル軌道上で定義された設定レベル多様性の目的について紹介する。 提案手法は,各サンプル軌跡に対する余剰余剰貢献を導出し,この目的を政策最適化のためのプラグイン・アドバンテージ・シェーピング用語として統合する。 様々なモデルスケールで実験を行い、提案アルゴリズムの有効性を示し、様々なベンチマークでPass@1とPass@Kの双方において、強いベースラインを一貫して上回っている。
  論文  参考訳（メタデータ） (2026-02-01T07:13:20Z)
• Information Gain-based Policy Optimization: A Simple and Effective Approach for Multi-Turn LLM Agents [28.145430029174577]
  大規模言語モデル(LLM)ベースのエージェントは、外部環境と対話する能力を高めるために強化学習(RL)でますます訓練されている。 既存のアプローチは通常、最終回答でのみ提供される結果に基づく報酬に依存します。 本稿では,情報ゲインに基づくポリシー最適化(IGPO)を提案する。
  論文  参考訳（メタデータ） (2025-10-16T17:59:32Z)
• G$^2$RPO: Granular GRPO for Precise Reward in Flow Models [74.21206048155669]
  本稿では,サンプリング方向の高精度かつ包括的な報酬評価を実現する新しいグラニュラー-GRPO(G$2$RPO)フレームワークを提案する。 複数の拡散スケールで計算された利点を集約するマルチグラニュラリティ・アドバンテージ・インテグレーション・モジュールを導入する。 G$2$RPOは既存のフローベースGRPOベースラインを著しく上回る。
  論文  参考訳（メタデータ） (2025-10-02T12:57:12Z)
• Polychromic Objectives for Reinforcement Learning [63.37185057794815]
  強化学習微調整(Reinforcement Learning fine-tuning, RLFT)は、下流タスクの事前訓練されたポリシーを改善するための主要なパラダイムである。 多様な世代の探索・改良を明示的に実施する政策手法の目的について紹介する。 この目的を最適化するために、PPO(Pximal Policy Optimization)をどのように適用できるかを示す。
  論文  参考訳（メタデータ） (2025-09-29T19:32:11Z)
• MMR1: Enhancing Multimodal Reasoning with Variance-Aware Sampling and Open Resources [113.33902847941941]
  VAS (Variance-Aware Sampling) は、Variance Promotion Score (VPS) によって導かれるデータ選択戦略である。 我々は、1.6MのCoT冷間開始データと15kのRLQAペアを含む大規模かつ慎重にキュレートされたリソースをリリースする。 数学的推論ベンチマークによる実験では、キュレートされたデータと提案されたVASの有効性が示されている。
  論文  参考訳（メタデータ） (2025-09-25T14:58:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。