論文の概要: Hierarchical Credit Assignment for RLVR on Fused Gromov-Wasserstein Geometry
- arxiv url: http://arxiv.org/abs/2610.04344v1
- Date: Sat, 03 Oct 2026 07:11:02 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-12 11:17:37.757309
- Title: Hierarchical Credit Assignment for RLVR on Fused Gromov-Wasserstein Geometry
- Title（参考訳）: 溶融グロモフ-ワッサーシュタイン幾何学におけるRLVRの階層的クレジット割り当て
- Abstract要約: 本稿では,グループベースRLVR手法の階層的信用割当手法(HarA)を提案する。
HarAはRLVR中に意味的に新しい推論行動を特定し、促進する。
実験の結果,プラグイン・アンド・プレイ方式は大規模言語モデルの探索を効果的に促進することがわかった。
- 参考スコア（独自算出の注目度）: 64.0939888069956
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Reinforcement learning with verifiable rewards (RLVR) has been shown to improve the reasoning capability of large language models (LLMs) across diverse reasoning tasks. However, group-based RLVR methods, such as GRPO, assign a uniform advantage to all tokens within rollouts of the same outcome. While existing works refine credit assignment of GRPO based on local signals such as token locations or entropy, they often fail to capture the global semantic novelty of a reasoning behavior relative to the current policy. In this work, we propose a hierarchical credit assignment approach for group-based RLVR methods, called HarA, which identifies and encourages semantically novel reasoning behaviors during RLVR. HarA represents each sampled rollout as a distribution over the hidden states and locations of tokens, and computes the Fused Gromov-Wasserstein (FGW) barycenters of all rollouts with the same outcome, capturing the internal reasoning patterns in the latent space under the current policy. The semantic novelty of a reasoning element can then be measured by its contribution to the FGW distance between the current rollout and the barycenter. While solving the FGW formulation is expensive, we introduce an anchor-guided linearization that turns it into a Wasserstein formulation solvable via the Sinkhorn algorithm efficiently. By reweighing token-level advantage of group-based RLVR methods based on the novelty signals, HarA highlights novel reasoning behaviors at flexible granularities to encourage fine-grained LLM exploration. Extensive experiments across three group-based RLVR methods show that our plug-and-play method effectively enhances the exploration of LLMs, outperforming existing methods across diverse reasoning benchmarks.
- Abstract（参考訳）: 検証可能な報酬付き強化学習(RLVR)は、多種多様な推論タスクにわたる大規模言語モデル(LLM)の推論能力を向上させることが示されている。
しかし、GRPOのようなグループベースのRLVR法は、同じ結果のロールアウト内で全てのトークンに一様優位性を与える。
既存の研究はトークンの位置やエントロピーといった局所的な信号に基づいてGRPOの信用割当を洗練させるが、それらはしばしば現在の政策に対する推論行動のグローバルな意味的新奇性を捉えることに失敗する。
本稿では,グループベースのRLVR手法であるHarAの階層的信用割当手法を提案する。
HarAは、各サンプルロールアウトを、隠された状態とトークンの位置の分布として表現し、すべてのロールアウトのFused Gromov-Wasserstein(FGW)バリセンタを同じ結果で計算し、現在のポリシーの下で潜在空間の内部の推論パターンをキャプチャする。
推論要素のセマンティックノベルティは、現在のロールアウトとバリセンタの間のFGW距離への寄与によって測定することができる。
FGWの定式化は費用がかかるが、我々はアンカー誘導線形化を導入し、シンクホーンアルゴリズムによって効率的に解けるワッサーシュタイン定式化に変換する。
新規性信号に基づくグループベースのRLVR手法のトークンレベル優位性を再考することにより、HarAはフレキシブルな粒度での新規な推論挙動を強調し、LLMの微細化を奨励する。
3つのグループベースのRLVR手法による大規模な実験により,LLMの探索を効果的に促進し,様々な推論ベンチマークにおける既存手法よりも優れた結果が得られた。
関連論文リスト
- Boosting LLM Exploration via Weak-Model Guidance in RLVR [36.33733929880283]
RLVRにおけるLLMの生成的多様性を維持するための,単純かつ効果的なアプローチを提案する。
内部探索のみに頼るのではなく、より小さく弱い言語モデルによって生成される部分的推論軌道に基づいて、ターゲットモデルに回答を強制する。
提案手法は, SFT, 複雑な報酬設計, 複雑なプロンプトを必要とすることなく, エントロピー崩壊を効果的に軽減する。
論文 参考訳（メタデータ） (2026-08-27T17:45:50Z) - BODHI: Do LLMs Branch Out and Discover Heterogeneous Inferences? [5.571635164072802]
検証可能な報酬付き強化学習(RLVR)は、様々な推論タスクにわたる大規模言語モデル(LLM)の性能を改善した。
我々は,RLVR学習LLMにおける試験時間探索の性質を,制御された迷路解法実験を用いて,数学的推論トレースから木構造を抽出することによって検討した。
以上の結果から,RLVRモデルにおけるポリシエントロピー崩壊は,単に統語的ではなく,意味的分岐エントロピーの大幅な減少を伴っていることが明らかとなった。
論文 参考訳（メタデータ） (2026-08-03T20:37:54Z) - Nudging Beyond the Comfort Zone: Efficient Strategy-Guided Exploration for RLVR [53.27792011950384]
検証可能な報酬付き強化学習(RLVR)は、大規模言語モデルの推論能力を改善するためのスケーラブルなパラダイムとして登場した。
我々は、RLVRにおける構造化及び多様性駆動探索のためのフレームワークであるNudgeRLを提案する。
当社のアプローチでは,各ロールアウトを,軽量で戦略レベルのコンテキストに設定するストラテジーナッジを導入しています。
論文 参考訳（メタデータ） (2026-05-15T08:22:59Z) - SAGE: Shaping Anchors for Guided Exploration in RLVR of LLMs [55.46289074417954]
検証可能な報酬(RLVR)による強化学習は、推論タスクのpass@1を確実に改善するが、pass@kでは同等の利得を得られないことが多い。
中心的な構造的制約は、トレーニングを安定させるが、本質的には基準分布にポリシーを固定する逆-KL正規化から生じる。
我々は,逆KLアンカー分布自体を再構成することで,制御可能な経験的サポート拡張を可能にする,原則化されたフレームワークであるSAGEを提案する。
論文 参考訳（メタデータ） (2026-05-15T07:42:21Z) - Relative Score Policy Optimization for Diffusion Language Models [29.344961499429257]
拡散大言語モデル(dLLMs)は、並列かつ効率的なテキスト生成への有望な経路を提供する。
抽出可能なシーケンスレベルのログ比の欠如により、既存の手法は高分散ELBOベースの近似に頼らざるを得なくなった。
textbfRelative textbfScore textbfPolicy textbfOptimization (RSPO)を提案する。
論文 参考訳（メタデータ） (2026-05-11T08:58:40Z) - Controllable Exploration in Hybrid-Policy RLVR for Multi-Modal Reasoning [88.42566960813438]
CalibRLは、制御可能な探索と専門家のガイダンスをサポートするハイブリッド政治RLVRフレームワークである。
CalibRLは政策エントロピーを誘導的に増加させ、目標分布を明らかにする。
ドメイン内設定とドメイン外設定の両方を含む8つのベンチマークの実験は、一貫した改善を示している。
論文 参考訳（メタデータ） (2026-02-22T07:23:36Z) - Contextual Rollout Bandits for Reinforcement Learning with Verifiable Rewards [69.74686029941881]
RLVR(Reinforcement Learning with Verifiable Rewards)は、大規模言語モデルの推論能力を改善するための効果的なパラダイムである。
トレーニングを通して高価値ロールアウトを適応的に選択する統合型ニューラルネットワークスケジューリングフレームワークを提案する。
6つの数学的推論ベンチマークの実験では、複数のRLVR最適化手法で性能と訓練効率が一貫した向上を示した。
論文 参考訳（メタデータ） (2026-02-09T10:51:58Z) - CAPO: Towards Enhancing LLM Reasoning through Generative Credit Assignment [44.33395106709674]
RLVR(Reinforcement Learning with Verifiable Rewards)は、ルールベースのバイナリフィードバックを使用することで、LLM(Large Language Models)の推論能力を改善した。
現在のRLVRメソッドは、通常、すべてのトークンに同じ報酬を割り当てる。
この粗い粒度のフィードバックは、正確なクレジット割り当てを妨げ、モデルがどの推論ステップが成功または失敗につながるかを特定するのが難しくなる。
論文 参考訳（メタデータ） (2025-08-04T11:06:08Z) - Learning to Reason without External Rewards [100.27210579418562]
RLVR(Reinforcement Learning with Verifiable Rewards)による複雑な推論のための大規模言語モデル(LLM)の訓練は、費用がかかるドメイン固有の監督に依存して効果的であるが制限されている。
内部フィードバックからの強化学習(Reinforcement Learning from Internal Feedback, RLIF)は、LLMが外部の報酬やラベル付きデータなしで本質的な信号から学習できるフレームワークである。
本稿では,モデル自身の信頼度を利用したRLIF手法であるIntuitorについて,その唯一の報奨信号として自己確実性(self-certainty)を提案する。
論文 参考訳（メタデータ） (2025-05-26T07:01:06Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。