論文の概要: Does LLM Alignment Really Need Diversity? An Empirical Study of Adapting RLVR Methods for Moral Reasoning
- arxiv url: http://arxiv.org/abs/2603.10588v1
- Date: Wed, 11 Mar 2026 09:45:30 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-03-12 16:22:32.882106
- Title: Does LLM Alignment Really Need Diversity? An Empirical Study of Adapting RLVR Methods for Moral Reasoning
- Title（参考訳）: LLMアライメントは本当に多様性を必要とするか? : モーラル推論のためのRLVR法の適用に関する実証的研究
- Abstract要約: 本研究では,アライメントタスクにおいて期待される報酬最大化手法に対して,分布マッチング手法が有意な優位性を示すものではないことを示す。
その結果,アライメントタスクは本質的に多様性保存アルゴリズムを必要としないことが示唆され,標準報酬最大化RLVR法は明確な多様性機構を持たずに道徳的推論に効果的に移行できることがわかった。
- 参考スコア（独自算出の注目度）: 44.68959659268472
- License: http://creativecommons.org/licenses/by-sa/4.0/
- Abstract: Reinforcement learning with verifiable rewards (RLVR) has achieved remarkable success in logical reasoning tasks, yet whether large language model (LLM) alignment requires fundamentally different approaches remains unclear. Given the apparent tolerance for multiple valid responses in moral reasoning, a natural hypothesis is that alignment tasks inherently require diversity-seeking distribution-matching algorithms rather than reward-maximizing policy-based methods. We conduct the first comprehensive empirical study comparing both paradigms on MoReBench. To enable stable RLVR training, we build a rubric-grounded reward pipeline by training a Qwen3-1.7B judge model. Contrary to our hypothesis, we find that distribution-matching approaches do not demonstrate significant advantages over reward-maximizing methods as expected on alignment tasks. Through semantic visualization mapping high-reward responses to semantic space, we demonstrate that moral reasoning exhibits more concentrated high-reward distributions than mathematical reasoning, where diverse solution strategies yield similarly high rewards. This counter-intuitive finding explains why mode-seeking optimization proves equally or more effective for alignment tasks. Our results suggest that alignment tasks do not inherently require diversity-preserving algorithms, and standard reward-maximizing RLVR methods can effectively transfer to moral reasoning without explicit diversity mechanisms.
- Abstract（参考訳）: 検証可能な報酬付き強化学習(RLVR)は論理的推論タスクにおいて顕著な成功を収めているが、大規模言語モデル(LLM)のアライメントが根本的に異なるアプローチを必要とするかどうかは不明だ。
道徳的推論における複数の有効な応答に対する明らかな許容性を考えると、自然な仮説は、アライメントタスクは、報酬を最大化するポリシーベースの手法ではなく、本質的に多様性を求める分布マッチングアルゴリズムを必要とするということである。
両パラダイムをMoReBench上で比較した最初の包括的実証的研究を行う。
安定したRLVRトレーニングを実現するため、我々はQwen3-1.7Bジャッジモデルをトレーニングすることで、ルーリックグラウンドの報酬パイプラインを構築した。
我々の仮説とは対照的に、分配マッチングアプローチはアライメントタスクにおいて期待される報酬最大化手法よりも大きな利点を示さない。
意味空間への高次応答のマッピングを通じて、道徳的推論は数学的推論よりも集中した高次分布を示し、多様な解法戦略が同様に高い報酬をもたらすことを示した。
この反直感的な発見は、なぜモード探索最適化がアライメントタスクに等しく、より効果的かを説明する。
その結果,アライメントタスクは本質的に多様性保存アルゴリズムを必要としないことが示唆され,標準報酬最大化RLVR法は明確な多様性機構を持たずに道徳的推論に効果的に移行できることがわかった。
関連論文リスト
- BODHI: Do LLMs Branch Out and Discover Heterogeneous Inferences? [5.571635164072802]
検証可能な報酬付き強化学習(RLVR)は、様々な推論タスクにわたる大規模言語モデル(LLM)の性能を改善した。
我々は,RLVR学習LLMにおける試験時間探索の性質を,制御された迷路解法実験を用いて,数学的推論トレースから木構造を抽出することによって検討した。
以上の結果から,RLVRモデルにおけるポリシエントロピー崩壊は,単に統語的ではなく,意味的分岐エントロピーの大幅な減少を伴っていることが明らかとなった。
論文 参考訳（メタデータ） (2026-08-03T20:37:54Z) - Right in the Right Way: LM Training with Verifiable Rewards and Human Demonstrations [46.90253276172931]
本稿では,人間による実演からの学習信号を用いて,検証可能な報酬を増大させる逆生成・差別化フレームワークを提案する。
提案手法は,RLVRの精度向上を保ちながら,不検証特性を常に改善する。
バグ修正では,RLVRベースラインに比べて編集距離が大幅に低い。
論文 参考訳（メタデータ） (2026-07-01T17:13:35Z) - Towards Generalizable Reasoning: Group Causal Counterfactual Policy Optimization for LLM Reasoning [50.352417879912515]
大規模言語モデル(LLM)は推論能力の進歩とともに複雑なタスクに優れる。
一般化可能な推論パターンを学習するために,LLMを明示的に訓練するためのグループ因果政策最適化を提案する。
次に、この報酬からトークンレベルのアドバンテージを構築し、ポリシーを最適化し、LCMにプロセス無効で事実上堅牢な推論パターンを推奨します。
論文 参考訳（メタデータ） (2026-02-06T08:03:11Z) - Search-R2: Enhancing Search-Integrated Reasoning via Actor-Refiner Collaboration [49.9937230730202]
本稿では,新たなアクター・リファイナ・コラボレーション・フレームワークであるSearch-R2を提案する。
提案手法は,生成過程をアクターに分解し,最初の推論軌道を生成する。
本稿では,検索-R2がモデルスケール全体にわたって強力なRAGとRLベースのベースラインを一貫して上回ることを示す。
論文 参考訳（メタデータ） (2026-02-03T15:32:09Z) - Reinforced Efficient Reasoning via Semantically Diverse Exploration [73.41112984160992]
検証可能な報酬(RLVR)による強化学習は,大規模言語モデル(LLM)の推論の強化に有効であることが証明された。
本研究では,LLMのための意味的多様性探索,すなわちROSEによる効率的な推論手法を提案する。
本手法は,意味エントロピーに基づく分岐戦略と$varepsilon$-exploration機構を組み込んだものである。
論文 参考訳（メタデータ） (2026-01-08T15:56:44Z) - Limits of Generalization in RLVR: Two Case Studies in Mathematical Reasoning [3.437656066916039]
Reinforcement with Verifiable Rewards (RLVR)は、そのような機能を強化するための有望なアプローチとして登場した。
完全検証解の2つの問題についてRLVRについて検討する。
RLVRは評価基準を改善するが、しばしば新たな推論戦略を得るよりも、表層学習指標を強化することで改善する。
論文 参考訳（メタデータ） (2025-10-30T23:16:02Z) - Latent Chain-of-Thought for Visual Reasoning [53.541579327424046]
大型視覚言語モデル(LVLM)の解釈可能性および信頼性向上には,チェーン・オブ・シント(CoT)推論が不可欠である
我々は,LVLMにおける推論を後部推論として再構成し,償却変分推論に基づくスケーラブルなトレーニングアルゴリズムを提案する。
提案手法は,7つの推論ベンチマークにおいて,最先端のLVLMを強化することを実証的に実証する。
論文 参考訳（メタデータ） (2025-10-27T23:10:06Z) - From <Answer> to <Think>: Multidimensional Supervision of Reasoning Process for LLM Optimization [62.07990937720985]
DRM(Dimension-level Reward Model)は、大規模言語モデルのための新しい監視フレームワークである。
DRMは3つの基本的、相補的、解釈可能な次元に沿って推論プロセスの品質を評価する。
実験の結果、DRMは効果的な監視信号を提供し、LCMの最適化を誘導し、推論能力を向上することが示された。
論文 参考訳（メタデータ） (2025-10-13T14:29:15Z) - Answer-Consistent Chain-of-thought Reinforcement Learning For Multi-modal Large Langauge Models [33.398631680508814]
本稿では,GRPOアルゴリズムを補助的整合性チェックで修正するAnswer-Consistent Reinforcement Learningを提案する。
我々は、オリジナルとポストシャッフルの両方の回答が一致して正しい場合にのみ高い報酬を与える一貫性検証報酬を設計する。
我々は、ACREを挑戦的なビデオ推論ベンチマークとマルチモーダル数学推論ベンチマークで評価し、平均2.2%と1.5%の改善を達成した。
論文 参考訳（メタデータ） (2025-10-11T08:32:52Z) - Reinforcing Video Reasoning with Focused Thinking [65.85683941058916]
本稿では,集中的思考と深い報酬の粒度で視覚的推論を強化する新しいフレームワークであるTW-GRPOを提案する。
具体的には,高情報密度のトークンを優先するトークン重み付け機構を用いる。
また,シングルチョイスからマルチチョイスQAタスクにシフトすることで,RLトレーニングを再構築する。
論文 参考訳（メタデータ） (2025-05-30T15:42:19Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。