Fugu-MT 論文翻訳(概要): Rewarding Better Thinking for LLM Preference Alignment

論文の概要: Rewarding Better Thinking for LLM Preference Alignment

arxiv url: http://arxiv.org/abs/2607.19824v1
Date: Wed, 22 Jul 2026 06:57:55 GMT
ステータス: 翻訳完了
システム内更新日: 2026-07-23 18:51:37.996134
Title: Rewarding Better Thinking for LLM Preference Alignment
Title（参考訳）: LLM選好アライメントのためのリワード思考の改善
Abstract要約: Thinking Checklist Reward (TCR)は、RLベースの優先順位調整のためのプロセス指向の報酬である。 TCRは、嗜好ペアをサンプル固有の思考チェックリストに変換し、それらを用いて、生成した推論トレースアドレスが嗜好に即した考慮事項であるかどうかを評価する。 3つのモデルファミリーの5つのモデルに対する実験では、TCRは様々なベンチマークで一貫してアライメント性能を改善している。
参考スコア（独自算出の注目度）: 12.554370474428621
License: http://creativecommons.org/licenses/by/4.0/
Abstract: LLM preference alignment aims to optimize models toward human preferences across diverse user instructions. Reinforcement learning has become a major post-training approach for this goal, but existing proxy rewards are often outcome-level, mainly evaluating the final response while providing limited guidance for the reasoning trajectory. This can make credit assignment coarse when multiple responses receive similar final scores, leaving trajectory-level preferences under-specified. To address this limitation, we propose Thinking Checklist Reward (TCR), a process-oriented reward for RL-based preference alignment. TCR converts preference pairs into sample-specific thinking checklists and uses them to evaluate whether the generated reasoning trace addresses the preference-implied considerations. To reduce overlap with outcome-level supervision, TCR further introduces an exponential moving average (EMA) residual formulation to isolate a complementary thinking surplus beyond what is predictable from the outcome reward. Experiments on five models from three model families show that TCR consistently improves alignment performance across diverse benchmarks, with ablations further validating the importance of EMA-based residual formulation and sample-specific checklist supervision.
Abstract（参考訳）: LLMの選好アライメントは、多様なユーザー命令をまたいだ人間の選好に向けてモデルを最適化することを目的としている。強化学習は、この目標のための主要な訓練後のアプローチとなっているが、既存のプロキシ報酬は、しばしば結果レベルであり、主に、推論の軌道に対する限られたガイダンスを提供しながら、最終的な応答を評価する。これにより、複数の応答が同様の最終スコアを受け取り、トラジェクトリレベルの嗜好を未特定のまま残すと、クレジット割り当てが粗くなる可能性がある。この制限に対処するために、RLに基づく優先順位調整のためのプロセス指向の報酬であるThinking Checklist Reward (TCR)を提案する。 TCRは、選好ペアをサンプル固有の思考チェックリストに変換し、生成した推論トレースが選好実装された考察に対処するかどうかを評価する。結果レベルの監督との重複を軽減するため、TCRはさらに指数的移動平均(EMA)残差定式化を導入し、結果報酬から予測できる以上の補完的思考余剰を分離する。 3つのモデルファミリーによる5つのモデルの実験では、TCRは様々なベンチマークで一貫してアライメント性能を改善しており、EMAベースの残差定式化とサンプル固有のチェックリスト管理の重要性をさらに検証している。

関連論文リスト

Many Voices, One Reward: Multi-Role Rubric Generation for LLM Judging and Reward Modeling [39.325422496065435]
MRRG(Multi-Role Generation)は、複数の役割から評価基準を引き出すトレーニングフリーで参照フリーなフレームワークである。 MRRGは、ペアワイズ選好の検証と、RLOスタイルのReinforcement Learning with Verifiable Rewards(RLVR)に対する報酬の提供の両方に使用できる。
論文参考訳（メタデータ） (2026-07-02T07:50:38Z)
From Absolute to Relative: Rethinking Reward Shaping in Group-Based Reinforcement Learning [7.6602542594279335]
本稿では,報酬形成を絶対得点から相対ランクへシフトさせるために,相対報酬を用いた強化学習を提案する。 RLRRは、推論ベンチマークやオープン・エンド・ジェネレーションタスクにおいて、標準グループベースベースラインよりも一貫した性能向上をもたらすことを示す。
論文参考訳（メタデータ） (2026-01-30T15:07:06Z)
Evidence-Augmented Policy Optimization with Reward Co-Evolution for Long-Context Reasoning [52.144281362465996]
本稿では,強化学習を長期シナリオに適用するためのEAPO(Evidence-Augmented Policy Optimization)を提案する。最初にEvidence-Augmented Reasoningパラダイムを確立し、Tree-Structued Evidence Smplingを介して検証する。次に、報酬モデルがグループ相対エビデンス・リワードを計算する特殊なRLアルゴリズムを導入する。トレーニングを通して正確な監視を維持するため、適応的リワード・ポリティ共進化機構をさらに取り入れる。
論文参考訳（メタデータ） (2026-01-15T11:40:57Z)
Rectifying LLM Thought from Lens of Optimization [48.98086817378953]
ロングチェーン・オブ・シンクレット (Long chain-of- Thought, CoT) は、徹底的な調査と検討を可能にする。進歩にもかかわらず、長いCoT LLMは、しばしば最適な推論行動を示す。ポストトレーニング中のLCM推論を洗練するための新しい手法であるReProを紹介する。
論文参考訳（メタデータ） (2025-12-01T17:41:08Z)
Think before Recommendation: Autonomous Reasoning-enhanced Recommender [25.883091131835172]
RecZeroは強化学習に基づくレコメンデーションパラダイムであり、従来のマルチモデルおよびマルチステージ蒸留アプローチを捨てている。本稿では、教師付き微調整とRLを組み合わせたハイブリッドパラダイムRecOneについて検討し、そのモデルにコールドスタート推論サンプルを初期化し、さらにRLに最適化する。
論文参考訳（メタデータ） (2025-10-27T07:26:32Z)
Conditional Advantage Estimation for Reinforcement Learning in Large Reasoning Models [50.84995206660551]
本研究では,条件付きアドバンテージ・エスティマティオン(CANON)を導入し,その方向を推定せずに目標距離の影響を増幅する。エントロピーに基づくCANONは、数学推論と高複雑性論理タスクの両方において、従来手法よりも一貫して優れている。
論文参考訳（メタデータ） (2025-09-28T16:33:07Z)
REG4Rec: Reasoning-Enhanced Generative Model for Large-Scale Recommendation Systems [25.59169452367297]
シーケンシャルレコメンデーションは,大規模レコメンデーションシステムにおけるユーザの次の行動を予測することを目的としている。近年の研究では、ジェネレーティブレコメンデーションに推論プロセスを導入し、レコメンデーションパフォーマンスを大幅に改善している。これらのアプローチは項目意味表現の特異性によって制約される。本稿では,複数の動的意味論的推論経路を構成する推論強化生成モデルREG4Recを紹介する。
論文参考訳（メタデータ） (2025-08-21T07:02:51Z)
RAG-Zeval: Towards Robust and Interpretable Evaluation on RAG Responses through End-to-End Rule-Guided Reasoning [64.46921169261852]
RAG-Zevalは、ルール誘導推論タスクとして忠実さと正しさの評価を定式化する、新しいエンドツーエンドフレームワークである。提案手法は、強化学習による評価者を訓練し、コンパクトなモデルにより包括的および音質評価を生成する。実験では、RAG-Zevalの優れた性能を示し、人間の判断と最も強い相関性を達成した。
論文参考訳（メタデータ） (2025-05-28T14:55:33Z)
Reason4Rec: Large Language Models for Recommendation with Deliberative User Preference Alignment [69.11529841118671]
本稿では,ユーザの嗜好に関する明確な推論を新たなアライメント目標として組み込んだ,新たなDeliberative Recommendationタスクを提案する。次にReasoningを利用したRecommenderフレームワークを導入する。
論文参考訳（メタデータ） (2025-02-04T07:17:54Z)
Learning to Plan & Reason for Evaluation with Thinking-LLM-as-a-Judge [78.28188747489769]
そこで我々は,Thinking-LLM-as-a-Judgeの優先最適化アルゴリズムであるEvalPlannerを提案する。自己学習ループでは、EvalPlannerは、合成的に構築された評価計画と実行よりも反復的に最適化する。提案手法はRewardBenchにおける生成報酬モデルのための新しい最先端性能を実現する。
論文参考訳（メタデータ） (2025-01-30T02:21:59Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。