論文の概要: TROLL: Trust Regions improve Reinforcement Learning for Large Language Models

• arxiv url: http://arxiv.org/abs/2510.03817v1
• Date: Sat, 04 Oct 2025 14:14:20 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-07 16:52:59.275208
• Title: TROLL: Trust Regions improve Reinforcement Learning for Large Language Models
• Title（参考訳）: TROLL: 信頼領域は大規模言語モデルの強化学習を改善する
• Authors: Philipp Becker, Niklas Freymuth, Serge Thilges, Fabian Otto, Gerhard Neumann,
• Abstract要約: PPOライクなクリップ目標を持つオンライン強化学習(RL)は、大規模言語モデル(LLM)の微調整の標準選択肢となっている。 我々は、このクリップの目的を、トークンレベルのKL制約を原則とする、新しい離散微分可能な信頼領域プロジェクションに置き換える。 我々のアプローチであるTROLL(Trust Region Optimization for Large Language Models)は、トレーニング中にPPOライクなクリッピングを直接置き換えるものであり、モデルの推論動作を変えるものではない。
• 参考スコア（独自算出の注目度）: 25.03342193102256
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: On-policy Reinforcement Learning (RL) with PPO-like clip objectives has become the standard choice for reward-based fine-tuning of large language models (LLMs). Although recent work has explored improved estimators of advantages and normalization, the clipping mechanism itself has remained untouched. Originally introduced as a proxy for principled KL-based trust regions, clipping is a crude approximation that often causes unstable updates and suboptimal performance. We replace the clip objective with a novel discrete differentiable trust region projection, which provides principled token-level KL constraints. The projection operates on a sparse subset of the model's most important token logits to balance computational cost and projection effectiveness. Our approach, Trust Region Optimization for Large Language Models (TROLL), serves as a direct replacement for PPO-like clipping during training and does not alter the model's inference behavior. Across datasets, model families, and advantage-estimation methods, TROLL consistently outperforms PPO-like clipping in terms of training speed, stability, and final success rates.
• Abstract（参考訳）: PPOのようなクリップ目標を持つオンライン強化学習(RL)は、大きな言語モデル(LLM)の報酬に基づく微調整の標準選択となっている。 近年の研究では、利点と正規化の予測方法の改善が検討されているが、クリッピング機構自体は未修正のままである。 当初、KLベースの信頼領域のプロキシとして導入されたクリッピングは、しばしば不安定な更新と準最適性能を引き起こす粗い近似である。 我々は、このクリップの目的を、トークンレベルのKL制約を原則とする、新しい離散微分可能な信頼領域プロジェクションに置き換える。 プロジェクションは、計算コストとプロジェクションの有効性のバランスをとるために、モデルの最も重要なトークンロジットのスパースサブセットで動作する。 我々のアプローチであるTROLL(Trust Region Optimization for Large Language Models)は、トレーニング中にPPOライクなクリッピングを直接置き換えるものであり、モデルの推論動作を変えるものではない。 データセット、モデルファミリ、利点推定方法全体で、TROLLはトレーニング速度、安定性、最終的な成功率でPPOライクなクリッピングを一貫して上回っている。

関連論文リスト

• TrajBooster: Boosting Humanoid Whole-Body Manipulation via Trajectory-Centric Learning [79.59753528758361]
  両足のVLAを促進するために、豊富な車輪付きヒューマノイドデータを活用するクロス・エボディメント・フレームワークであるTrajBoosterを提案する。 私たちのキーとなる考え方は、形態素に依存しないインターフェースとして、エンドエフェクタ・トラジェクトリを使用することです。 以上の結果から,TrajBoosterは既存の車輪付きヒューマノイドデータにより,二足歩行ヒューマノイドVLAの性能を効率的に向上させることができることがわかった。
  論文  参考訳（メタデータ） (2025-09-15T12:25:39Z)
• PITA: Preference-Guided Inference-Time Alignment for LLM Post-Training [9.093854840532062]
  PITAはLLMのトークン生成に直接好みフィードバックを統合する新しいフレームワークである。 PITAは、微調整をせずに、推論時にトークン確率を変更するための、小さな嗜好に基づくガイダンスポリシーを学習する。 我々は,数学的推論や感情分類など,多種多様なタスクにまたがるPITAを評価する。
  論文  参考訳（メタデータ） (2025-07-26T21:46:32Z)
• Lean and Mean: Decoupled Value Policy Optimization with Global Value Guidance [52.65461207786633]
  政策に基づく人間からのフィードバックからの強化学習は、大きな言語モデルと人間の嗜好の整合に不可欠である。 俳優と批評家の合同トレーニングと、事前訓練された一定の報酬モデルによる指導が必要である。 従来の報酬モデリングを事前訓練されたEmphglobal Value Model(GVM)に置き換えるリーンフレームワークである textbfDecoupled Value Policy Optimization (DVPO) を提案する。
  論文  参考訳（メタデータ） (2025-02-24T08:11:33Z)
• SALSA: Soup-based Alignment Learning for Stronger Adaptation in RLHF [22.88031166401938]
  本稿では、より柔軟でより良い位置参照モデルを作成することにより、制限を克服する新しいアプローチであるSALSAを提案する。 SALSAは、より良い探索を奨励し、より高い報酬を達成し、モデルの堅牢性、アウト・オブ・ディストリビューション、パフォーマンスを向上させる。
  論文  参考訳（メタデータ） (2024-11-04T04:53:43Z)
• Aligning Large Language Models via Fine-grained Supervision [20.35000061196631]
  事前訓練された大規模言語モデル(LLM)は、一貫性のある記事を生成するのに優れていますが、そのアウトプットは非現実的、有毒、あるいはユーザの期待に沿わないかもしれません。 現在のアプローチは、モデルアライメントを改善するために、人間のフィードバックによる強化学習を使うことに重点を置いている。 トークンレベルの微粒化によるLCMアライメント向上手法を提案する。
  論文  参考訳（メタデータ） (2024-06-04T20:21:45Z)
• Towards Stable Machine Learning Model Retraining via Slowly Varying Sequences [6.067007470552307]
  そこで本研究では,リトレーニングを繰り返して安定なモデル列を見つけるためのモデルに依存しないフレームワークを提案する。 最適モデルの復元が保証される混合整数最適化の定式化を開発する。 平均的に、予測力の2%の低下は、安定性の30%の改善につながることが判明した。
  論文  参考訳（メタデータ） (2024-03-28T22:45:38Z)
• Learn from the Past: A Proxy Guided Adversarial Defense Framework with Self Distillation Regularization [53.04697800214848]
  敵対的訓練(AT)は、ディープラーニングモデルの堅牢性を固める上で重要な要素である。 AT方式は、目標モデルの防御のために直接反復的な更新を頼りにしており、不安定な訓練や破滅的なオーバーフィッティングといった障害に頻繁に遭遇する。 汎用プロキシガイド型防衛フレームワークLAST(bf Pbf astから学ぶ)を提案する。
  論文  参考訳（メタデータ） (2023-10-19T13:13:41Z)
• Distributionally Robust Post-hoc Classifiers under Prior Shifts [31.237674771958165]
  本研究では,クラスプライヤやグループプライヤの分布の変化による変化に頑健なトレーニングモデルの問題点について検討する。 本稿では,事前学習モデルからの予測に対するスケーリング調整を行う,非常に軽量なポストホック手法を提案する。
  論文  参考訳（メタデータ） (2023-09-16T00:54:57Z)
• Fine-Tuning Language Models with Advantage-Induced Policy Alignment [80.96507425217472]
  大規模言語モデルと人間の嗜好を整合させる新しいアルゴリズムを提案する。 言語タスクにおいてPPOを常に上回り、大きなマージンを持つことを示す。 また,損失関数の設計を支援する理論的正当性も提供する。
  論文  参考訳（メタデータ） (2023-06-04T01:59:40Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。