論文の概要: GEOALIGN: Geometric Rollout Curation for Robust LLM Reinforcement Learning

• arxiv url: http://arxiv.org/abs/2606.26917v1
• Date: Thu, 25 Jun 2026 11:53:37 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-26 18:46:32.261511
• Title: GEOALIGN: Geometric Rollout Curation for Robust LLM Reinforcement Learning
• Title（参考訳）: GEOALIGN:ロバストLLM強化学習のための幾何学的ロールアウトキュレーション
• Abstract要約: Geoalignは反復ポリシー最適化におけるロールアウトキュレーションのためのプラグインである。 プロンプト内選好ペアを形成し、ロールアウト毎の隠れ状態のオンラインプロジェクターを学習し、報酬順序の変位方向を集中させ、プロンプト内安定な代替手段で修正する。 学習された報酬モデルとの対話や、二進的な検証された報酬による数学的推論など、Geoalignは最終的なパフォーマンスを改善し、トレーニングの振動を低減する。
• 参考スコア（独自算出の注目度）: 25.144030941321237
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Online reinforcement learning is widely used to align large language models (LLMs) with reward signals, yet training can be unstable under noisy or misspecified rewards. We identify a failure mode we call directional inconsistency: within a batch, a small set of high-reward rollouts induces representation-space preference directions that sharply disagree with the batch majority, resulting in high-variance and destabilizing updates. We propose geoalign, a lightweight plug-in for rollout curation in iterative policy optimization. Geoalign (i) forms within-prompt preference pairs, (ii) learns an online projector on per-rollout hidden states to concentrate reward-ordered displacement directions, and (iii) detects directionally inconsistent rollouts via their angular deviation from a batch consensus prototype and rectifies them with within-prompt stable alternatives. Geoalign is forward-pass only and adds negligible overhead. Across dialogue alignment with a learned reward model and mathematical reasoning with binary verified rewards, Geoalign improves final performance and reduces training oscillation, outperforming PF-PPO, PAR, PODS, and Seed-GRPO. These results suggest latent directional consensus as an effective reliability signal for online LLM RL.
• Abstract（参考訳）: オンライン強化学習は、大きな言語モデル(LLM)と報酬信号の整合に広く用いられているが、ノイズや不特定報酬の下でのトレーニングは不安定である。 バッチ内では、高解像度のロールアウトの小さなセットが表現空間の優先方向を誘導し、バッチの多数派に強く反対し、高いばらつきと不安定な更新をもたらす。 繰り返しポリシー最適化におけるロールアウトキュレーションのための軽量なプラグインであるGeoalignを提案する。 ジオアリン i) プロンプト内選好ペアを形成する。 (二)ロールアウト毎の隠れ状態のオンラインプロジェクターを学習し、報酬順序付き変位方向を集中させる。 (iii) バッチコンセンサスプロトタイプから角偏差により方向整合性のロールアウトを検出し, 安定な代替品を用いて修正する。 Geoalignはフォワードパスのみであり、無視できるオーバーヘッドを追加する。 学習された報酬モデルと数理的推論とバイナリ検証された報酬との対話的アライメントにより、Geoalignは最終性能を改善し、トレーニングの発振を低減し、PF-PPO、PAR、PODS、Seed-GRPOより優れた性能を発揮する。 これらの結果から,オンラインLLM RLの信頼性信号として遅延方向のコンセンサスが有効であることが示唆された。

関連論文リスト

• LEAP: Lean Environment-Feedback via Adaptive Pruning for Code RL in GPU Kernel Generation [3.4535054007206636]
  強化学習(RL)による学習後の大規模言語モデル(LLM)は、コード生成能力が大幅に向上している。 現在の最先端フレームワークは、ルールベースの検証サンドボックスに結びついたグループ相対ポリシー最適化(GRPO)のような、批判のないパラダイムを活用している。 低レベルのハードウェアアクセラレータアライメントに最適化されたスケーラブルで計算効率の良いマルチターンフレームワークであるAdaptive PruningによるLEAPLean Environment-Feedbackを紹介する。
  論文  参考訳（メタデータ） (2026-08-03T07:12:52Z)
• What and When to Distill: Selective Hindsight Distillation for Multi-Turn Agents [70.6980022118038]
  強化学習は、緩やかなタスク報酬からLLMエージェントを訓練することができるが、長期的なクレジット割り当ては依然として困難である。 既存の方法は、ステップごとの環境フィードバックを完全に活用することなく、軌道レベルの報酬やプロキシ信号に依存している。 環境重み付け学習フレームワークであるSERLを紹介する。
  論文  参考訳（メタデータ） (2026-05-19T07:00:55Z)
• Learning from Failures: Correction-Oriented Policy Optimization with Verifiable Rewards [73.44333771806282]
  RLVR(Reinforcement Learning with Verifiable Rewards)は,大規模言語モデルの推論能力向上に有効なパラダイムとして登場した。 本稿では,RLVRの簡易かつ効果的な拡張であるCIPO(Correction-Oriented Policy Optimization)を提案する。 CIPOは学習効率を向上し、モデルが自身のエラーを修正する能力を明示的に強化する。
  論文  参考訳（メタデータ） (2026-05-14T08:22:21Z)
• Power Reinforcement Post-Training of Text-to-Image Models with Super-Linear Advantage Shaping [66.25536973294726]
  テキスト・トゥ・イメージ(T2I)モデルのポストトレーニング手法はハッキングに報いる傾向がある。 SLAS(Super-Linear Advantage Shaping)は、地方政策の分野を再考する。 SLASは、DanceGRPOベースラインを複数のバックボーンとベンチマークで一貫して上回っている。
  論文  参考訳（メタデータ） (2026-05-11T17:59:25Z)
• Same Signal, Opposite Meaning: Direction-Informed Adaptive Learning for LLM Agents [24.71914991820339]
  LLMエージェントは、性能改善時にのみ余分な計算を実行することを目標としている。 既存の手法では、計算の計算に必要なゲーティング信号から計算の値への一定の方向を仮定して、信頼性、不確実性、難易度に基づくゲートを用いるのが一般的である。 このアライメントは不安定であり、タスクが修正された場合でも環境やバックボーンをまたいで逆転する。 DIAL(Direction-Informed Adaptive Learning)は、信号に依存しない対実探索から訓練されたスパースゲートであり、各状態特徴の実用方向を学習する。
  論文  参考訳（メタデータ） (2026-05-07T20:15:51Z)
• GradAlign: Gradient-Aligned Data Selection for LLM Reinforcement Learning [55.03441672267886]
  強化学習のための勾配整列データ選択法GradAlignを提案する。 GradAlignは,信頼できない報酬信号,分散不均衡,低ユーティリティトレーニングコーパスの3つにまたがって評価する。
  論文  参考訳（メタデータ） (2026-02-25T01:54:50Z)
• Improving LLM-based Recommendation with Self-Hard Negatives from Intermediate Layers [80.55429742713623]
  ILRecはLLMベースのレコメンデーションシステムのための新しい好みの微調整フレームワークである。 負の信号に対してトークンレベルの報酬を割り当てるための軽量な協調フィルタリングモデルを提案する。 3つのデータセットの実験は、LLMベースのレコメンデータシステムの性能向上におけるILRecの有効性を示している。
  論文  参考訳（メタデータ） (2026-02-19T14:37:43Z)
• Learning Where It Matters: Geometric Anchoring for Robust Preference Alignment [6.428964221372943]
  本稿では,固定参照を動的な幾何学的アンカーに置き換えたGeometric Anchor Preference Optimization (GAPO)を提案する。 GAPOは標準のLCMアライメントと推論ベンチマークのパフォーマンスをマッチングまたは改善しながら、ロバストさを一貫して改善する。
  論文  参考訳（メタデータ） (2026-02-04T00:40:21Z)
• Local Pairwise Distance Matching for Backpropagation-Free Reinforcement Learning [0.9065034043031668]
  強化学習(RL)を用いたニューラルネットワークのトレーニングは一般的にバックプロパゲーション(BP)に依存している BPは後続の更新のためにフォワードパスからのアクティベーションを格納する必要がある。 本稿では、RL設定において、前部パス中の局所信号を用いてニューラルネットワークの各層をトレーニングする新しいアプローチを提案する。
  論文  参考訳（メタデータ） (2025-07-15T14:39:41Z)
• Towards Overcoming False Positives in Visual Relationship Detection [95.15011997876606]
  視覚的関係検出(VRD)における偽陽性率の高い原因について検討する。 本稿では,偽陽性の影響を軽減する堅牢なVRDフレームワークとして,Spatially-Aware Balanced negative pRoposal sAmpling(SABRA)を提案する。
  論文  参考訳（メタデータ） (2020-12-23T06:28:00Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。