論文の概要: Perturb the Thought, Not the Pixels: Latent-Space Rollout Diversification for Reinforcement Learning of Vision-Language Models

• arxiv url: http://arxiv.org/abs/2608.21595v1
• Date: Fri, 21 Aug 2026 19:56:50 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-25 13:29:43.298098
• Title: Perturb the Thought, Not the Pixels: Latent-Space Rollout Diversification for Reinforcement Learning of Vision-Language Models
• Title（参考訳）: レンズではなく思考の摂動:視覚言語モデルの強化学習のための遅延空間のロールアウト多様化
• Abstract要約: ノイズコントラストGRPOは、スケール校正されたガウスノイズをプロンプトエンコードパスの最後の隠れ層に注入する。 Geometry3Kで訓練されたQwen2.5-VL-7Bでは、NC-GRPOは領域外の数学的推論を大幅に改善した。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Reinforcement learning with verifiable rewards (RLVR) improves the reasoning ability of vision-language models (VLMs), and diversifying the rollouts within each optimization group amplifies its gains. Existing approaches diversify through decoding temperature or pixel-space image distortion; we ask whether the perturbation belongs in the model's latent space instead. We introduce Noise-Contrastive GRPO (NC-GRPO), which injects scale-calibrated Gaussian noise into the last hidden layer of the prompt-encoding pass for half of each rollout group, branching those rollouts from a displaced departure state. Branches that reach the answer despite the displacement are reinforced over those derailed by it, converting sensitivity at the branch point into policy-gradient signal; the objective, reward, and inference protocol are untouched. On Qwen2.5-VL-7B trained on Geometry3K, NC-GRPO significantly improves out-of-domain mathematical reasoning over vanilla GRPO across five held-out benchmarks (pooled McNemar $p \le 0.001$) while also improving in-domain accuracy and hallucination robustness -- the latter an axis on which image-space noise regresses even while posting a larger OOD average on perception-heavy benchmarks. Mechanism ablations indicate that independent stochastic diversity, not noise budget or direction, is the active ingredient, and a noise-scale study exposes a dial between reasoning specialization and general capability. NC-GRPO is designed to be modality-agnostic and integrates into a standard RLVR pipeline as a ~50-line change to the inference engine.
• Abstract（参考訳）: 検証可能な報酬(RLVR)による強化学習は、視覚言語モデル(VLM)の推論能力を向上し、各最適化グループ内のロールアウトの多様化がその利益を増幅する。 既存のアプローチはデコード温度や画素空間の歪みによって多様化し、代わりに摂動がモデルの潜在空間に属するかどうかを問う。 我々は,各ロールアウト群の半分のプロンプトエンコードパスの最後の隠れ層に,スケール校正されたガウス雑音を注入し,それらのロールアウトを変位した状態から分岐させるノイズコントラストGRPO(NC-GRPO)を導入する。 変位にもかかわらず解答に達する枝は、脱線した枝よりも強化され、分岐点の感度を政策段階の信号に変換し、目的、報酬、推論プロトコルは触れない。 Geometry3KでトレーニングされたQwen2.5-VL-7Bでは、NC-GRPOは5つの保留ベンチマーク(McNemar $p \le 0.001$)において、バニラGRPOに対するドメイン外の数学的推論を大幅に改善し、ドメイン内の精度と幻覚の堅牢性も向上した。 メカニズム・アブレーションは、ノイズ予算や方向ではなく、独立した確率的多様性が有効成分であることを示し、ノイズスケール研究は、推論の特殊化と一般的な能力の間のダイヤルを露呈する。 NC-GRPOはモダリティに依存しないように設計されており、推論エンジンへの50行程度の変更として標準のRLVRパイプラインに統合される。

関連論文リスト

• N-GRPO: Embedding-Level Neighbor Mixing for Enhanced Policy Optimization [55.14402862283128]
  我々は,グループ相対政策最適化フレームワークに統合された新しい探索戦略であるN-GRPOを紹介する。 トークンレベルのサンプリングやネイティブな埋め込みレベルのノイズに頼るのではなく、Semantic Neighbor Mixingを活用する。 N-GRPOは、数学推論ベンチマークの強いベースラインよりも一貫した改善を達成し、また分布外タスクの堅牢な一般化能力を示す。
  論文  参考訳（メタデータ） (2026-06-09T12:21:27Z)
• Clipping Bottleneck: Stabilizing RLVR via Stochastic Recovery of Near-Boundary Signals [83.0127582612634]
  Near-boundary Rescue (NSR) は最小限のプラグ・アンド・プレイの修正であり、失った信号を回復するために、アウト・オブ・バウンドトークンを保持する。 NSRはトレーニングの安定性を大幅に改善し、DAPOやGSPOといった強力なベースライン上で一貫したゲインを提供する。
  論文  参考訳（メタデータ） (2026-05-21T16:45:31Z)
• Advantage Collapse in Group Relative Policy Optimization: Diagnosis and Mitigation [13.272542054938258]
  非効率な勾配でトレーニングバッチの割合を定量化する最初の指標であるAdvantage Collapse Rate (ACR)を導入する。 次に、仮想報酬サンプルを注入するGRPOの軽量拡張であるAdaptive Virtual Sample Policy Optimization (AVSPO)を提案する。 AVSPOはGRPOに対して58～63%の利害崩壊を減少させ、すべてのモデルスケールで4～6ポイントの一貫した精度向上をもたらす。
  論文  参考訳（メタデータ） (2026-05-20T12:57:37Z)
• MoASE++: Mixture of Activation Sparsity Experts with Domain-Adaptive On-policy Distillation for Continual Test Time Adaptation [65.068801413044]
  連続的なテスト時間適応は、非定常な未ラベルのターゲットストリームにソース予測モデルを適用する。 ドメインに依存しない構造をドメイン固有のテクスチャから切り離す。
  論文  参考訳（メタデータ） (2026-05-18T01:52:12Z)
• PDCR: Perception-Decomposed Confidence Reward for Vision-Language Reasoning [80.94559742826083]
  Reinforcement Learning with Verifiable Rewards (RLVR) は伝統的に、粗末で結果に基づく信号に依存している。 近年の研究では,高コストな外部モデルを必要としないステップレベルのガイダンスを提供することで,詳細なモデル固有の信号を提供することで,言語推論のトレーニングを効果的に向上することが示された。 一助文には有効であるが,この大域的な報酬を視覚言語推論(V-L)に適用することは準最適戦略である。 本稿では、報酬構造とタスクの不均一な性質を整合させることにより、この問題を解決するフレームワークであるパーセプション分解信頼回復(PDCR:Perception-Decomposed Confidence Reward)を提案する。
  論文  参考訳（メタデータ） (2026-05-13T12:55:18Z)
• Too Correct to Learn: Reinforcement Learning on Saturated Reasoning Data [55.84428098924793]
  構造保存探索を行うためのパラメータ自由復号法である Constrained Uniform Top-K Smpling (CUTS) を提案する。 グループ内の利点分散を増幅するために、エクスプロイトと探索的なロールアウトを相乗化するためのトレーニングフレームワークであるMixed-CUTSに統合する。 特にMixed-CUTSは、AIME25ベンチマークのPass@1の精度を標準のGRPOよりも15.1%向上している。
  論文  参考訳（メタデータ） (2026-04-20T16:43:28Z)
• GIRL: Generative Imagination Reinforcement Learning via Information-Theoretic Hallucination Control [0.0]
  GIRL(Generative Imagination Reinforcement Learning)は、この障害モードに2つの重要なコンポーネントで対処する潜在的世界モデルフレームワークである。 GIRLは、DreamerV3に対するタスク間の遅延ロールアウトドリフトを38～61%削減し、リターンを改善し、長距離タスクでの環境相互作用を少なくする。 蒸留前の変種はオーバーヘッドを減らし、フルモデルに対する計算効率を向上させる。
  論文  参考訳（メタデータ） (2026-04-08T17:14:21Z)
• Not All Tokens See Equally: Perception-Grounded Policy Optimization for Large Vision-Language Models [38.47027398567909]
  Perception-Grounded Policy Optimization (PGPO)は、トークンレベルでのメリットを動的に再評価する、新しいきめ細かなクレジット割り当てフレームワークである。 PGPOは,言語的先行音からの勾配雑音を抑えつつ,視覚的に依存するトークンの学習信号を積極的に増幅することを示す。 理論的および実証的な分析は、PGPOが勾配の分散を効果的に減少させ、訓練の崩壊を防ぎ、頑健で知覚的なマルチモーダル推論のための強力な正則化剤として機能することを確認する。
  論文  参考訳（メタデータ） (2026-04-02T09:53:20Z)
• ConsistentRFT: Reducing Visual Hallucinations in Flow-based Reinforcement Fine-Tuning [85.20505958752928]
  フローベースモデル上での強化ファインチューニング(RFT)は、優先順位調整に不可欠である。 RFTは、過度に最適化された詳細や意味的なミスアライメントのような視覚幻覚をしばしば導入する。 この研究は、なぜ視覚幻覚が生じるのか、どのようにそれらを減らすのかを予備的に探求する。
  論文  参考訳（メタデータ） (2026-02-03T11:49:46Z)
• Learning to Explore with Parameter-Space Noise: A Deep Dive into Parameter-Space Noise for Reinforcement Learning with Verifiable Rewards [16.22162269278471]
  PSN-RLVRは、ロールアウト生成前にポリシーパラメータを摂動させ、時間的に一貫した軌道レベルの探索を誘導する。 本稿では,意味的多様性と正規化自己確実性を組み合わせた軽量サロゲートによって駆動される,計算効率のよいリアルタイム適応ノイズスケジューラを提案する。
  論文  参考訳（メタデータ） (2026-01-30T13:10:30Z)
• Smooth Operator: Smooth Verifiable Reward Activates Spatial Reasoning Ability of Vision-Language Model [18.526821056010384]
  視覚言語モデル(VLM)は、3次元シーン理解のための正確な数値予測を実現する上で重要なボトルネックに直面している。 伝統的な強化学習アプローチは、主に相対的なランクに基づいており、しばしば深刻な報酬の分散と勾配不安定に悩まされる。 本稿では,Smooth Numerical Reward Activation (SNRA)演算子とAbsolute-Preserving GRPOフレームワークを紹介する。
  論文  参考訳（メタデータ） (2026-01-12T16:26:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。