論文の概要: NoisyGRPO: Incentivizing Multimodal CoT Reasoning via Noise Injection and Bayesian Estimation

• arxiv url: http://arxiv.org/abs/2510.21122v2
• Date: Wed, 29 Oct 2025 07:06:34 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-30 13:34:45.422987
• Title: NoisyGRPO: Incentivizing Multimodal CoT Reasoning via Noise Injection and Bayesian Estimation
• Title（参考訳）: NoisyGRPO:ノイズ注入によるマルチモーダルCoT推論のインセンティブ化とベイズ推定
• Authors: Longtian Qiu, Shan Ning, Jiaxuan Sun, Xuming He,
• Abstract要約: NoisyGRPOは、マルチモーダル強化学習フレームワークである。 視覚入力に制御可能なノイズを導入し、探索を強化する。 ベイズフレームワークによる利点推定プロセスを明示的にモデル化する。
• 参考スコア（独自算出の注目度）: 18.56932287056642
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Reinforcement learning (RL) has shown promise in enhancing the general Chain-of-Thought (CoT) reasoning capabilities of multimodal large language models (MLLMs). However, when applied to improve general CoT reasoning, existing RL frameworks often struggle to generalize beyond the training distribution. To address this, we propose NoisyGRPO, a systematic multimodal RL framework that introduces controllable noise into visual inputs for enhanced exploration and explicitly models the advantage estimation process via a Bayesian framework. Specifically, NoisyGRPO improves RL training by: (1) Noise-Injected Exploration Policy: Perturbing visual inputs with Gaussian noise to encourage exploration across a wider range of visual scenarios; and (2) Bayesian Advantage Estimation: Formulating advantage estimation as a principled Bayesian inference problem, where the injected noise level serves as a prior and the observed trajectory reward as the likelihood. This Bayesian modeling fuses both sources of information to compute a robust posterior estimate of trajectory advantage, effectively guiding MLLMs to prefer visually grounded trajectories over noisy ones. Experiments on standard CoT quality, general capability, and hallucination benchmarks demonstrate that NoisyGRPO substantially improves generalization and robustness, especially in RL settings with small-scale MLLMs such as Qwen2.5-VL 3B. The project page is available at https://artanic30.github.io/project_pages/NoisyGRPO/.
• Abstract（参考訳）: 強化学習(RL)は、マルチモーダル大言語モデル(MLLM)の一般的なChain-of-Thought(CoT)推論能力を高めることを約束している。 しかしながら、一般的なCoT推論を改善するために適用された場合、既存のRLフレームワークはトレーニング分布を超えて一般化するのに苦労することが多い。 そこで本稿では,探索性を高めるために可制御ノイズを視覚入力に導入し,ベイジアンフレームワークによる利点推定プロセスを明示的にモデル化する,マルチモーダルRLフレームワークであるNoisyGRPOを提案する。 具体的には, ノイズ注入探索政策: ガウス雑音による視覚入力の摂動により, より広い範囲の視覚シナリオの探索を促進すること, ベイジアンアドバンテージ推定: ベイジアン推論問題としての利点推定を定式化すること。 このベイズ的モデリングは、両方の情報源を融合させ、頑健な後続の軌跡優位性の推定を計算し、MLLMをノイズよりも視覚的に接地された軌跡を好むように効果的に導く。 特にQwen2.5-VL 3Bのような小型MLLMを用いたRL設定では、標準のCoT品質、汎用能力、幻覚ベンチマークの実験により、NoisyGRPOは一般化と堅牢性を大幅に改善することが示された。 プロジェクトページはhttps://artanic30.github.io/project_pages/NoisyGRPO/で公開されている。

関連論文リスト

• DiFFPO: Training Diffusion LLMs to Reason Fast and Furious via Reinforcement Learning [37.20873499361773]
  マスク付き拡散大言語モデル (dLLM) を学習し, より優れた推論を行うための統一フレームワークを提案する。 我々はまず,既存の基本方針を,真のdLLM政策の近似としてはるかに難易度の高い,政治外RLによるサロゲート政策の訓練により統一する。 RLでは、各プロンプトに対して推論閾値を適応的に割り当てることによって、dLLMの自然なマルチトークン予測能力をインセンティブ化する。
  論文  参考訳（メタデータ） (2025-10-02T16:57:24Z)
• G$^2$RPO: Granular GRPO for Precise Reward in Flow Models [74.21206048155669]
  本稿では,サンプリング方向の高精度かつ包括的な報酬評価を実現する新しいグラニュラー-GRPO(G$2$RPO)フレームワークを提案する。 複数の拡散スケールで計算された利点を集約するマルチグラニュラリティ・アドバンテージ・インテグレーション・モジュールを導入する。 G$2$RPOは既存のフローベースGRPOベースラインを著しく上回る。
  論文  参考訳（メタデータ） (2025-10-02T12:57:12Z)
• VOGUE: Guiding Exploration with Visual Uncertainty Improves Multimodal Reasoning [62.09195763860549]
  検証可能な報酬(RLVR)による強化学習は、大きな言語モデル(LLM)の推論を改善するが、探索に苦労する。 出力(テキスト)から入力(視覚)空間へ探索をシフトする新しい手法である$textbfVOGUE(Visual Uncertainty Guided Exploration)を紹介した。 本研究は,視覚入力の本質的不確実性における基盤探索が,マルチモーダル推論を改善するための効果的な戦略であることを示す。
  論文  参考訳（メタデータ） (2025-10-01T20:32:08Z)
• HOID-R1: Reinforcement Learning for Open-World Human-Object Interaction Detection Reasoning with Multimodal Large Language Model [13.82578761807402]
  HOID-R1は,チェーン・オブ・シント(CoT)とグループ相対的ポリシー最適化のファインチューニングを統合した最初のHOI検出フレームワークである。 CoT推論における幻覚を軽減するために,CoT出力を監督するMLLM-as-a-judge機構を導入する。 実験により、HOID-R1はHOI検出ベンチマークの最先端性能を達成し、新しいシナリオへのオープンワールドの一般化における既存の手法よりも優れていることが示された。
  論文  参考訳（メタデータ） (2025-08-15T09:28:57Z)
• GFlowGR: Fine-tuning Generative Recommendation Frameworks with Generative Flow Networks [36.39484385717512]
  本稿では、生成勧告(GR)を多段階生成タスクとして扱い、GFlowNetsベースの微調整フレームワーク(GFlowGR)を構築する。 提案フレームワークは,従来のレコメンデータシステムからの協調的知識を統合し,適応的軌道サンプリングと包括的報酬モデルを作成する。
  論文  参考訳（メタデータ） (2025-06-19T08:04:31Z)
• Reinforced Latent Reasoning for LLM-based Recommendation [92.56166822197919]
  大きな言語モデル(LLM)は、複雑な問題解決タスクにおいて印象的な推論能力を示している。 既存の手法は通常、明示的なチェーン・オブ・シント(CoT)データによる微調整に依存している。 本研究では, 明示的なCoT推論から, コンパクトで情報密度の高い潜伏推論へ移行する代替手法について検討する。
  論文  参考訳（メタデータ） (2025-05-25T11:03:45Z)
• RL in Name Only? Analyzing the Structural Assumptions in RL post-training for LLMs [14.78605805191225]
  近年,大規模言語モデル(LLM)の強化学習に基づくポストトレーニングが注目されている。 これらの手法の基礎となる定式化と仮定を批判的に検討する。
  論文  参考訳（メタデータ） (2025-05-19T19:57:15Z)
• Exploring the Effect of Reinforcement Learning on Video Understanding: Insights from SEED-Bench-R1 [53.894789613838654]
  ビデオ理解におけるMLLMのポストトレーニング手法を評価するためのベンチマークであるSEED-Bench-R1を紹介する。 複雑な現実世界のビデオや、複数の質問の形式での複雑な日常的な計画タスクも含んでいる。 Qwen2-VL-Instruct-7Bをベースモデルとして、RLと教師付き微調整(SFT)を比較した。 我々の詳細な分析では、RLは視覚知覚を増強するが、しばしばコヒーレント推論連鎖を減少させる。
  論文  参考訳（メタデータ） (2025-03-31T17:55:23Z)
• MM-Eureka: Exploring the Frontiers of Multimodal Reasoning with Rule-based Reinforcement Learning [55.82649731348012]
  MMK12データセットとMM-EUREKAを7B,32Bパラメータで導入する。 前者は、人間の検証された答えと解法を含む多様な知識領域を特徴とする高品質なマルチモーダル数学推論データセットである。 後者は,オンラインフィルタリングを利用したルールベース強化学習と,トレーニング安定性を高めるための2段階トレーニング戦略を用いたマルチモーダルモデルである。
  論文  参考訳（メタデータ） (2025-03-10T14:23:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。