論文の概要: NoisyRollout: Reinforcing Visual Reasoning with Data Augmentation

• arxiv url: http://arxiv.org/abs/2504.13055v3
• Date: Tue, 27 May 2025 02:15:18 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-28 12:08:55.04432
• Title: NoisyRollout: Reinforcing Visual Reasoning with Data Augmentation
• Title（参考訳）: NoisyRollout: データ拡張によるビジュアル推論の強化
• Authors: Xiangyan Liu, Jinjie Ni, Zijian Wu, Chao Du, Longxu Dou, Haonan Wang, Tianyu Pang, Michael Qizhe Shieh,
• Abstract要約: NoisyRolloutは、RLトレーニング中にきれいな画像と歪んだ画像の両方の軌跡を混合する、シンプルだが効果的なデータ拡張手法である。 NoisyRolloutは、視覚知覚と結果の推論パターンに目的の多様性を注入することによって、視覚指向の帰納的バイアスを通じて、より良い政策探索を促進する。 NoisyRolloutは5ドルのドメイン外推論と知覚ベンチマークで、オープンソースのRLチューニングモデルの最先端のパフォーマンスを実現している。
• 参考スコア（独自算出の注目度）: 34.806610134389366
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recent advances in reinforcement learning (RL) have strengthened the reasoning capabilities of vision-language models (VLMs). However, enhancing policy exploration to better scale test-time compute remains largely underexplored. In addition, VLMs continue to struggle with imperfect visual perception, which in turn affects the subsequent reasoning process. To this end, we propose NoisyRollout, a simple yet effective data augmentation method that mixes trajectories from both clean and moderately distorted images during RL training. By injecting targeted diversity in visual perception and the resulting reasoning patterns, NoisyRollout promotes better policy exploration through vision-oriented inductive biases, ultimately leading to more robust reasoning behaviors. We further adopt a noise annealing schedule that gradually reduces distortion strength over training, leveraging noisy signals early on while ensuring training stability in later stages. Crucially, our method is easy-to-adopt--requiring no additional training cost and no modifications to the RL objective. Extensive experiments on $2$ distinct training datasets demonstrate that NoisyRollout achieves state-of-the-art performance among open-source RL-tuned models across $5$ out-of-domain reasoning and perception benchmarks. Furthermore, we validate the effectiveness of NoisyRollout across model sizes ($7$B and $32$B) and data scales (from $1$K to $6$K), highlighting its generalizability and scalability.
• Abstract（参考訳）: 近年の強化学習(RL)は視覚言語モデル(VLM)の推論能力を強化している。 しかし、テスト時間計算のスケールを改善するための政策探索の強化は、大半が未検討のままである。 さらに、VLMは不完全な視覚知覚に苦しみ続けており、それによってその後の推論プロセスに影響を及ぼす。 そこで本研究では,RLトレーニング中の清浄な画像と適度に歪んだ画像の両方からトラジェクトリを混合する,シンプルで効果的なデータ拡張手法であるNoisyRolloutを提案する。 NoisyRolloutは、視覚的知覚と結果の推論パターンに目的の多様性を注入することで、視覚指向の帰納的バイアスを通じてより良い政策探索を促進し、最終的にはより堅牢な推論行動をもたらす。 さらに,学習中の歪み強度を徐々に減少させるノイズアニールスケジュールを導入し,早期にノイズ信号を活用するとともに,後段のトレーニング安定性を確保する。 重要なことは、我々の方法は、追加のトレーニングコストもRLの目的の変更も不要である。 2ドルの異なるトレーニングデータセットに関する大規模な実験は、NoisyRolloutが5ドルのドメイン外推論と知覚ベンチマークで、オープンソースのRLチューニングモデルの最先端のパフォーマンスを達成することを示した。 さらに、モデルサイズ(7$B、32$B)とデータスケール($Kから$6$K)にわたるNoisyRolloutの有効性を検証する。

関連論文リスト

• Reinforcement Learning via Implicit Imitation Guidance [49.88208134736617]
  自然なアプローチは、訓練中の正規化や参照ポリシーの取得など、模倣学習の目的を取り入れることである。 提案手法では,条件に付加されたノイズによる探索を導出するための先行データのみを用いて,明示的な行動クローニング制約の必要性を回避することを提案する。 提案手法は、7つの模擬連続制御タスクにまたがるオフライン手法による事前強化学習よりも最大2～3倍向上する。
  論文  参考訳（メタデータ） (2025-06-09T07:32:52Z)
• Behavior Injection: Preparing Language Models for Reinforcement Learning [24.46625106928253]
  強化微調整(Reinforcement fine-tuning, RFT)は、大規模言語モデル(LLM)の推論能力を高めるための強力なポストトレーニング手法として登場した。 LLM は RFT に非常に矛盾しない応答が可能である。 RLに先立って適用されたタスクに依存しないデータ拡張方式である振舞い注入を提案する。
  論文  参考訳（メタデータ） (2025-05-25T00:54:50Z)
• J1: Exploring Simple Test-Time Scaling for LLM-as-a-Judge [24.607213170485743]
  本稿では,リジェクションサンプリングによって収集されたリフレクション強化データセットを教師付きで調整した$textbfJ1-7B$を紹介する。 推論時に、さらなるパフォーマンス改善のためにシンプルなテスト時間スケーリング(STTS)戦略を適用します。 実験の結果、$textbfJ1-7B$は、以前の最先端のLM-as-a-Judgeを$ textbf4.8$%超え、STTSの下でより強いスケーリング傾向を示す。
  論文  参考訳（メタデータ） (2025-05-17T06:58:42Z)
• Echo Chamber: RL Post-training Amplifies Behaviors Learned in Pretraining [74.83412846804977]
  強化学習(RL)に基づく微調整は、訓練後の言語モデルにおいて重要なステップとなっている。 数理推論のためのRLファインタニングを、スクラッチから完全にトレーニングモデルを用いて体系的にエンドツーエンドに研究する。
  論文  参考訳（メタデータ） (2025-04-10T17:15:53Z)
• Fast Adaptation with Behavioral Foundation Models [82.34700481726951]
  教師なしゼロショット強化学習は、行動基礎モデルの事前学習のための強力なパラダイムとして登場した。 有望な結果にもかかわらず、ゼロショットポリシーは、教師なしのトレーニングプロセスによって引き起こされるエラーにより、しばしば準最適である。 本稿では,事前訓練されたBFMの低次元タスク埋め込み空間を探索し,ゼロショットポリシーの性能を急速に向上させる高速適応手法を提案する。
  論文  参考訳（メタデータ） (2025-04-10T16:14:17Z)
• OpenVLThinker: An Early Exploration to Complex Vision-Language Reasoning via Iterative Self-Improvement [91.88062410741833]
  本研究では,類似の推論機能を大規模視覚言語モデル(LVLM)にうまく組み込むことができるか検討する。 本稿では,教師付き微調整(SFT)と強化学習(RL)を反復的に活用し,モデル一般化をさらに改善する手法を検討する。 OpenVLThinkerは、MathVista、MathVerse、MathVisionといった挑戦的なベンチマークで一貫して改善された推論性能を示すLVLMである。
  論文  参考訳（メタデータ） (2025-03-21T17:52:43Z)
• Towards Better Alignment: Training Diffusion Models with Reinforcement Learning Against Sparse Rewards [52.90573877727541]
  拡散モデル微調整では強化学習(RL)が検討されている。 RLの有効性はスパース報酬の挑戦によって制限される。 $textB2text-DiffuRL$は既存の最適化アルゴリズムと互換性がある。
  論文  参考訳（メタデータ） (2025-03-14T09:45:19Z)
• SFO: Piloting VLM Feedback for Offline RL [1.3597551064547502]
  VLM(Vision-Language Models)は、アクション条件のトレーニングデータがないため、制御タスクを解く能力に制限がある。 AIフィードバックからの強化学習における重要な課題は、VLM由来の信号を学習プロセスに統合する方法を決定することだ。 本稿では,人間のフィードバックに基づく手法から,より複雑な強化学習を達成し,よりシンプルで効果的なアプローチであるフィルタリングと重み付き行動クローニングを提案する。
  論文  参考訳（メタデータ） (2025-03-02T23:52:46Z)
• Dynamic Loss-Based Sample Reweighting for Improved Large Language Model Pretraining [55.262510814326035]
  既存のリウェイト戦略は主にグループレベルのデータの重要性に焦点を当てている。 動的・インスタンスレベルのデータ再重み付けのための新しいアルゴリズムを提案する。 当社のフレームワークでは,冗長データや非形式データを優先的に再重み付けする戦略を考案することが可能です。
  論文  参考訳（メタデータ） (2025-02-10T17:57:15Z)
• E2ED^2:Direct Mapping from Noise to Data for Enhanced Diffusion Models [15.270657838960114]
  拡散モデルは、視覚的生成モデリングにおけるデファクト・プライマリ・パラダイムとして確立されてきた。 最終生成サンプルから初期雑音への直接最適化を実現する新しいエンドツーエンド学習パラダイムを提案する。 Fr'eche't Inception Distance (FID) と CLIP のスコアは,サンプリングステップが少なくても大幅に向上する。
  論文  参考訳（メタデータ） (2024-12-30T16:06:31Z)
• ResFlow: Fine-tuning Residual Optical Flow for Event-based High Temporal Resolution Motion Estimation [50.80115710105251]
  イベントカメラは、高時間分解能(HTR)モーション推定に重要な可能性を秘めている。 イベントデータを用いてHTR光流を推定するための残差に基づくパラダイムを提案する。
  論文  参考訳（メタデータ） (2024-12-12T09:35:47Z)
• Avoiding mode collapse in diffusion models fine-tuned with reinforcement learning [0.0]
  強化学習(RL)による微調整基礎モデルは、下流の目標に整合する上で有望であることが証明されている。 拡散モデル (DM) の階層的性質を生かし, 各エポックでRL法で動的に訓練する。 HRFで訓練したモデルは、下流タスクにおける多様性の保存性を向上し、微調整の堅牢性を高め、平均報酬を損なうことなく達成できることが示される。
  論文  参考訳（メタデータ） (2024-10-10T19:06:23Z)
• Representation Alignment for Generation: Training Diffusion Transformers Is Easier Than You Think [72.48325960659822]
  生成のための大規模拡散モデルの訓練における主要なボトルネックは、これらの表現を効果的に学習することにある。 本稿では,RePresentation Alignment (REPA) と呼ばれる単純な正規化を導入し,ノイズの多い入力隠れ状態の投影を,外部の事前学習された視覚エンコーダから得られるクリーンな画像表現と整合させる手法を提案する。 我々の単純な戦略は、一般的な拡散やDiTsやSiTsといったフローベースのトランスフォーマーに適用した場合、トレーニング効率と生成品質の両方に大きな改善をもたらす。
  論文  参考訳（メタデータ） (2024-10-09T14:34:53Z)
• VIRL: Volume-Informed Representation Learning towards Few-shot Manufacturability Estimation [0.0]
  本研究は,3次元幾何エンコーダの事前学習のためのボリュームインフォームド表現学習手法であるVIRLを紹介する。 VIRLによって事前訓練されたモデルでは,データ制限による一般化性の向上が大幅に向上した。
  論文  参考訳（メタデータ） (2024-06-18T05:30:26Z)
• Enhancing Noise Robustness of Retrieval-Augmented Language Models with Adaptive Adversarial Training [39.21885486667879]
  大型言語モデル(LLM)は、幻覚、時代遅れの知識、追跡不能な推論プロセスなどの課題に遭遇する重大な能力を示す。 Retrieval-augmented Generation(RAG)は、これらの課題を軽減するために、外部データベースからの知識を統合する、有望なソリューションとして登場した。 本稿では,RAAT(Retrieval-augmented Adaptive Adrial Training)として知られる新しいRAGアプローチを提案する。
  論文  参考訳（メタデータ） (2024-05-31T16:24:53Z)
• Reinforcement Learning from Delayed Observations via World Models [10.298219828693489]
  強化学習環境では、エージェントはそれらを取るとすぐに行動の効果についてのフィードバックを受ける。 実際には、この仮定は物理的制約のために当てはまらない可能性があり、学習アルゴリズムの性能に大きな影響を及ぼす可能性がある。 本稿では、過去の観測と学習のダイナミクスを統合することに成功している世界モデルを活用して、観測遅延を処理することを提案する。
  論文  参考訳（メタデータ） (2024-03-18T23:18:27Z)
• Take the Bull by the Horns: Hard Sample-Reweighted Continual Training Improves LLM Generalization [165.98557106089777]
  大きな言語モデル(LLM)の能力を高めることが大きな課題だ。 本研究は,従来の事前学習データセットを用いたLCMの光連続訓練に関する実証的戦略から始まった。 次に、この戦略をインスタンス重み付け分散ロバスト最適化の原則化されたフレームワークに定式化します。
  論文  参考訳（メタデータ） (2024-02-22T04:10:57Z)
• Understanding and Mitigating the Label Noise in Pre-training on Downstream Tasks [91.15120211190519]
  本稿では、事前学習データセットにおけるノイズの性質を理解し、下流タスクへの影響を軽減することを目的とする。 雑音の悪影響を軽減するために特徴空間に適応する軽量ブラックボックスチューニング法(NMTune)を提案する。
  論文  参考訳（メタデータ） (2023-09-29T06:18:15Z)
• VIBR: Learning View-Invariant Value Functions for Robust Visual Control [3.2307366446033945]
  VIBR (View-Invariant Bellman Residuals) は、マルチビュートレーニングと不変予測を組み合わせて、RLベースのビジュモータ制御における分配ギャップを削減する手法である。 視覚摂動の高い複雑なビジュオモータ制御環境において,VIBRは既存の手法よりも優れていることを示す。
  論文  参考訳（メタデータ） (2023-06-14T14:37:34Z)
• Challenges and Opportunities in Offline Reinforcement Learning from Visual Observations [58.758928936316785]
  連続的な行動空間を持つ視覚的観察からオフラインの強化学習は未探索のままである。 2つの一般的な視覚に基づくオンライン強化学習アルゴリズムの変更は、既存のオフラインRL法より優れていることを示す。
  論文  参考訳（メタデータ） (2022-06-09T22:08:47Z)
• AAMDRL: Augmented Asset Management with Deep Reinforcement Learning [5.801876281373619]
  深層強化学習がこの課題にどのように対処できるかを示す。 コントリビューションは3つある: (i) DRLにおける拡張状態とも呼ばれる文脈情報の使用, (ii) 観察と行動の間の1周期の遅延の影響, (iii) ウォークフォワード分析と呼ばれる新しい反復列車試験手法の実装。 我々の実験は、ボットのトレーディングに重点を置いているが、状況変化やノイズの多いデータとともに、シーケンシャルな環境で動作する他のボット環境に容易に翻訳できる。
  論文  参考訳（メタデータ） (2020-09-30T03:55:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。