論文の概要: NoisyRollout: Reinforcing Visual Reasoning with Data Augmentation

• arxiv url: http://arxiv.org/abs/2504.13055v1
• Date: Thu, 17 Apr 2025 16:10:13 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-04-25 17:51:22.683694
• Title: NoisyRollout: Reinforcing Visual Reasoning with Data Augmentation
• Title（参考訳）: NoisyRollout: データ拡張によるビジュアル推論の強化
• Authors: Xiangyan Liu, Jinjie Ni, Zijian Wu, Chao Du, Longxu Dou, Haonan Wang, Tianyu Pang, Michael Qizhe Shieh,
• Abstract要約: NoisyRolloutは、きれいな画像と適度に歪んだ画像の両方の軌跡を混合する強化学習アプローチである。 視覚知覚における標的の多様性と結果の推論パターンを導入している。 NoisyRolloutは5つのベンチマークで、オープンソースのRLチューニングモデルの最先端のパフォーマンスを達成する。
• 参考スコア（独自算出の注目度）: 34.806610134389366
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recent advances in reinforcement learning (RL) have strengthened the reasoning capabilities of vision-language models (VLMs). However, enhancing policy exploration to more effectively scale test-time compute remains underexplored in VLMs. In addition, VLMs continue to struggle with imperfect visual perception, which in turn affects the subsequent reasoning process. To this end, we propose NoisyRollout, a simple yet effective RL approach that mixes trajectories from both clean and moderately distorted images to introduce targeted diversity in visual perception and the resulting reasoning patterns. Without additional training cost, NoisyRollout enhances the exploration capabilities of VLMs by incorporating a vision-oriented inductive bias. Furthermore, NoisyRollout employs a noise annealing schedule that gradually reduces distortion strength over training, ensuring benefit from noisy signals early while maintaining training stability and scalability in later stages. With just 2.1K training samples, NoisyRollout achieves state-of-the-art performance among open-source RL-tuned models on 5 out-of-domain benchmarks spanning both reasoning and perception tasks, while preserving comparable or even better in-domain performance.
• Abstract（参考訳）: 近年の強化学習(RL)は視覚言語モデル(VLM)の推論能力を強化している。 しかしながら、より効果的にテスト時間計算をスケールするためのポリシー探索の強化は、VLMでは未検討のままである。 さらに、VLMは不完全な視覚知覚に苦しみ続けており、それによってその後の推論プロセスに影響を及ぼす。 この目的のために, クリーンかつ適度に歪んだ画像からトラジェクトリを混合し, 視覚知覚における標的の多様性と結果の推論パターンを導入する, シンプルで効果的なRL手法であるNoisyRolloutを提案する。 追加のトレーニングコストなしで、NoisyRolloutはビジョン指向の帰納バイアスを取り入れることで、VLMの探索能力を高める。 さらに、NoisyRolloutは、トレーニング中の歪み強度を徐々に減らし、ノイズ信号の恩恵を早期に確保しつつ、トレーニングの安定性とスケーラビリティを後段に維持するノイズアニールスケジュールを採用している。 わずか2.1Kのトレーニングサンプルで、NoisyRolloutは、推論タスクと知覚タスクの両方にまたがる5つのドメイン外のベンチマークで、オープンソースのRLで調整されたモデルの最先端のパフォーマンスを達成し、ドメイン内のパフォーマンスを同等またはより良く保っている。

関連論文リスト

• Fast Adaptation with Behavioral Foundation Models [82.34700481726951]
  教師なしゼロショット強化学習は、行動基礎モデルの事前学習のための強力なパラダイムとして登場した。 有望な結果にもかかわらず、ゼロショットポリシーは、教師なしのトレーニングプロセスによって引き起こされるエラーにより、しばしば準最適である。 本稿では,事前訓練されたBFMの低次元タスク埋め込み空間を探索し,ゼロショットポリシーの性能を急速に向上させる高速適応手法を提案する。
  論文  参考訳（メタデータ） (2025-04-10T16:14:17Z)
• OpenVLThinker: An Early Exploration to Complex Vision-Language Reasoning via Iterative Self-Improvement [91.88062410741833]
  本研究では,類似の推論機能を大規模視覚言語モデル(LVLM)にうまく組み込むことができるか検討する。 本稿では,教師付き微調整(SFT)と強化学習(RL)を反復的に活用し,モデル一般化をさらに改善する手法を検討する。 OpenVLThinkerは、MathVista、MathVerse、MathVisionといった挑戦的なベンチマークで一貫して改善された推論性能を示すLVLMである。
  論文  参考訳（メタデータ） (2025-03-21T17:52:43Z)
• SFO: Piloting VLM Feedback for Offline RL [1.3597551064547502]
  VLM(Vision-Language Models)は、アクション条件のトレーニングデータがないため、制御タスクを解く能力に制限がある。 AIフィードバックからの強化学習における重要な課題は、VLM由来の信号を学習プロセスに統合する方法を決定することだ。 本稿では,人間のフィードバックに基づく手法から,より複雑な強化学習を達成し,よりシンプルで効果的なアプローチであるフィルタリングと重み付き行動クローニングを提案する。
  論文  参考訳（メタデータ） (2025-03-02T23:52:46Z)
• E2ED^2:Direct Mapping from Noise to Data for Enhanced Diffusion Models [15.270657838960114]
  拡散モデルは、視覚的生成モデリングにおけるデファクト・プライマリ・パラダイムとして確立されてきた。 最終生成サンプルから初期雑音への直接最適化を実現する新しいエンドツーエンド学習パラダイムを提案する。 Fr'eche't Inception Distance (FID) と CLIP のスコアは,サンプリングステップが少なくても大幅に向上する。
  論文  参考訳（メタデータ） (2024-12-30T16:06:31Z)
• ResFlow: Fine-tuning Residual Optical Flow for Event-based High Temporal Resolution Motion Estimation [50.80115710105251]
  イベントカメラは、高時間分解能(HTR)モーション推定に重要な可能性を秘めている。 イベントデータを用いてHTR光流を推定するための残差に基づくパラダイムを提案する。
  論文  参考訳（メタデータ） (2024-12-12T09:35:47Z)
• Avoiding mode collapse in diffusion models fine-tuned with reinforcement learning [0.0]
  強化学習(RL)による微調整基礎モデルは、下流の目標に整合する上で有望であることが証明されている。 拡散モデル (DM) の階層的性質を生かし, 各エポックでRL法で動的に訓練する。 HRFで訓練したモデルは、下流タスクにおける多様性の保存性を向上し、微調整の堅牢性を高め、平均報酬を損なうことなく達成できることが示される。
  論文  参考訳（メタデータ） (2024-10-10T19:06:23Z)
• Representation Alignment for Generation: Training Diffusion Transformers Is Easier Than You Think [72.48325960659822]
  生成のための大規模拡散モデルの訓練における主要なボトルネックは、これらの表現を効果的に学習することにある。 本稿では,RePresentation Alignment (REPA) と呼ばれる単純な正規化を導入し,ノイズの多い入力隠れ状態の投影を,外部の事前学習された視覚エンコーダから得られるクリーンな画像表現と整合させる手法を提案する。 我々の単純な戦略は、一般的な拡散やDiTsやSiTsといったフローベースのトランスフォーマーに適用した場合、トレーニング効率と生成品質の両方に大きな改善をもたらす。
  論文  参考訳（メタデータ） (2024-10-09T14:34:53Z)
• VIRL: Volume-Informed Representation Learning towards Few-shot Manufacturability Estimation [0.0]
  本研究は,3次元幾何エンコーダの事前学習のためのボリュームインフォームド表現学習手法であるVIRLを紹介する。 VIRLによって事前訓練されたモデルでは,データ制限による一般化性の向上が大幅に向上した。
  論文  参考訳（メタデータ） (2024-06-18T05:30:26Z)
• Enhancing Noise Robustness of Retrieval-Augmented Language Models with Adaptive Adversarial Training [39.21885486667879]
  大型言語モデル(LLM)は、幻覚、時代遅れの知識、追跡不能な推論プロセスなどの課題に遭遇する重大な能力を示す。 Retrieval-augmented Generation(RAG)は、これらの課題を軽減するために、外部データベースからの知識を統合する、有望なソリューションとして登場した。 本稿では,RAAT(Retrieval-augmented Adaptive Adrial Training)として知られる新しいRAGアプローチを提案する。
  論文  参考訳（メタデータ） (2024-05-31T16:24:53Z)
• Reinforcement Learning from Delayed Observations via World Models [10.298219828693489]
  強化学習環境では、エージェントはそれらを取るとすぐに行動の効果についてのフィードバックを受ける。 実際には、この仮定は物理的制約のために当てはまらない可能性があり、学習アルゴリズムの性能に大きな影響を及ぼす可能性がある。 本稿では、過去の観測と学習のダイナミクスを統合することに成功している世界モデルを活用して、観測遅延を処理することを提案する。
  論文  参考訳（メタデータ） (2024-03-18T23:18:27Z)
• Take the Bull by the Horns: Hard Sample-Reweighted Continual Training Improves LLM Generalization [165.98557106089777]
  大きな言語モデル(LLM)の能力を高めることが大きな課題だ。 本研究は,従来の事前学習データセットを用いたLCMの光連続訓練に関する実証的戦略から始まった。 次に、この戦略をインスタンス重み付け分散ロバスト最適化の原則化されたフレームワークに定式化します。
  論文  参考訳（メタデータ） (2024-02-22T04:10:57Z)
• VIBR: Learning View-Invariant Value Functions for Robust Visual Control [3.2307366446033945]
  VIBR (View-Invariant Bellman Residuals) は、マルチビュートレーニングと不変予測を組み合わせて、RLベースのビジュモータ制御における分配ギャップを削減する手法である。 視覚摂動の高い複雑なビジュオモータ制御環境において,VIBRは既存の手法よりも優れていることを示す。
  論文  参考訳（メタデータ） (2023-06-14T14:37:34Z)
• Challenges and Opportunities in Offline Reinforcement Learning from Visual Observations [58.758928936316785]
  連続的な行動空間を持つ視覚的観察からオフラインの強化学習は未探索のままである。 2つの一般的な視覚に基づくオンライン強化学習アルゴリズムの変更は、既存のオフラインRL法より優れていることを示す。
  論文  参考訳（メタデータ） (2022-06-09T22:08:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。