論文の概要: Same Reward, Different Skills: When Multimodal RL Learns to Look

• arxiv url: http://arxiv.org/abs/2610.01908v1
• Date: Thu, 01 Oct 2026 15:53:22 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-03 01:19:24.236817
• Title: Same Reward, Different Skills: When Multimodal RL Learns to Look
• Title（参考訳）: マルチモーダルRLが見た目を学ぶとき
• Abstract要約: テスト中の画像では、ブラインドトレーニングされたモデルは3Bで実像の約半分を回復する。 長時間のリアルタイムトレーニングは、ベンチマークゲインが持続する間、グラウンドングを省くことができる。
• 参考スコア（独自算出の注目度）: 10.277374923992229
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Reinforcement learning with verifiable rewards (RLVR) improves vision-language benchmark scores even without visual information during training. With images at test, blind-trained models recover roughly half of the real-image gain at 3B and nearly four fifths at 7B. Prolonged real-image training can erode grounding while benchmark gains persist. Both findings expose the same gap: an image in the prompt is not an image in the learning signal. Our design rule, visual resolvability, asks that visual evidence be necessary for a correct answer and that the task remain learnable. We test it on counterfactual coordinate scenes in which the question stays fixed and the target is never named, so a correct answer requires finding the target in the image. With standard GRPO and correctness-and-format rewards, a 7B model raises its accuracy at finding the target (discovery) from 0.425 to 0.875 on held-out scenes denser than any it trained on, and it improves on question types it never trained on. Two controls locate the source of the gain. Replacing test images with gray canvases drops discovery to zero; training on gray canvases instead, at matched step 30 and in each of four seeds, yields essentially none of the gain even when the model is then tested with real images. The learned skill carries over to grounding tasks built independently of the training corpus. A caption that answers the training question, added to the same images, reward and budget, cuts the gain by nearly two thirds. Changing what reward requires changes what RL learns.
• Abstract（参考訳）: 検証可能な報酬(RLVR)による強化学習は、トレーニング中に視覚情報なしでもビジョンベンチマークスコアを改善する。 テスト中の画像では、ブラインドトレーニングされたモデルは3Bのリアルタイム画像の約半分を回復し、7Bの4分の1近くを回復する。 長時間のリアルタイムトレーニングは、ベンチマークゲインが持続する間、グラウンドングを省くことができる。 どちらの発見も、同じギャップを露呈している。プロンプト内の画像は、学習信号内の画像ではない。 我々の設計規則である視覚的可解性は、正しい答えには視覚的証拠が必要であり、その課題は学習可能であることを要求する。 我々は,質問が固定され,対象が名付けられない対実的な座標シーンでテストするので,正解には画像中のターゲットを見つける必要がある。 7Bモデルでは、標準のGRPOと正当性と形式的な報酬により、トレーニングされたどのシーンよりも密集したホールトアウトシーンにおいて、目標(発見)を0.425から0.875まで精度を高め、トレーニングされていない質問タイプを改善する。 2つのコントロールが利得のソースを特定する。 グレーのキャンバスでテストイメージを置き換えると、発見はゼロに落ちる。代わりに、マッチしたステップ30と4つのシードでグレーのキャンバスでトレーニングすると、モデルが実際のイメージでテストされたとしても、基本的に利益は得られない。 学習したスキルは、トレーニングコーパスとは独立して構築された接地タスクへと引き継がれる。 トレーニングの質問に答えるキャプションは、同じイメージ、報酬、予算に加えられ、約3分の2の利得を削減します。 報酬を変えるには、RLが学ぶものを変える必要がある。

関連論文リスト

• TaRL: Learning General and Physical Rewards from Tactile Demonstrations [4.821277948970684]
  接触に富んだ操作には、ロボットが正確な接触をシークエンスし、安定した握力を維持し、指示力を適用する必要がある。 視覚的な報酬学習は、アクションフリーのデモンストレーションから報酬を推測することでこの問題に対処する。 触覚の実証から報酬を学習するフレームワークである触覚リワード学習(TaRL)を提案する。
  論文  参考訳（メタデータ） (2026-09-29T05:56:43Z)
• Does YOLO Really Need to See Every Training Image in Every Epoch? [58.97843527861311]
  YOLO検出器は高速な推論速度で知られていますが、トレーニングには予期せぬ時間がかかります。 本稿では,どの画像を使用するべきかを動的に決定するアンチフォッティングサンプリング戦略(AFSS)を提案する。 AFSSはYOLOシリーズ検出器のトレーニングスピードアップを1.43ドル以上達成し、精度も向上した。
  論文  参考訳（メタデータ） (2026-03-18T12:59:39Z)
• Train for Truth, Keep the Skills: Binary Retrieval-Augmented Reward Mitigates Hallucinations [103.16279860448874]
  新たな二分探索強化報酬(RAR)を用いたオンライン強化学習手法を提案する。 オープンエンド世代では、バイナリRARは幻覚率を39.3%減少させる。 短い形式の質問応答では、モデルは、パラメトリック知識の不足に直面した時に、戦略的に"I don't know"を出力して、控えめに学習する。
  論文  参考訳（メタデータ） (2025-10-20T16:45:43Z)
• MiCo: Multi-image Contrast for Reinforcement Visual Reasoning [72.81576836419373]
  CoT(Chain-of-Thought)推論は、複数の画像に視覚的手がかりをリンクするために使用することができる。 視覚言語モデル(VLM)の規則に基づく強化学習に適応する 提案手法は,マルチイメージ推論ベンチマークにおいて大幅な改善を実現し,汎用視覚タスクにおいて高い性能を示す。
  論文  参考訳（メタデータ） (2025-06-27T17:59:27Z)
• Visual Pre-Training on Unlabeled Images using Reinforcement Learning [62.66487459225838]
  強化学習(RL)において、価値に基づくアルゴリズムは、それぞれの観察と状態とそれから到達しそうな報酬を関連付けることを学習する。 この定式化に類似した自己教師付き画像事前学習法が多数存在することが観察された。 RL問題として,Webクロールやビデオフレームなどのラベル付けされていない画像データに事前学習を直接キャストする手法を提案する。
  論文  参考訳（メタデータ） (2025-06-13T17:25:27Z)
• Should VLMs be Pre-trained with Image Data? [54.50406730361859]
  画像とテキストデータの混在による事前学習により、モデルが視覚言語タスクでより良いパフォーマンスを発揮できることがわかった。 平均6つの多様なタスクにおいて、1Bモデルに対して、事前学習による視覚トークンの80%を導入すると、完全に事前訓練されたモデルに視覚トークンを導入するよりも平均2%改善されることがわかった。
  論文  参考訳（メタデータ） (2025-03-10T17:58:19Z)
• Bringing Multimodality to Amazon Visual Search System [12.029571955133418]
  純粋な画像と画像のマッチングは、局所的な視覚パターンとのマッチングによって生じる偽陽性に悩まされることを示す。 具体的には、深層学習に画像テキストアライメントの損失を付加する。 この変化が画像マッチング問題に対する画像の大幅な改善につながることを示す。
  論文  参考訳（メタデータ） (2024-12-17T22:45:25Z)
• An Empirical Study of the Collapsing Problem in Semi-Supervised 2D Human Pose Estimation [80.02124918255059]
  半教師付き学習は、ラベルなし画像の探索によってモデルの精度を高めることを目的としている。 私たちは相互に教え合うために2つのネットワークを学びます。 各ネットワーク内の容易なイメージに関するより信頼性の高い予測は、他のネットワークに対応するハードイメージについて学ぶように教えるために使用される。
  論文  参考訳（メタデータ） (2020-11-25T03:29:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。