論文の概要: PerceptRL: Making Visual Perception Rewardable in MLLMs from Answers to Interactions

• arxiv url: http://arxiv.org/abs/2610.37471v1
• Date: Tue, 27 Oct 2026 16:04:10 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-28 21:04:31.685253
• Title: PerceptRL: Making Visual Perception Rewardable in MLLMs from Answers to Interactions
• Title（参考訳）: PerceptRL:回答からインタラクションへのMLLMにおける視覚知覚の逆行性の実現
• Abstract要約: 本稿では2つの相補的なレベルで知覚を強化するPerceptRLを提案する。 PerceptRLは、高密度画像キャプションから検証されたエラーを抽出するために、マルチエージェントパイプラインを使用する。 対応する視覚的事実を、固定された回答ラベルとルールベースの報酬を備えたQAペアに変換する。
• 参考スコア（独自算出の注目度）: 40.511697058891244
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Fine-grained visual perception remains a bottleneck during post-training of multimodal large language models (MLLMs), as perceptual errors can constrain gains from reasoning-focused optimization. Although image-caption pre-training improves perception, its influence can weaken as subsequent stages change data mixtures and objectives. Continuing caption supervision during post-training is challenging because subjective, information-dense descriptions complicate verifiable reward design. We present PerceptRL, which strengthens perception at two complementary levels. Perception RL uses a multi-agent pipeline to extract verified errors from dense image captions and convert the corresponding visual facts into QA pairs with fixed answer labels and rule-based rewards. Chain QA links correlated errors, while multiple-choice QA combines unrelated errors. A specialized route targets high-error domains with tailored verification, and a domain-agnostic general route covers errors beyond these domains. Perception Agentic RL addresses fine-grained and dense cases unresolved by single-turn Perception RL through multi-turn inspection with visual tools. We observe coordinate drift even in models trained to use tools, where incorrect crops or annotations distort evidence and propagate errors. Coordinate Injection corrects spatial operations in cold-start trajectories, while a grounding-aware process reward supervises intermediate spatial fidelity alongside final-answer correctness. Training proceeds through shared cold-start SFT, single-turn Perception RL, and multi-turn Perception Agentic RL. Across seven benchmarks under a shared tool-use protocol, PerceptRL achieves 71.6% average accuracy, surpassing the base model with the same tools and the strongest evaluated frontier VLM by 15.7 and 5.2 percentage points, respectively.
• Abstract（参考訳）: 微粒な視覚知覚は、多モーダル大言語モデル(MLLM)の訓練後のボトルネックであり、知覚的誤差は推論に焦点をあてた最適化によるゲインを制限できる。 イメージキャプション事前学習は知覚を改善するが、後続の段階がデータ混合と目的を変化させるにつれてその影響は弱まる。 インフォメーション・インフォメーション・インフォメーション・インフォメーション・インフォメーション・インフォメーション・インフォメーション・インフォメーション・インフォメーション・インフォメーション・インフォメーション・インフォメーション・インフォメーション・インフォメーション・インフォメーション・インフォメーション・インフォメーション・インフォメーション・インフォ 本稿では2つの相補的なレベルで知覚を強化するPerceptRLを提案する。 知覚RLはマルチエージェントパイプラインを使用して、高密度の画像キャプションから検証されたエラーを抽出し、対応する視覚的事実を、固定された回答ラベルとルールベースの報酬を持つQAペアに変換する。 連鎖QAは相関エラーをリンクし、多重選択QAは非関連エラーを結合する。 特定の経路は、調整された検証を伴うハイエラードメインをターゲットにしており、ドメインに依存しない一般的な経路は、これらの領域を超えたエラーをカバーしている。 知覚エージェントRLは、視覚ツールを用いた多ターン検査により、単ターン知覚RLで解決されていないきめ細かな高密度ケースに対処する。 我々は、不正な作物やアノテーションが証拠を歪め、エラーを伝播させるような、ツールの使用を訓練されたモデルでさえ、座標ドリフトを観察する。 コーディネート・インジェクションはコールドスタート軌道における空間操作を補正し、グラウンドング・アウェア・プロセス・リワードは最終回答の正しさとともに中間空間忠実度を監督する。 トレーニングは、共有コールドスタートSFT、シングルターンパーセプションRL、マルチターンパーセプションエージェントRLを通じて行われる。 共有ツール使用プロトコルの下での7つのベンチマークで、PerceptRLは71.6%の平均精度を達成し、同じツールでベースモデルを上回り、評価された最強のフロンティアVLMを15.7と5.2のポイントで上回った。

関連論文リスト

• Falcon Perception-HD: High Density Perception via Reinforcement Learning [17.45540959731451]
  訓練後の強化学習は、自己回帰知覚モデルと評価指標を一致させることができる。 複雑な参照表現と非常に密集したシーンに適した2つのハイブリッド自己アノテーションパイプラインを構築した。 偽陰性と正を罰する単純な報奨が十分であることを示す。
  論文  参考訳（メタデータ） (2026-08-19T13:01:00Z)
• Stop Thinking, Start Looking: Efficient Post-Training for Multimodal Document Question Answering via Reasoning-Free Alignment [2.8730465903425877]
  マルチモーダル文書QAにグループ相対ポリシー最適化を適用するトレーニングフレームワークであるPerception-RFTを紹介する。 推論可能なモデルは,4Bパラメータ尺度で直接知覚に基づくポリシーに収束して,学習中の推論トレースを抑制する。 初期のSFT$rightarrow$RLトランジションは65%のトレーニングデータで同等の精度を実現する。
  論文  参考訳（メタデータ） (2026-07-16T07:43:39Z)
• REVES: REvision and VErification--Augmented Training for Test-Time Scaling [53.197756110943395]
  本稿では,オンラインデータ/プロンプト拡張とポリシー最適化を交互に行う2段階反復フレームワークを提案する。 我々は、RLベースライン上の+6.5点と、標準マルチターントレーニングにおける+4.0点の利得を観察する。
  論文  参考訳（メタデータ） (2026-06-17T10:37:23Z)
• Improving Vision-language Models with Perception-centric Process Reward Models [94.51962346430248]
  トークンレベルのエラーグラウンドを可能にするプロセス報酬モデル(PRM)であるPercevalを提案する。 Percevalは、知覚集約的な教師付きトレーニングデータで訓練される。 次に、ポリシーモデルをトレーニングするために、PercevalをRLトレーニングプロセスに統合します。
  論文  参考訳（メタデータ） (2026-04-27T15:08:02Z)
• RCP: Representation Consistency Pruner for Mitigating Distribution Shift in Large Vision-Language Models [24.3914653184824]
  LVLM(Large Vision-Language Models)は、言語デコーダによって処理される膨大な数の視覚トークンによって、推論の禁止コストに悩まされる。 既存のプルーニング法は、視覚トークンの可逆的な除去が、事前訓練されたフルトケン状態から逸脱した隠れ状態の分布シフトを引き起こすため、大きな性能劣化を引き起こすことが多い。 本稿では,累積的視覚トークンプルーニングと遅延修復機構を統合した一貫性表現プルーナを提案する。
  論文  参考訳（メタデータ） (2026-04-04T13:31:45Z)
• CARE What Fails: Contrastive Anchored-REflection for Verifiable Multimodal [84.71254539482369]
  検証可能な報酬を伴うグループ相対的強化学習(RLVR)は、しばしば、すでに失敗している最も情報に富むデータを浪費する。 エラーを監督するマルチモーダル推論のための,障害中心のポストトレーニングフレームワークであるCAREを提案する。 CAREは正確さを改善し、スムーズさをトレーニングすると同時に、障害からの学習信号のシェアを明示的に増やします。
  論文  参考訳（メタデータ） (2025-12-22T16:34:21Z)
• Hard Negative Sample-Augmented DPO Post-Training for Small Language Models [4.425580048633862]
  本稿では,現実的な計算予算下での構造化エラーを対象とする,軽量で実用的なポストトレーニングパイプラインを提案する。 本研究では,候補解を6次元の誤差プロファイルに分解し,解釈可能な誤りと不条理のスコアに集約するコンパクトなMathVerifierを提案する。 実験により、検証対象の重み付きDPOは、バニラSFTや未重み付きDPOよりも目標となる改善をもたらすことが示された。
  論文  参考訳（メタデータ） (2025-12-17T06:15:52Z)
• Enhancing the Outcome Reward-based RL Training of MLLMs with Self-Consistency Sampling [90.87033586963828]
  マルチモーダル大言語モデル(MLLM)のステップ・バイ・ステップ推論を洗練させる手段としては,アウトカム・リワード強化学習(RL)が一般的であり,ますます重要になっている。 この問題を修正するために,自己整合サンプリング(SCS)を提案する。 Qwen2.5-VL-7B-インストラクトに基づいて、SCSは、無視できる余分な計算を伴う6つのマルチモーダルベンチマークにおいて、最大7.7ポイントの精度を向上する。
  論文  参考訳（メタデータ） (2025-11-13T18:59:57Z)
• Local Coherence or Global Validity? Investigating RLVR Traces in Math Domains [13.626335241662977]
  Reinforcement Learning with Verifiable Rewards (RLVR)-based post-training of Large Language Models (LLMs) は、推論タスクの精度を向上させることが示されている。 直接インセンティブのない中間トークンに対するRLポストトレーニングの効果について検討する。
  論文  参考訳（メタデータ） (2025-10-20T23:58:31Z)
• Metacognitive Self-Correction for Multi-Agent System via Prototype-Guided Next-Execution Reconstruction [58.51530390018909]
  大規模言語モデルに基づくマルチエージェントシステムは、協調的な問題解決において優れているが、エラーのカスケードには脆弱である。 我々は,MASにリアルタイム,教師なし,ステップレベルの誤り検出と自己補正を付与するメタ認知フレームワークMASCを提案する。
  論文  参考訳（メタデータ） (2025-10-16T05:35:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。