論文の概要: Stop Thinking, Start Looking: Efficient Post-Training for Multimodal Document Question Answering via Reasoning-Free Alignment
- arxiv url: http://arxiv.org/abs/2607.14682v1
- Date: Thu, 16 Jul 2026 07:43:39 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-07-17 17:01:33.031016
- Title: Stop Thinking, Start Looking: Efficient Post-Training for Multimodal Document Question Answering via Reasoning-Free Alignment
- Title（参考訳）: 考えるのをやめて、見始める: 推論のないアライメントによるマルチモーダル文書質問応答の効率的なポストトレーニング
- Abstract要約: マルチモーダル文書QAにグループ相対ポリシー最適化を適用するトレーニングフレームワークであるPerception-RFTを紹介する。
推論可能なモデルは,4Bパラメータ尺度で直接知覚に基づくポリシーに収束して,学習中の推論トレースを抑制する。
初期のSFT$rightarrow$RLトランジションは65%のトレーニングデータで同等の精度を実現する。
- 参考スコア（独自算出の注目度）: 2.8730465903425877
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Efficient multimodal document question answering with explicit visual grounding, locating the precise document region that supports each answer remains an open challenge. Current approaches bifurcate into Supervised Fine-Tuning (SFT), which requires large annotated datasets and reaches optimization plateaus, and reasoning-centric Reinforcement Learning (RL), which depends on verbose intermediate traces that inflate inference token cost without clear benefit. We introduce Perception-RFT, a training framework that applies Group Relative Policy Optimization (GRPO) to multimodal document QA, bypassing intermediate reasoning tokens to directly align visual features with structured grounding outputs. To rigorously evaluate the necessity of reasoning, we construct a reasoning variant under identical reward settings. We find that reasoning-enabled models suppress their reasoning traces during training, converging to direct perception-based policies at the 4B parameter scale, reducing per-query inference token length by more than 60%, while reasoning-enabled RL underperforms perception-only training. Through a fine-grained analysis of Qwen3-VL-4B optimization dynamics, we confirm that SFT saturation and cold-start RL instability established in text-domain post-training extend to multimodal, and identify a previously uncharacterized Grounding Divergence: a selective trade-off between semantic robustness and geometric precision on two out of distribution (OOD) benchmarks (4,828 samples) under joint RL optimization. We further show that an early SFT$\rightarrow$RL transition achieves comparable precision with 65% less training data.
- Abstract（参考訳）: 視覚的根拠を明示した効率的なマルチモーダル文書質問は、各回答をサポートする正確な文書領域を特定することは、依然としてオープンな課題である。
現在のアプローチでは、大きなアノテートデータセットを必要とし、最適化プレートに到達するSupervised Fine-Tuning (SFT) と、推論トークンコストを明確な利益なしに増加させる冗長な中間トレースに依存する推論中心強化学習 (RL) に分岐している。
本稿では,マルチモーダル文書QAにグループ相対ポリシー最適化(GRPO)を適用するトレーニングフレームワークであるPerception-RFTを紹介する。
推論の必要性を厳格に評価するために、同じ報酬設定の下で推論変種を構築する。
推論可能なモデルでは、4Bパラメータスケールで直接知覚に基づくポリシーに収束し、クエリごとの推論トークン長を60%以上削減し、推論可能なRLは認識のみのトレーニングを過小評価する。
Qwen3-VL-4B最適化の微粒化解析により、テキストドメインのポストトレーニングで確立されたSFT飽和度とコールドスタートRL不安定度がマルチモーダルにまで拡大することを確認し、従来は特徴のないグラウンドングディバージェンスを同定する: セマンティックロバスト性と2つのアウトオブディストリビューション(OOD)ベンチマーク(4,828サンプル)の幾何的精度のトレードオフを、共同RL最適化の下で選択する。
さらに、初期のSFT$\rightarrow$RL遷移が65%のトレーニングデータで同等の精度を達成することを示す。
関連論文リスト
- Is Next-Chunk Reasoning RL Really Better than SFT? Revisiting Training Strategies under no-CoT Data [48.92748013043833]
また,Mixed SFTは,RLよりも明らかに高い性能を示すことを示す。
また,RLVR前精度は必ずしも高次RLVR後精度に変換されないことを示した。
論文 参考訳（メタデータ） (2026-08-24T13:47:45Z) - REVES: REvision and VErification--Augmented Training for Test-Time Scaling [53.197756110943395]
本稿では,オンラインデータ/プロンプト拡張とポリシー最適化を交互に行う2段階反復フレームワークを提案する。
我々は、RLベースライン上の+6.5点と、標準マルチターントレーニングにおける+4.0点の利得を観察する。
論文 参考訳（メタデータ） (2026-06-17T10:37:23Z) - TARo: Token-level Adaptive Routing for LLM Test-time Alignment [15.824259013420807]
TARoステアは、推論時に完全に構造化された推論に向けて、大きな言語モデルを凍結した。
大規模な実験により、TARoはベースモデルで最大+22.4%の推論性能を著しく改善することが示された。
TARoはまた、小から大のバックボーンから再訓練せずに一般化する。
論文 参考訳（メタデータ） (2026-03-19T02:18:40Z) - Answer First, Reason Later: Aligning Search Relevance via Mode-Balanced Reinforcement Learning [7.006180736433431]
低レイテンシと高パフォーマンスを実現する検索関連モデルを構築することは、検索業界において長年の課題である。
我々は,新しいtextbfAnswer-First, Reason Later(AFRL)パラダイムを提案する。
このパラダイムでは、モデルが第1のトークンで決定的な関連性スコアを出力し、続いて構造化された論理的説明を行う必要がある。
論文 参考訳（メタデータ） (2026-02-10T17:28:12Z) - Hard Negative Sample-Augmented DPO Post-Training for Small Language Models [4.425580048633862]
本稿では,現実的な計算予算下での構造化エラーを対象とする,軽量で実用的なポストトレーニングパイプラインを提案する。
本研究では,候補解を6次元の誤差プロファイルに分解し,解釈可能な誤りと不条理のスコアに集約するコンパクトなMathVerifierを提案する。
実験により、検証対象の重み付きDPOは、バニラSFTや未重み付きDPOよりも目標となる改善をもたらすことが示された。
論文 参考訳（メタデータ） (2025-12-17T06:15:52Z) - Enhancing the Outcome Reward-based RL Training of MLLMs with Self-Consistency Sampling [90.87033586963828]
マルチモーダル大言語モデル(MLLM)のステップ・バイ・ステップ推論を洗練させる手段としては,アウトカム・リワード強化学習(RL)が一般的であり,ますます重要になっている。
この問題を修正するために,自己整合サンプリング(SCS)を提案する。
Qwen2.5-VL-7B-インストラクトに基づいて、SCSは、無視できる余分な計算を伴う6つのマルチモーダルベンチマークにおいて、最大7.7ポイントの精度を向上する。
論文 参考訳（メタデータ） (2025-11-13T18:59:57Z) - Reinforcing Video Reasoning with Focused Thinking [65.85683941058916]
本稿では,集中的思考と深い報酬の粒度で視覚的推論を強化する新しいフレームワークであるTW-GRPOを提案する。
具体的には,高情報密度のトークンを優先するトークン重み付け機構を用いる。
また,シングルチョイスからマルチチョイスQAタスクにシフトすることで,RLトレーニングを再構築する。
論文 参考訳（メタデータ） (2025-05-30T15:42:19Z) - Interleaved Reasoning for Large Language Models via Reinforcement Learning [22.403928213802036]
ロングチェーン・オブ・シント(CoT)は、大規模言語モデル(LLM)推論能力を向上する。
本稿では、強化学習(RL)を用いてLLMを指導し、マルチホップ質問に対する思考と回答をインターリーブする新しい学習パラダイムを提案する。
論文 参考訳（メタデータ） (2025-05-26T07:58:17Z) - Token-Efficient RL for LLM Reasoning [0.02488650627593658]
本稿では,大規模言語モデル (LLM) において,厳密なメモリと計算限界下での推論に適した強化学習戦略を提案する。
ベースラインサブトラクションを用いた早期ポリシー勾配法に基づいて,出力トークンの小さな情報サブセット上で動作する批判のない手法を設計する。
提案手法は,SVAMPベンチマークの精度を46%から70%以上に向上し,マルチ桁乗算において高い性能を示した。
論文 参考訳（メタデータ） (2025-04-29T14:58:43Z) - The First Few Tokens Are All You Need: An Efficient and Effective Unsupervised Prefix Fine-Tuning Method for Reasoning Models [69.798277882245]
大規模言語モデルの推論効率を向上させるために,Unsupervised Prefix Fine-Tuning (UPFT)を導入した。
UPFTはラベル付きデータや徹底的なサンプリングの必要性を取り除く。
実験の結果,UPFTは教師付き手法の性能と一致していることがわかった。
論文 参考訳（メタデータ） (2025-03-04T18:56:03Z) - All Roads Lead to Likelihood: The Value of Reinforcement Learning in Fine-Tuning [49.43901716932925]
基礎モデルファインチューニング(FT)における最強の結果は,比較的複雑な2段階の訓練手順によって達成されることを示す。
具体的には、オンラインフィードバックを提供するために使用する前に、まず、あるデータセット(例えば、人間の好み)に報酬モデル(RM)をトレーニングする。
生成検証ギャップの問題に対して、比較的単純なRMを選好データから学習することは比較的容易である、という説明を最も支持している。
論文 参考訳（メタデータ） (2025-03-03T00:15:19Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。