論文の概要: SPLIT-RL: Staged Perception-Language Reasoning Training with Claim-Level Advantages

• arxiv url: http://arxiv.org/abs/2610.10889v1
• Date: Wed, 07 Oct 2026 20:42:54 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-10 02:36:53.669622
• Title: SPLIT-RL: Staged Perception-Language Reasoning Training with Claim-Level Advantages
• Title（参考訳）: SPLIT-RL:クレームレベルアドバンテージを用いた段階的知覚言語推論訓練
• Abstract要約: Vision-Language (VL)推論は、画像から関連する情報と正確な情報を抽出するモデルを必要とする。 SPLIT-RL は,VR と LR を非交叉位相で訓練する段階的な後学習手法である。
• 参考スコア（独自算出の注目度）: 10.325044700090315
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Vision-Language (VL) reasoning requires a model to both extract relevant and accurate information from an image (visual reasoning, VR), and to infer the answer from it (language reasoning, LR). Reinforcement learning with verifiable rewards typically trains both through a single chain-of-thought with a final-answer reward. This gives every CoT token the same sequence-level advantage, failing to distinguish capability specific errors. We propose SPLIT-RL, a staged post-training approach that trains VR and LR in disjoint phases. Because a group's rollouts differ along one capability at a time, the group-relative advantage isolates it, and each phase is optimized using phase-specific reward. We further introduce Claim-Level Advantage (CLA-GRPO), which decomposes VR-phase rollouts into atomic visual claims and provides a fine-grained advantage at claim level based on visual-type group formation. Although trained in two phases, trained policy is evaluated like GRPO model, with a single CoT call at inference time. Under this protocol, SPLIT-RL improves average accuracy over GRPO by 1.4-6.1 points across Qwen3-VL models from 2B to 30B-A3B and InternVL3.5-8B. Evaluating each capability using an oracle based diagnostic shows that answer-only GRPO leaves perception unchanged, whereas SPLIT-RL improves both VR and LR.
• Abstract（参考訳）: 視覚言語推論(VL)は、画像(視覚的推論、VR)から関連情報と正確な情報を抽出し、その解答(言語推論、LR)を推論するモデルを必要とする。 検証可能な報酬を持つ強化学習は、典型的には、最終回答の報酬を持つ単一のチェーン・オブ・シントを通じて両方の訓練を行う。 これにより、すべてのCoTトークンに同じシーケンスレベルのアドバンテージが与えられ、機能固有のエラーを区別することができない。 SPLIT-RL は,VR と LR を非交叉位相で訓練する段階的な後学習手法である。 グループのロールアウトは一度に1つの能力によって異なるため、グループ相対的優位性はそれを分離し、各フェーズはフェーズ固有報酬を使用して最適化される。 さらに,VRフェーズのロールアウトを原子視覚クレームに分解するClam-Level Advantage (CLA-GRPO)を紹介する。 2つのフェーズでトレーニングされているにもかかわらず、トレーニングされたポリシはGRPOモデルのように評価され、推論時に単一のCoTコールが実行される。 このプロトコルの下で、SPLIT-RLは、Qwen3-VLモデル全体で2Bから30B-A3BとInternVL3.5-8BのGRPO平均精度を1.4-6.1ポイント向上させる。 オラクルベースの診断を用いて各能力を評価すると、回答のみのGRPOでは知覚が変化せず、SPLIT-RLはVRとLRの両方を改善している。

関連論文リスト

• Sparse but Critical: A Token-Level Analysis of Distributional Shifts in RLVR Fine-Tuning of LLMs [65.76530158565903]
  検証可能な報酬(RLVR)による強化学習は、大規模言語モデル(LLM)における推論を大幅に改善した。 本研究は,RLVRの分布効果に関する系統的研究である。 RLファインチューニングは, 基数とRLポリシーの間に有意なばらつきを示すトークン分布のごく一部で, 高度にスパースかつ目標となる変化を誘発することがわかった。
  論文  参考訳（メタデータ） (2026-03-23T18:17:15Z)
• CLIPO: Contrastive Learning in Policy Optimization Generalizes RLVR [10.821950260274066]
  RLVRによる強化学習は大規模言語モデル(LLM)の推論能力を大幅に向上させた。 プロセスに反するが結果の正しいロールアウトのトレーニングは、幻覚と回答コピーにつながる可能性がある。 RLVRプロセスの一般化のために,コントラスト学習機構を政策最適化(CLIPO)に組み込んだ。
  論文  参考訳（メタデータ） (2026-03-10T17:59:54Z)
• Puzzle Curriculum GRPO for Vision-Centric Reasoning [7.117453620224407]
  本稿では,PC-GRPO(Puzzle Curriculum GRPO)について紹介する。 PC- GRPO はラベルを PatchFit と Rotation (バイナリ報酬付き) と Jigsaw (部分クレジット緩和報酬幅のグレード付き) の3つの自己教師型パズル環境に置き換える 平らな報酬に対処し,グループ相対的優位性を解消するために,サンプルやピークを動的に重み付けする難易度対応カリキュラムを中難度で導入する。
  論文  参考訳（メタデータ） (2025-12-16T22:17:25Z)
• More Than the Final Answer: Improving Visual Extraction and Logical Consistency in Vision-Language Models [74.10138874771852]
  RLVR上で視覚知覚とテキスト推論を別々に改善する分離されたフレームワークであるPeRL-VL(Perception and Reasoning Learning for Vision-Language Models)を提案する。 知覚のために、PeRL-VLはVLMに基づく説明報酬を導入し、モデルの自己生成した画像記述を忠実さと満足度で評価する。 推論のために、PeRL-VLは論理に富んだチェーン・オブ・シントデータに関するテキストのみの推論SFTステージを追加し、コヒーレンスと論理的一貫性を視覚と独立に強化する。
  論文  参考訳（メタデータ） (2025-12-13T23:06:18Z)
• Self-Improving Vision-Language-Action Models with Data Generation via Residual RL [29.682761652941963]
  Probe, Learn, Distill (PLD)は3段階のプラグイン・アンド・プレイフレームワークで、視覚言語アクションモデルを改善する。 PLDはLIBEROでほぼ飽和した99%のタスク成功、SimplerEnvで50%以上、実世界のFrankaとYAMのアーム操作タスクで100%成功している。
  論文  参考訳（メタデータ） (2025-10-30T06:24:04Z)
• DRL: Discriminative Representation Learning with Parallel Adapters for Class Incremental Learning [63.65467569295623]
  本稿では,これらの課題に対処するための差別的表現学習(DRL)フレームワークを提案する。 逐次学習を効果的かつ効率的に行うために、DRLのネットワークはPTM上に構築される。 我々のDRLは、CIL時代を通して、他の最先端の手法よりも一貫して優れています。
  論文  参考訳（メタデータ） (2025-10-14T03:19:15Z)
• GRPO-CARE: Consistency-Aware Reinforcement Learning for Multimodal Reasoning [53.894789613838654]
  我々は、複雑な実世界のビデオにバランスの取れた知覚と推論を必要とするベンチマークであるSEED-Bench-R1を紹介する。 SEED-Bench-R1を用いて、標準GRPOは解の精度を向上する一方で、推論ステップと解の論理的コヒーレンスを57.9%の一貫性で減少させる。 応答の正しさと推論コヒーレンスの両方を明示的な監督なしに最適化する整合性を考慮したRLフレームワークGRPO-CAREを提案する。
  論文  参考訳（メタデータ） (2025-06-19T08:49:13Z)
• RAGEN: Understanding Self-Evolution in LLM Agents via Multi-Turn Reinforcement Learning [125.96848846966087]
  対話型エージェントとしての大規模言語モデル(LLM)のトレーニングには,ユニークな課題がある。 強化学習は静的タスクの進行を可能にする一方で、マルチターンエージェントRLトレーニングは未探索のままである。 本稿では、軌道レベルのエージェントRLのための一般的なフレームワークであるStarPOを提案し、LLMエージェントのトレーニングと評価のためのモジュールシステムであるRAGENを紹介する。
  論文  参考訳（メタデータ） (2025-04-24T17:57:08Z)
• Test-Time Adaptation with CLIP Reward for Zero-Shot Generalization in Vision-Language Models [76.410400238974]
  モデル出力を補正し、モデルが盲目的に自信を持たないようにするためのフィードバック付きTTAを提案する。 CLIPモデルは、TTA中に報酬モデルとして採用され、VLMにフィードバックを提供する。 提案したCLIPフィードバック(RLCF)フレームワークによるテキスト強化学習は非常に柔軟で普遍的である。
  論文  参考訳（メタデータ） (2023-05-29T11:03:59Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。