論文の概要: V-Rubrics: Visual Faithfulness via Rubric-Based Reinforcement Learning

• arxiv url: http://arxiv.org/abs/2608.25580v1
• Date: Wed, 26 Aug 2026 09:40:46 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-27 14:15:15.722974
• Title: V-Rubrics: Visual Faithfulness via Rubric-Based Reinforcement Learning
• Title（参考訳）: V-Rubrics:Rubric-based Reinforcement Learningによる視覚的忠実度
• Authors: Shulin Tian, Minglun Li, Yuhao Dong, Hao Ding, Jiarui Yao, Haiwen Diao, Jingkang Yang, Hongyuan Zhu, Ziwei Liu,
• Abstract要約: 視覚サンプルモデルでは、視覚的証拠が不十分な流動的な答えを生み出すことができる。 本稿では,参照応答を原子命題に分解するVisuals-Based Reinforcement Learningを紹介する。 我々は,コンポーネントワイド,プレフィックスローカライズされたルーリッククレジットを用いて,同じSFTチェックポイントに基づいてモデルをトレーニングする。
• 参考スコア（独自算出の注目度）: 59.47823383593251
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Vision-language models can produce fluent answers that are insufficiently grounded in the visual evidence: a single unsupported object, chart value, or intermediate inference can undermine an otherwise plausible response. We argue that this is a credit-assignment failure in multimodal post-training. Scalar outcome rewards indicate whether an answer is acceptable, but do not identify which visual facts are grounded, which reasoning steps are valid, or which instruction constraints are missed. We introduce Visual Rubrics-Based Reinforcement Learning, which decomposes reference responses into atomic propositions and scores generated answers along Visual Faithfulness (VF), Reasoning Consistency (RC), and Instruction Following (IF). The resulting rubric items provide structured partial credit and localize rubric credit when supporting evidence spans are available. We first obtain an SFT checkpoint by fine-tuning Qwen3-VL-8B-Instruct on the public OpenMMReasoner-SFT-874K corpus, adapting OpenMMReasoner's cold-start data recipe. We construct V-Rubrics 50K, a 50,248-example training set from 17 visually grounded sources, by applying rule-based filters before deriving example difficulty from rejection-sampling scores and then annotating every example with Gemini-3-Pro under the same structured prompt and protocol. We train our model based on the same SFT checkpoint using component-wise, prefix-localized rubric credit. Experiments show that our rubricbased GRPO improves over both the shared SFT baseline and answer-only GRPO, with the largest gains on knowledge-oriented and visually grounded reasoning benchmarks. The results show rubrics as a useful reward abstraction for visual post-training.
• Abstract（参考訳）: 視覚言語モデルは、視覚的エビデンスに不十分な流動的な答えを生成することができる: 単一のサポート対象、チャート値、中間推論は、そうでなければ妥当な応答を損なう可能性がある。 これは、マルチモーダルなポストトレーニングにおけるクレジットアサインメントの失敗である、と我々は主張する。 よりスケーラブルな結果報酬は、答えが受け入れられているかどうかを示すが、どの視覚的事実が根拠になっているか、どの推論ステップが有効か、どの命令制約が欠落しているかは特定しない。 本稿では,参照応答をアトミックな命題に分解し,VF(Visual Faithfulness),RC(Reasoning Consistency),IF(Instruction following)に沿って生成した回答をスコア化するビジュアルラブラクスに基づく強化学習を紹介する。 得られたルーリックアイテムは、構造化された部分クレジットを提供し、証拠が利用可能であるときにルーリッククレジットをローカライズする。 まず、OpenMMReasoner-SFT-874Kコーパス上でQwen3-VL-8B命令を微調整し、OpenMMReasonerのコールドスタートデータレシピを適用してSFTチェックポイントを得る。 V-Rubrics 50Kは、17個の視覚的根拠を持つ50,248個のサンプルトレーニングセットであり、規則に基づくフィルタを適用して、拒絶サンプリングスコアからサンプルの難易度を導出し、同じ構造化されたプロンプトとプロトコルの下でGemini-3-Proですべてのサンプルを注釈付けする。 我々は,コンポーネントワイド,プレフィックスローカライズされたルーリッククレジットを用いて,同じSFTチェックポイントに基づいてモデルをトレーニングする。 実験の結果,我々のルーリックベースのGRPOは,共有SFTベースラインと回答のみのGRPOの両方よりも改善され,知識指向および視覚的根拠に基づく推論ベンチマークにおいて最大の利益が得られた。 その結果,視覚的後トレーニングに有用な報酬抽象化としてルーブリックが得られた。

関連論文リスト

• Rethinking Reward Supervision: Rubric-Conditioned Self-Distillation [60.55792673956761]
  我々は, ルブリックを構造化, きめ細かいフィードバックとして組み込んだフレームワークであるtextbfRubric-Conditioned Self-Distillationを提案する。 その結果, ルーリック条件の自己蒸留は, ルーリックレベルの基準をトークンレベルのガイダンスに効果的に変換することを示した。
  論文  参考訳（メタデータ） (2026-06-17T17:54:04Z)
• QUBRIC: Co-Designing Queries and Rubrics for RL Beyond Verifiable Rewards [68.15832368034815]
  クエリとルーブリックを共同設計するフレームワークを提案する。 QUBRICはSFTベースラインよりもアリーナハードで+5.5ポイントのゲインを達成している。
  論文  参考訳（メタデータ） (2026-06-02T17:53:04Z)
• From Verifiable Dot to Reward Chain: Harnessing Verifiable Reference-based Rewards for Reinforcement Learning of Open-ended Generation [52.62655622099456]
  検証基準ベース報酬(RLVRR)を用いた強化学習を提案する。 最後の答えをチェックする代わりに、RLVRRは高品質な参照(すなわち報酬連鎖)から順序付けられた言語信号を抽出する。 このようにして、RLVRRは報酬を2つの次元に分解する。
  論文  参考訳（メタデータ） (2026-01-26T14:39:58Z)
• Look As You Think: Unifying Reasoning and Visual Evidence Attribution for Verifiable Document RAG via Reinforcement Learning [55.232400251303794]
  Look As You Think (LAT)は、モデルをトレーニングし、一貫した帰属性を持った検証可能な推論パスを生成するための強化学習フレームワークである。 LATはシングルイメージとマルチイメージの両方でバニラモデルを一貫して改善し、平均ゲインは8.23%、IoU@0.5では47.0%となる。
  論文  参考訳（メタデータ） (2025-11-15T02:50:23Z)
• Enhancing Spatial Reasoning in Vision-Language Models via Chain-of-Thought Prompting and Reinforcement Learning [0.42855555838080844]
  本研究では,視覚言語モデル(VLM)の空間的推論能力について,Chain-of-Thoughtプロンプトと強化学習を通して検討した。 モデルが解答の前に推論ステップを生成する単純なCoT形式は、モデルの本来の性能を損なう可能性がある。 対照的に、シーングラフ(SceneGraph CoT)に基づく構造化マルチステージプロンプトは空間推論の精度を大幅に向上させる。
  論文  参考訳（メタデータ） (2025-07-06T10:51:12Z)
• SelfCheckGPT: Zero-Resource Black-Box Hallucination Detection for Generative Large Language Models [55.60306377044225]
  「SelfCheckGPT」は、ブラックボックスモデルの応答をファクトチェックする単純なサンプリングベースアプローチである。 本稿では,GPT-3を用いてWikiBioデータセットから個人に関するパスを生成する手法について検討する。
  論文  参考訳（メタデータ） (2023-03-15T19:31:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。