論文の概要: SIVA-RL: Sensitivity-Invariance Visual Alignment for Multimodal Reinforcement Learning

• arxiv url: http://arxiv.org/abs/2607.13931v1
• Date: Wed, 15 Jul 2026 15:13:02 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-16 16:39:12.820227
• Title: SIVA-RL: Sensitivity-Invariance Visual Alignment for Multimodal Reinforcement Learning
• Title（参考訳）: SIVA-RL:マルチモーダル強化学習のための感度不変視覚アライメント
• Abstract要約: 本稿では、SIVA-RLを用いて、演算子条件の正規化をサンプルワイド、結果条件の監視に置き換える手法を提案する。 SIVA-RLはトークン整列された距離制限された画像内パッチを通じて局所的な介入を構築する。 視力依存推論では8.79ポイント、GRPOとDAPOベースの4つの構成で14.9%の相対的な改善が達成されている。
• 参考スコア（独自算出の注目度）: 19.079142995255506
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Reinforcement learning with verifiable rewards (RLVR) drives multimodal reasoning, but answer-level correctness does not guarantee that a vision-language model grounds its predictions in visual evidence. Existing visual-intervention methods contrast policy behavior on original and modified images, yet assign supervision by the type of intervention rather than its observed effect. This assumption fails: identical operators produce heterogeneous outcomes across samples. We propose SIVA-RL, a Sensitivity-Invariance Visual Alignment framework that replaces operator-conditioned regularization with sample-wise, outcome-conditioned supervision. SIVA-RL constructs localized interventions through token-aligned, distance-constrained within-image PatchSwap. A frozen audit policy then scores each clean-intervention pair, and the observed reward drop becomes soft routing weights. Large-drop pairs drive sensitivity alignment, low-drop pairs drive clean-anchored invariance alignment, and ambiguous pairs are down-weighted. This design decouples intervention construction from supervision assignment and is compatible with both GRPO and DAPO backbones. Across nine multimodal reasoning benchmarks spanning mathematical, logical, and vision-dependent tasks, SIVA-RL improves 3B and 7B models over matched RL baselines in every setting. It yields an 8.79 percentage-point gain on vision-dependent reasoning and up to 14.9% relative overall improvement across all four GRPO- and DAPO-based configurations.
• Abstract（参考訳）: 検証可能な報酬付き強化学習(RLVR)は多モーダル推論を駆動するが、解答レベルの正確性は、視覚言語モデルがその予測を視覚的証拠に根拠付けることを保証しない。 既存のビジュアル・インターベンション手法は、オリジナルの画像と修正画像のポリシー動作を対比するが、観察された効果ではなく、介入の種類によって監督を割り当てる。 この仮定は失敗し、同一作用素はサンプル間で不均一な結果を生成する。 本稿では,SIVA-RLを提案する。SIVA-RLは,演算子条件の正規化をサンプル,結果条件の監視に置き換える,感度不変な視覚アライメントフレームワークである。 SIVA-RLはトークン整列された距離制限された画像内PatchSwapを介して局所的な介入を構築する。 凍結監査ポリシーは、各クリーン・インターベンションペアをスコアし、観察された報酬ドロップはソフト・ルーティングウェイトとなる。 大きなドロップペアは感度アライメントを駆動し、低いドロップペアはクリーンアンコール不変アライメントを駆動し、あいまいなペアは低重み付けされる。 この設計は介入工事を監督任務から切り離し、GRPOとDAPOのバックボーンと互換性がある。 数理的、論理的、視覚に依存した9つのマルチモーダル推論ベンチマークにおいて、SIVA-RLは一致したRLベースラインよりも3Bおよび7Bモデルを改善している。 視力依存推論では8.79ポイント、GRPOとDAPOベースの4つの構成で14.9%の相対的な改善が達成されている。

関連論文リスト

• Consistency as Inductive Bias: Learning Cross-View Invariance for Robust Multimodal Reasoning [40.68014726208686]
  本稿では,RLVRトレーニングにクロスビュー一貫性を注入するConsistRollを提案する。 オリジナルとセマンティックに不変な変換されたビューを同じ世代グループに配置する。 ペアの完了が正確かつ一貫性のある場合にのみ、共同報酬を割り当てる。
  論文  参考訳（メタデータ） (2026-06-29T05:45:18Z)
• DyCo-RL: Dynamic Cross-Modal Coordination for Visual Reasoning [49.985643703496514]
  動的クロスモーダルコーディネートとRLVR最適化を統合したDyCo-RLを提案する。 実験により、Qwen2.5-VL-3B/7Bに適用されたDyCo-RLは、4つの代表的なRLVRアルゴリズムを一貫して改善することが示された。
  論文  参考訳（メタデータ） (2026-06-06T07:56:25Z)
• Leveraging Error Diversity in Group Rollouts for Reinforcement Learning [61.10980882949414]
  Reinforcement Learning from Verifiable Rewards (RLVR) は通常、プロンプト毎に複数のレスポンスをサンプリングし、個々の正確性に基づいてバイナリ報酬を割り当てる。 グループ内エラーの多様性に基づいて,不正なロールアウトに対して有利なシグナルを変調するために,EDAS(Error Diversity Advantage Shaping)を提案する。 EDASは、任意のRLVRアルゴリズムにシームレスに統合できるシンプルなポストホック調整として動作する。
  論文  参考訳（メタデータ） (2026-05-17T08:52:31Z)
• VSPO: Vector-Steered Policy Optimization for Behavioral Control [30.80095775190934]
  本稿では,言語モデルに対するVector-Steered Policy Optimization (VSPO)を提案する。 VSPOは、ターゲットの振る舞いに関連するステアリングベクトルを使用して、生成されたロールアウトの挙動強度を制御する。 VSPOはタスクの正確性を維持したり改善したりしながら、目標行動に沿った制御を一貫して改善することを示す。
  論文  参考訳（メタデータ） (2026-05-15T04:31:06Z)
• What to Ignore, What to React: Visually Robust RL Fine-Tuning of VLA Models [35.49750676677204]
  強化学習(RL)の微調整は、ロボット操作におけるビジョン・ランゲージ・アクション(VLA)モデルの可能性を示している。 重要な課題は、標準的なタスク報酬がタスクの成功を監督するが、視覚的な変化がタスク非関連であるか、操作に必要な振る舞いを変更するか、限定的なガイダンスを提供することである。 PAIR-VLAは、PPO最適化中にペアの視覚的変形に対して2つの補助的な目的を加えることで、この問題に対処する。
  論文  参考訳（メタデータ） (2026-05-13T07:15:37Z)
• Faithful GRPO: Improving Visual Spatial Reasoning in Multimodal Language Models via Constrained Policy Optimization [31.411469692692766]
  Chain-of-Thoughtトレースは、最終的な回答と矛盾することが多く、視覚的証拠が不十分である。 ラグランジアン二重昇華による制約として整合性と接地を強制するFithful GRPOを提案する。 その結果,FGRPOは推論品質を大幅に改善し,不整合率を24.5%から1.7%に下げ,視覚的接点スコアを+13%改善した。
  論文  参考訳（メタデータ） (2026-04-09T17:15:47Z)
• Diffusion Controller: Framework, Algorithms and Parameterization [54.82539154511621]
  本稿では,逆拡散サンプリングを(一般化された)線形解法マルコフ決定過程における状態のみの制御として活用する統一的な制御理論的視点を提案する。 このフレームワークでは、制御はトレーニング済みのリバースタイムのトランジションカーネルを再重み付けし、端末の目的と$f$分割コストのバランスをとる。 安定拡散v1.4の実験では、選好調整の勝利率が一貫した上昇を示し、品質効率のトレードオフを改善した。
  論文  参考訳（メタデータ） (2026-03-07T01:49:59Z)
• CASHEW: Stabilizing Multimodal Reasoning via Iterative Trajectory Aggregation [6.356820150960838]
  視覚言語モデルを安定させるために,テスト時間スケーリングにインスパイアされた2つの補完的アプローチを導入する。 CASHEWは推論時のフレームワークで、複数の候補軌道を高品質な推論トレースに反復的に集約することで推論を安定化する。 CASHEW-RL はグループシーケンスポリシー最適化 (GSPO) を用いて訓練されており、最小でも十分な視覚的証拠に根ざした正しい回答を促す複合報酬が提供されている。
  論文  参考訳（メタデータ） (2026-01-12T21:24:45Z)
• ArenaRL: Scaling RL for Open-Ended Agents via Tournament-based Relative Ranking [84.07076200941474]
  ArenaRLは、ポイントワイドスカラースコアからグループ内相対ランクにシフトする強化学習パラダイムである。 我々は,グループ内対角アリーナを構築し,安定した有利な信号を得るためのトーナメントベースのランキングスキームを考案する。 実験により、ArenaRLは標準のRLベースラインを大幅に上回っていることが示された。
  論文  参考訳（メタデータ） (2026-01-10T08:43:07Z)
• Enhancing the Outcome Reward-based RL Training of MLLMs with Self-Consistency Sampling [90.87033586963828]
  マルチモーダル大言語モデル(MLLM)のステップ・バイ・ステップ推論を洗練させる手段としては,アウトカム・リワード強化学習(RL)が一般的であり,ますます重要になっている。 この問題を修正するために,自己整合サンプリング(SCS)を提案する。 Qwen2.5-VL-7B-インストラクトに基づいて、SCSは、無視できる余分な計算を伴う6つのマルチモーダルベンチマークにおいて、最大7.7ポイントの精度を向上する。
  論文  参考訳（メタデータ） (2025-11-13T18:59:57Z)
• Token-Level Inference-Time Alignment for Vision-Language Models [58.41370989069588]
  VLM(Vision-Language Models)は、現代のマルチモーダルインテリジェンスの重要なバックボーンとなっている。 本稿では,基本VLMを凍結し,その分布を近似する報酬モデルをトレーニングする軽量フレームワークTITAを提案する。 推測中、暗黙の選好信号は報酬モデルと目標VLMの対数確率比として抽出され、密集した自己回帰フィードバックが得られる。
  論文  参考訳（メタデータ） (2025-10-20T09:58:03Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。