論文の概要: Harnessing Image Question Dependence for Better VLM Test-time Reinforcement Learning

• arxiv url: http://arxiv.org/abs/2609.13296v1
• Date: Wed, 09 Sep 2026 22:54:15 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-16 07:15:05.19361
• Title: Harnessing Image Question Dependence for Better VLM Test-time Reinforcement Learning
• Title（参考訳）: VLMテスト時間強化学習における画像質問のハーネス化
• Abstract要約: Vlm 適応性を向上させるために画像探索依存を利用したテスト時強化学習フレームワーク TTIQ を提案する。 TTIQの教師は、元の画像検索ペアとその画像と質問対応のバリエーションの下で、各サンプル応答を強制する。 イメージと質問への依存と信頼を組み合わせることで、共同で接地された応答を好む応答レベルの報酬を構築する。
• 参考スコア（独自算出の注目度）: 66.13367818892503
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Test-time reinforcement learning can adapt vision-language models (VLMs) to unlabeled target data, but its effectiveness is fundamentally limited by the reliability of self-generated learning signals. To assess the reliability of consensus-based learning signals, we analyze VLM test-time reinforcement learning across diverse VQA datasets and model sizes, revealing two limitations. First, gains from consensus-based test-time training largely come from answer normalization rather than content correction. Second, many initial VLM responses are incorrect due to the model's limited ability to jointly use the image and the question; consensus rewards derived from these outputs may preserve the resulting grounding errors rather than correct them. Motivated by these, we propose TTIQ, a test-time reinforcement learning framework that harnesses image-question dependence for better vlm adaptation. TTIQ teacher-forces each sampled response under the original image-question pair and its image- and question-ablated variants, using the resulting token-level likelihood changes to estimate dependence on each input. It combines image and question dependence with calibrated confidence to construct a response-level reward that favors jointly grounded responses, and uses the token-level signals to assign greater positive policy credit to tokens supported by both inputs. This design favors responses that are jointly grounded in the image and the question and sufficiently confident, rather than merely popular. Experiments across eight VQA datasets and multiple VLM sizes show that TTIQ achieves the best average performance at every model scale. It further generalizes across VLM families, while models trained on one dataset improve performance on unseen datasets without further training.
• Abstract（参考訳）: テスト時強化学習は、未ラベルの目標データに視覚言語モデル(VLM)を適用することができるが、その効果は自己生成学習信号の信頼性によって根本的に制限される。 コンセンサスに基づく学習信号の信頼性を評価するため、様々なVQAデータセットとモデルサイズにわたるVLMテスト時間強化学習を分析し、2つの制限を明らかにした。 まず、コンセンサスベースのテストタイムトレーニングから得られるものは、内容の修正ではなく、回答の正規化によるものである。 第二に、モデルが画像と疑問を共同で使用する能力に制限があるため、多くの初期VLM応答は誤りである。 そこで本研究では,画像探索依存を利用したテスト時間強化学習フレームワークTTIQを提案する。 TTIQの教師は、各入力への依存性を推定するために、元のイメージクエスト対とその画像および質問関連変種の下で各サンプル応答を強制する。 イメージ依存と質問依存を校正された信頼と組み合わせて、共同で根拠付けられた応答を好む応答レベル報酬を構築し、トークンレベル信号を使用して、両方の入力で支持されるトークンにより大きなポジティブなポリシークレジットを割り当てる。 このデザインは、単に人気を博すのではなく、イメージと疑問に共同で根ざした反応と十分に自信のある反応を好んでいる。 8つのVQAデータセットと複数のVLMサイズにわたる実験により、TTIQが各モデルスケールで最高の平均パフォーマンスを達成することが示された。 さらにVLMファミリをまたいで一般化し、一方のデータセットでトレーニングされたモデルは、さらなるトレーニングをすることなく、目に見えないデータセットのパフォーマンスを改善する。

関連論文リスト

• AVSD: Adaptive-View Self-Distillation by Balancing Consensus and Teacher-Specific Privileged Signals [65.71225905458182]
  自己蒸留は、生徒と教師の両方と同じモデルを用いて、言語モデルが自身の軌道から政治学を学ぶことを可能にする。 このセットアップは、別の外部モデルに頼ることなく、密集したトークンレベルのフィードバックを提供する。 複数の特権情報ビューを持つ自己蒸留法であるAVSDを紹介する。
  論文  参考訳（メタデータ） (2026-05-20T03:06:36Z)
• TTA-Vid: Generalized Test-Time Adaptation for Video Reasoning [54.70019148172847]
  テスト時強化学習(Test-Time Reinforcement Learning)のパラダイムをビデオ言語データに活用することにより,事前学習されたモデルを明示的なラベルなしで,テスト時のビデオサンプルに適応させることができる。 ビデオアプローチのためのテスト時間適応(TTA-Vid)は、同時に動作する2つのコンポーネントを組み合わせる。 TTA-Vidは、様々なビデオ推論タスクで一貫した改善をもたらし、大規模データで訓練された最先端の手法より優れている。
  論文  参考訳（メタデータ） (2026-04-01T09:52:57Z)
• Continuous Self-Improvement of Large Language Models by Test-time Training with Verifier-Driven Sample Selection [6.471199527741301]
  VDS-TTT(Verifier-Driven Sample Selection for Test-Time Training)と呼ばれる新しいフレームワークを導入する。 学習した検証器を用いて、生成された応答のプールをスコアし、高いランクの擬似ラベル付き例からのみ選び、微調整を施す。 低ランクなLoRAアダプタパラメータのみを微調整し、適応効率と高速収束を確保する。
  論文  参考訳（メタデータ） (2025-05-26T03:54:47Z)
• QIRL: Boosting Visual Question Answering via Optimized Question-Image Relation Learning [38.24779287568123]
  現在のデバイアス技術は、画像とテキストの間の優れた関係を捉えられない。 偏見研究における入力関係の程度について、事前の研究は行われていない。 本稿では,世代ベースの自己教師型学習戦略を取り入れた新しいフレームワークを提案する。
  論文  参考訳（メタデータ） (2025-04-04T10:38:28Z)
• Teaching LMMs for Image Quality Scoring and Interpreting [71.1335005098584]
  Q-SiT(Quality Scoring and Interpreting Joint Teaching)は,画像品質のスコアリングと解釈を同時に行うための統合フレームワークである。 Q-SiTは、Q-SiT-miniと共に画像品質スコアリングと解釈タスクを同時に実行する最初のモデルである。 実験結果から,Q-SiTはIQA能力の優れた両タスクにおいて高い性能を発揮することが示された。
  論文  参考訳（メタデータ） (2025-03-12T09:39:33Z)
• Graph-based Confidence Calibration for Large Language Models [22.394717844099684]
  本稿では,大規模言語モデルによって生成された複数の出力の自己整合性に基づいて,応答正当性を評価するための補助学習モデルを提案する。 提案手法は,複数応答間の一致を表現するために整合性グラフを構築し,グラフニューラルネットワーク(GNN)を用いて各応答の正しさを推定する。
  論文  参考訳（メタデータ） (2024-11-03T20:36:44Z)
• Multi-Modal Prompt Learning on Blind Image Quality Assessment [65.0676908930946]
  画像品質評価(IQA)モデルは意味情報から大きな恩恵を受け、異なる種類のオブジェクトを明瞭に扱うことができる。 十分な注釈付きデータが不足している従来の手法では、セマンティックな認識を得るために、CLIPイメージテキスト事前学習モデルをバックボーンとして使用していた。 近年のアプローチでは、このミスマッチに即時技術を使って対処する試みがあるが、これらの解決策には欠点がある。 本稿では、IQAのための革新的なマルチモーダルプロンプトベースの手法を提案する。
  論文  参考訳（メタデータ） (2024-04-23T11:45:32Z)
• CONVIQT: Contrastive Video Quality Estimator [63.749184706461826]
  知覚ビデオ品質評価(VQA)は、多くのストリーミングおよびビデオ共有プラットフォームにおいて不可欠な要素である。 本稿では,視覚的に関連のある映像品質表現を自己指導的に学習する問題について考察する。 本研究は, 自己教師型学習を用いて, 知覚力による説得力のある表現が得られることを示す。
  論文  参考訳（メタデータ） (2022-06-29T15:22:01Z)
• Reassessing Evaluation Practices in Visual Question Answering: A Case Study on Out-of-Distribution Generalization [27.437077941786768]
  大規模マルチモーダルデータ上で事前訓練された視覚・言語モデル(V&L)は,様々なタスクにおいて高い性能を示す。 異なる条件下で事前学習した2つのV&Lモデルを評価する。 これらのモデルは、VQAタスクに必要な高度なスキルを学ぶよりも、ベンチマークを解くことを学ぶ傾向にある。
  論文  参考訳（メタデータ） (2022-05-24T16:44:45Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。