Fugu-MT 論文翻訳(概要): Self-Questioning Vision-Language Models: Reinforcement Learning for Compositional Visual Reasoning

論文の概要: Self-Questioning Vision-Language Models: Reinforcement Learning for Compositional Visual Reasoning

arxiv url: http://arxiv.org/abs/2606.15651v1
Date: Sun, 14 Jun 2026 07:42:34 GMT
ステータス: 翻訳完了
システム内更新日: 2026-06-16 16:21:33.778648
Title: Self-Questioning Vision-Language Models: Reinforcement Learning for Compositional Visual Reasoning
Title（参考訳）: 自己探索型視覚言語モデル:構成的視覚推論のための強化学習
Abstract要約: VLM(Vision-Language Models)は、画像とテキストの両方を処理するAIシステムである。本稿では,視覚的質問を小さなサブクエストに分割するようにVLMを訓練するセルフクエストフレームワークを提案する。自己探索学習と標準強化学習の両方が、訓練されていないモデルよりも精度を大幅に向上させることを示す。
参考スコア（独自算出の注目度）: 0.0
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Vision-Language Models (VLMs) are AI systems that process both images and text, yet they often struggle with compositional visual reasoning questions that require chaining multiple steps together, such as identifying objects, counting them, and comparing the results. Existing approaches improve this reasoning by training models on human-written step-by-step explanations, but creating these annotations is expensive and difficult to scale. We propose a self-questioning framework that trains a VLM to break visual questions into smaller sub-questions and answer each one before producing a final response, using a reinforcement learning algorithm called Group Relative Policy Optimization (GRPO). The model is never shown examples of how to decompose questions, it discovers this behavior on its own, guided by a reward signal that scores whether the output contains sub-questions and whether the final answer is correct. We apply this framework to a 3-billion-parameter model, training on both synthetic scenes of geometric shapes (CLEVR) and real-world photographs (A-OKVQA). On A-OKVQA, both self-questioning and standard reinforcement learning substantially improve accuracy over the untrained model (52.2% and 51.6% vs. 46.8%). We introduce the first self-questioning VLM by rewarding not only the final answer like standard RL but additionally for generating intermediate sub-questions, enabling it to discover compositional decomposition strategies. These results suggest that teaching AI systems to ask themselves intermediate questions is a promising strategy for complex visual reasoning, particularly when the difficulty of a question warrants explicit step-by-step decomposition.
Abstract（参考訳）: VLM(Vision-Language Models)は、画像とテキストの両方を処理するAIシステムである。既存のアプローチでは、人間の記述したステップバイステップの説明に基づいてモデルをトレーニングすることで、この推論を改善することができるが、これらのアノテーションの作成は高価でスケールが難しい。我々は,グループ相対政策最適化(GRPO)と呼ばれる強化学習アルゴリズムを用いて,視覚的質問を小さなサブクエストに分割し,最終応答を生成する前にそれぞれに回答するように,VLMを訓練するセルフクエストフレームワークを提案する。モデルは質問を分解する方法の例は示されていないが、その振る舞いを自分自身で発見し、その出力がサブクエストを含むかどうか、最終的な答えが正しいかをスコアする報奨信号によって導かれる。この枠組みを3ビリオンパラメータモデルに適用し、幾何学形状の合成シーン(CLEVR)と実世界の写真(A-OKVQA)の両方をトレーニングする。 A-OKVQAでは、自問と標準強化学習の両方が訓練されていないモデル(52.2%と51.6%対46.8%)よりも精度を大幅に向上させた。我々は、標準RLのような最終回答だけでなく、中間サブクエストを生成することで、合成分解戦略の発見を可能にすることで、最初の自己探索型VLMを導入する。これらの結果は,質問の難しさが明確なステップバイステップの分解を保証している場合に,AIシステムに中間的質問を自覚させることが,複雑な視覚的推論のための有望な戦略であることを示唆している。

関連論文リスト

Molecular Identifier Visual Prompt and Verifiable Reinforcement Learning for Chemical Reaction Diagram Parsing [52.825281124618535]
反応図解析(RxnDP)は、文献から化学合成情報を抽出するために重要である。近年の視覚言語モデル(VLM)はこの複雑な視覚的推論タスクを自動化するための有望なパラダイムとして登場した。この研究はVLMベースのRxnDPを2つの相補的視点、すなわち表現の促進と学習パラダイムから強化する。
論文参考訳（メタデータ） (2026-03-16T09:17:05Z)
Decomposition-Enhanced Training for Post-Hoc Attributions In Language Models [64.49342399229529]
我々は、ポストホック帰属を推論問題として再編成し、回答を構成単位に分解し、それぞれ特定の文脈に結び付けることができると論じる。 DecompTuneは、モデルに中間的推論ステップとして解解分解を生成することを教えるポストトレーニング手法である。 DecompTuneは、広範な実験と改善を通じて、属性の品質を大幅に改善し、先行手法より優れ、最先端のフロンティアモデルに適合または超えている。
論文参考訳（メタデータ） (2025-10-29T17:58:59Z)
Answer-Consistent Chain-of-thought Reinforcement Learning For Multi-modal Large Langauge Models [33.398631680508814]
本稿では,GRPOアルゴリズムを補助的整合性チェックで修正するAnswer-Consistent Reinforcement Learningを提案する。我々は、オリジナルとポストシャッフルの両方の回答が一致して正しい場合にのみ高い報酬を与える一貫性検証報酬を設計する。我々は、ACREを挑戦的なビデオ推論ベンチマークとマルチモーダル数学推論ベンチマークで評価し、平均2.2%と1.5%の改善を達成した。
論文参考訳（メタデータ） (2025-10-11T08:32:52Z)
Visionary-R1: Mitigating Shortcuts in Visual Reasoning with Reinforcement Learning [37.194825644787294]
我々は視覚言語モデル(VLM)を訓練し、強化学習と視覚質問応答ペアを通して画像データに基づく推論を行う。我々のモデルであるVisionary-R1は、複数の視覚的推論ベンチマークにおいて、強力なマルチモーダルモデルよりも優れています。
論文参考訳（メタデータ） (2025-05-20T17:58:35Z)
Embodied-R: Collaborative Framework for Activating Embodied Spatial Reasoning in Foundation Models via Reinforcement Learning [58.86928947970342]
Embodied-Rは、知覚のための大規模視覚言語モデルと推論のための小規模言語モデルを組み合わせたフレームワークである。わずか5kのエボダイドビデオサンプルのトレーニングの後、Embodied-Rと3B LMは最先端のマルチモーダル推論モデルと一致した。 Embodied-Rは、体系的分析や文脈統合のような創発的な思考パターンも示している。
論文参考訳（メタデータ） (2025-04-17T06:16:11Z)
QIRL: Boosting Visual Question Answering via Optimized Question-Image Relation Learning [38.24779287568123]
現在のデバイアス技術は、画像とテキストの間の優れた関係を捉えられない。偏見研究における入力関係の程度について、事前の研究は行われていない。本稿では,世代ベースの自己教師型学習戦略を取り入れた新しいフレームワークを提案する。
論文参考訳（メタデータ） (2025-04-04T10:38:28Z)
Admitting Ignorance Helps the Video Question Answering Models to Answer [82.22149677979189]
モデルはしばしばショートカットを定め、結果として質問と回答の間に急激な相関関係が生じる、と我々は主張する。そこで本研究では,モデルに不明瞭さを認めざるを得ない新たな学習手法を提案する。実際に、我々のフレームワークに最先端のモデルを統合することで、その有効性を検証する。
論文参考訳（メタデータ） (2025-01-15T12:44:52Z)
Rephrase, Augment, Reason: Visual Grounding of Questions for Vision-Language Models [59.05769810380928]
Rephrase, Augment and Reason (RepARe) は勾配のないフレームワークで、基礎となる視覚言語モデルを用いて画像に関する詳細な情報を抽出する。その結果、VQAv2では3.85%(絶対)、A-OKVQAでは6.41%、VizWizでは7.94%の増加が見られた。
論文参考訳（メタデータ） (2023-10-09T16:57:57Z)
Learning Abstract Visual Reasoning via Task Decomposition: A Case Study in Raven Progressive Matrices [0.24475591916185496]
Raven Progressive Matrices(source)では、タスクは、与えられたコンテキストで利用可能な答えの1つを選択することである。本研究では,変圧器の青写真に基づくディープラーニングアーキテクチャを提案する。この方法で得られた多次元の予測は、その答えを選択するために直接近似される。
論文参考訳（メタデータ） (2023-08-12T11:02:21Z)
Successive Prompting for Decomposing Complex Questions [50.00659445976735]
最近の研究は、大規模言語モデル(LM)の機能を活用して、数ショットで複雑な質問応答を行う。そこでは、複雑なタスクを単純なタスクに繰り返し分解し、それを解決し、最終解を得るまでプロセスを繰り返します。我々の最良のモデル(逐次プロンプト付き)は、DROPデータセットの数ショットバージョンにおいて、5%の絶対F1の改善を実現します。
論文参考訳（メタデータ） (2022-12-08T06:03:38Z)
SOrT-ing VQA Models : Contrastive Gradient Learning for Improved Consistency [64.67155167618894]
本稿では、画像上の推論問題と最も強く相関する質問を決定するために、勾配に基づく解釈可能性アプローチを提案する。次に,サブクエスト指向チューニング (SOrT) と呼ばれる,相対的勾配学習に基づくアプローチを提案する。我々は、SOrTが既存のベースラインよりも最大6.5%のモデルの一貫性を向上し、また、視覚的グラウンド化を改善していることを示す。
論文参考訳（メタデータ） (2020-10-20T05:15:48Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。