論文の概要: Question-Specific Knowledge Graphs for Efficient Visual Reasoning

• arxiv url: http://arxiv.org/abs/2609.35942v1
• Date: Mon, 28 Sep 2026 16:21:13 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-30 21:28:46.903011
• Title: Question-Specific Knowledge Graphs for Efficient Visual Reasoning
• Title（参考訳）: 効率的な視覚推論のための質問特化知識グラフ
• Abstract要約: 視覚言語モデルは、視覚入力をテキスト表現に変換することによって、強力な推論能力を示すことができる。 モデルが視覚コンテンツを質問固有の知識グラフ表現に変換するための強化学習フレームワークであるVisKGを提案する。 VisKGがベースラインに匹敵する性能を達成する一方で,キャプションベースの表現よりもトークンを少なくすることを示す。
• 参考スコア（独自算出の注目度）: 34.66638290755049
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Recent work in visual question answering has shown that vision-language models can exhibit strong reasoning capabilities by translating visual inputs into textual representations. The effectiveness of this translation depends on how well visual details are retained; models need to surface and align both explicit and implicit knowledge sufficient to support reasoning, without introducing spurious assumptions. Existing methods that leverage detailed image captions introduce visual details unrelated to the reasoning task, inflating input token counts and increasing computational cost. To address these challenges, we propose VisKG, a reinforcement learning (RL) framework in which models learn to translate visual content into question-specific knowledge graph (KG) representations. This process filters out perceptual noise while preserving the entity-relation structure needed for chain-of-thought reasoning, following the principle of minimum sufficient information. To ensure stable RL post-training, VisKG adopts Group reward-Decoupled Normalization Policy Optimization (GDPO). In addition, we strengthen the supervision stage with negative rationale samples, exposing the model to incorrect reasoning paths before RL post-training. Experimental results across science, mathematics, and general visual understanding benchmarks show that VisKG achieves performance comparable to or better than baselines, while requiring fewer tokens than caption-based representations. Moreover, training VisKG with GDPO improves accuracy by 2% over its GRPO-trained counterpart on average. These results suggest that KG representations are a promising approach for supporting multi-step reasoning and open up future work on adaptively selecting the most suitable representation for a given task.
• Abstract（参考訳）: 視覚的質問応答における最近の研究は、視覚的な入力をテキスト表現に変換することで、視覚言語モデルが強力な推論能力を発揮することを示した。 この翻訳の有効性は、視覚的な詳細がどれだけうまく保持されているかに依存している。モデルは、素早い仮定を導入することなく、推論をサポートするのに十分な明示的知識と暗黙的知識の両方を表面化し、整合させる必要がある。 詳細な画像キャプションを利用する既存の方法は、推論タスクとは無関係な視覚的詳細を導入し、入力トークン数を膨らませ、計算コストを増大させる。 これらの課題に対処するために、モデルが視覚コンテンツを質問特化知識グラフ(KG)表現に変換することを学ぶ強化学習(RL)フレームワークであるVisKGを提案する。 このプロセスは、最小限の情報原理に従って、チェーン・オブ・ソート推論に必要なエンティティ・リレーション構造を維持しながら知覚ノイズを除去する。 安定したRLポストトレーニングを確保するため、VisKGはグループ報酬分離正規化ポリシー最適化(GDPO)を採用している。 さらに, 負の有理性サンプルを用いて, RL後学習前の誤った推論経路にモデルを公開することにより, 監督段階を強化した。 科学、数学、一般的な視覚理解のベンチマークによる実験結果から、VisKGはベースラインに匹敵する性能を達成し、キャプションベースの表現よりもトークンを少なくすることを示した。 さらに、GDPOによるVisKGのトレーニングは、平均してGRPOでトレーニングされたものよりも精度を2%向上させる。 これらの結果から,KG表現は多段階推論を支援するための有望な手法であり,与えられたタスクに最適な表現を適応的に選択する今後の課題を開拓することが示唆された。

関連論文リスト

• See First, Answer Later: Visual Evidence Pre-Alignment via Sufficiency-Driven RL [19.682815357013453]
  マルチモーダル大言語モデル(MLLM)は、強力なテキスト推論を視覚入力と統合するが、その応答は基礎となる画像と矛盾する可能性がある。 質問条件付き視覚的エビデンス記述を最適化するために,前訓練と後訓練の中間段階である視覚的エビデンス事前調整(VEPA)を導入する。
  論文  参考訳（メタデータ） (2026-06-16T08:45:24Z)
• VisuRiddles: Fine-grained Perception is a Primary Bottleneck for Multimodal Large Language Models in Abstract Visual Reasoning [70.44416154144001]
  マルチモーダル大規模言語モデル(MLLM)の最近の進歩は、多くの推論タスクにおいて、その性能を著しく向上させてきた。 AVR(Abstract Visual Reasoning)は、抽象グラフィックの知覚に制限があるため、依然として重要な課題である。 PRSのベンチマークであるVisuRiddlesを提案し、モデルの推論能力を評価するために精巧に構築されたタスクを特徴付ける。 第二に、パーセプチュアル・リドル・シンセサイザー (PRS) を導入する。
  論文  参考訳（メタデータ） (2025-06-03T07:24:00Z)
• Compile Scene Graphs with Reinforcement Learning [69.36723767339001]
  次世代予測は大規模言語モデル(LLM)の訓練の基本原理である 本稿では,マルチモーダルLLM(M-LLM)であるR1-SGGを紹介する。 私たちは、Hard Recall、Hard Recall+Relax、Soft Recallの3つのリコールベースのバリエーションを含む、グラフ中心の報酬セットを設計します。
  論文  参考訳（メタデータ） (2025-04-18T10:46:22Z)
• RealCQA-V2 : Visual Premise Proving A Manual COT Dataset for Charts [2.9201864249313383]
  グラフ質問応答のプロセスを洗練するための新しいタスクであるVisual Premise Provingを紹介する。 この手法は従来の精度に基づく評価手法から逸脱したものである。 データ検索とグラフの構造的理解の両方に習熟性を示すモデルが提案される。
  論文  参考訳（メタデータ） (2024-10-29T19:32:53Z)
• On Pre-training of Multimodal Language Models Customized for Chart Understanding [83.99377088129282]
  本稿では,MLLMのチャート理解を改善するために必要な学習過程について考察する。 詳細なチャート理解に適したMLLMであるCHOPINLLMを紹介する。
  論文  参考訳（メタデータ） (2024-07-19T17:58:36Z)
• What Makes for Good Visual Tokenizers for Large Language Models? [26.488269091290597]
  優れた視覚的トークン化を実現するための適切な事前学習手法について検討し,LLM(Large Language Models)とMLLM(Multimodal Large Language Models)について検討した。 支配的手法(DeiT, CLIP, MAE, DINO)で事前訓練した視覚トークン化剤について検討する。 GVT(Good Visual Tokenizer)を備えたMLLMは,複数スケールで強力な視覚理解能力を示す。
  論文  参考訳（メタデータ） (2023-05-20T16:11:26Z)
• Inductive Entity Representations from Text via Link Prediction [4.980304226944612]
  本稿では,リンク予測目標を用いて学習したエンティティ表現に対する総合評価プロトコルを提案する。 帰納的リンク予測とエンティティ分類タスクについて検討する。 また,エンティティ指向検索のための情報検索タスクについても検討する。
  論文  参考訳（メタデータ） (2020-10-07T16:04:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。