論文の概要: StaR-KVQA: Structured Reasoning Traces for Implicit-Knowledge Visual Question Answering
- arxiv url: http://arxiv.org/abs/2510.06638v1
- Date: Wed, 08 Oct 2025 04:37:53 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-10-09 16:41:20.299799
- Title: StaR-KVQA: Structured Reasoning Traces for Implicit-Knowledge Visual Question Answering
- Title(参考訳): StaR-KVQA:暗黙的視覚質問応答のための構造的推論トレース
- Abstract要約: KVQA (Knowledge-based Visual Question Answering) は、画像に実体を接地し、事実的知識を推論するモデルを必要とする。
暗黙的知識変種であるIK-KVQAについて検討し,マルチモーダル大言語モデル(MLLM)が唯一の知識源である。
構造的トレースを監督する StaR-KVQA について述べる。
- 参考スコア(独自算出の注目度): 18.01551671948317
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Knowledge-based Visual Question Answering (KVQA) requires models to ground entities in images and reason over factual knowledge. We study its implicit-knowledge variant, IK-KVQA, where a multimodal large language model (MLLM) is the sole knowledge source, without external retrieval. Yet, MLLMs lack explicit reasoning supervision and produce inconsistent justifications, and generalize poorly after standard supervised fine-tuning (SFT). We present StaR-KVQA (Structured Reasoning Traces for IK-KVQA), which supervises structured traces - dual symbolic relation paths plus path-grounded natural-language explanations - so that reasoning becomes transparent and verifiable. With one open-source MLLM, StaR-KVQA constructs and selects path-grounded reasoning traces to form a trace-enriched dataset, then fine-tunes via structured self-distillation to align generation with supervision; no external retrievers, verifiers, or curated knowledge bases (KBs) are used, traces are built offline, and inference is a single autoregressive pass. Across benchmarks, StaR-KVQA improves both accuracy and interpretability, achieving up to +11.3% higher answer accuracy on OK-VQA over the strongest baseline while exhibiting robust cross-domain generalization.
- Abstract(参考訳): KVQA (Knowledge-based Visual Question Answering) は、画像に実体を接地し、事実的知識を推論するモデルを必要とする。
IK-KVQAでは,マルチモーダル大言語モデル(MLLM)が唯一の知識源であり,外的検索は行わない。
しかし、MLLMは明確な推論の監督がなく、矛盾する正当化を生み出し、標準監督微調整(SFT)の後に一般化が不十分である。
本稿では, 構造的トレースを監督する StaR-KVQA (Structured Reasoning Traces for IK-KVQA) について述べる。
オープンソースのMLLMで、StaR-KVQAは、トレース強化データセットを形成するためにパスグラウンドの推論トレースを構築、選択し、その後、構造化された自己蒸留によって生成を監督と整合させ、外部レトリバー、検証器、またはキュレートされた知識ベース(KB)は使用せず、トレースはオフラインで構築され、推論は単一の自己回帰パスである。
ベンチマーク全体では、StaR-KVQAは精度と解釈性の両方を改善し、最強のベースライン上でのOK-VQAの回答精度は+11.3%向上し、堅牢なクロスドメインの一般化を示す。
関連論文リスト
- From Storage to Access: Verifiable Activation of Parametric Knowledge in LLMs via Explicit Priming and Implicit Reasoning [16.56504142773247]
既存のエンド・ツー・エンドの手法は、知識の引用と推論を結びつけるため、パラメトリックな知識や入力コンテキストから正しい答えが生じるかどうかを判断することは困難である。
VAKEは2段階の強化学習フレームワークで、暗黙のプライミングによって潜在パラメトリック知識を外部化し、取得した推論能力を暗黙の推論に転送する。
プライミングで学んだポリシーに基づいて、推論ステージはモデルに元の入力からの応答を訓練し、明示的な知識の引用によって得られた能力が暗黙の推論に移行するかどうかをテストする。
論文 参考訳(メタデータ) (2026-08-19T06:20:34Z) - Counterfactual Benchmarking and Training for Factuality Consistency and Order-Robust Grounded Reasoning in LLMs over Heterogeneous Knowledge [21.86609553205461]
大規模言語モデル(LLM)は、ユーザが提供する知識に基づく応答生成をますますサポートしている。
TKFQAは10,130の質問回答(QA)ペアをテーブル,テキスト,知識グラフ(KG)に接地した実数整合性ベンチマークである。
それぞれの例は明示的な反事実的推論チェーンから構築され、回答の正しさ、推論チェーンの精度、異なる入力順序に対するロバスト性などの共同評価を可能にする。
論文 参考訳(メタデータ) (2026-08-08T00:46:32Z) - Identifying and Resolving Pitfalls of Knowledge-Based VQA Benchmarks: Auditing, Repairing, and Augmenting [11.990076788699456]
知識に基づく視覚質問応答 (KB-VQA) は、視覚言語モデル (VLM) が外部構造的知識を検索、基礎化、理性化できるかどうかを評価することを目的としている。
これらの仮定は既存のKB-VQAベンチマークで体系的に違反していることを示す。
本稿では,(1)回答の導出性と質問の明確さを復元する原則付き監査・修復プロトコル,(2)初期検索と根拠推論に挑戦する視覚的曖昧性を導入する制御された多目的拡張プロトコルを紹介する。
論文 参考訳(メタデータ) (2026-06-30T20:35:30Z) - Integrated and Cross-Architecture Interpretation of LLM Reasoning [48.58940522466915]
統合されたクロスアーキテクチャ推論(IAR)フレームワークは、LLM推論の解釈可能性に対する統一的なアプローチを提供するように設計されている。
まず、チューキーIQRピーク検出と組み合わされた帯域幅校正MIPを用いて、出力層における推論・クラシカルトークンを分離することを提案する。
次に、MIP-pickedトークンと計算深度トークンの重なり解析を行い、それらのトークンの層間軌跡をトレースする。
論文 参考訳(メタデータ) (2026-05-27T05:56:35Z) - PathISE: Learning Informative Path Supervision for Knowledge Graph Question Answering [35.58843209572786]
回答レベルラベルから高品質な中間監視を学習するための新しいフレームワークPathISEを提案する。
3つのKGQAベンチマークの大規模な実験は、PathISEが競争力または最先端のKGQA性能を達成することを示している。
論文 参考訳(メタデータ) (2026-05-11T16:21:47Z) - VG-CoT: Towards Trustworthy Visual Reasoning via Grounded Chain-of-Thought [16.361394107862502]
画像内の実際の視覚的証拠に、各推論ステップを明示的にリンクするVisual Grounding Chain-of-Thoughtデータセットを提案する。
パイプラインは、GPT-4oでステップバイステップのグラウンドド推論を生成し、合理的に駆動されるオープンセット検出プロセスを通じてグラウンドディングを洗練する。
LLaVA-1.5やQwen2-VLを含む代表的なLVLMによる実験は、ほとんどの評価指標に対して一貫した改善を示した。
論文 参考訳(メタデータ) (2026-04-23T08:04:07Z) - KBQA-R1: Reinforcing Large Language Models for Knowledge Base Question Answering [64.62317305868264]
テキスト模倣から強化学習によるインタラクション最適化へパラダイムをシフトするフレームワークである textbfKBQA-R1 を提案する。
KBQAを多ターン決定プロセスとして扱うことで,行動のリストを用いて知識ベースをナビゲートすることを学ぶ。
WebQSP、GrailQA、GraphQuestionsの実験では、KBQA-R1が最先端のパフォーマンスを実現している。
論文 参考訳(メタデータ) (2025-12-10T17:45:42Z) - ReAG: Reasoning-Augmented Generation for Knowledge-based Visual Question Answering [54.72902502486611]
ReAG(Reasoning-Augmented Multimodal RAG)は、粗い部分ときめ細かい部分の検索と、無関係な通路をフィルタリングする批評家モデルを組み合わせた手法である。
ReAGは従来の手法よりも優れており、解答精度が向上し、検索された証拠に根ざした解釈可能な推論を提供する。
論文 参考訳(メタデータ) (2025-11-27T19:01:02Z) - Look As You Think: Unifying Reasoning and Visual Evidence Attribution for Verifiable Document RAG via Reinforcement Learning [55.232400251303794]
Look As You Think (LAT)は、モデルをトレーニングし、一貫した帰属性を持った検証可能な推論パスを生成するための強化学習フレームワークである。
LATはシングルイメージとマルチイメージの両方でバニラモデルを一貫して改善し、平均ゲインは8.23%、IoU@0.5では47.0%となる。
論文 参考訳(メタデータ) (2025-11-15T02:50:23Z) - Hindsight Distillation Reasoning with Knowledge Encouragement Preference for Knowledge-based Visual Question Answering [55.368681418311894]
既存の知識に基づくビジュアル質問回答 (KBVQA) 手法は、マルチモーダルな大規模言語モデル (MLLM) における暗黙的な知識をコンテキスト内学習または検索拡張生成による明示的な知識を介して利用する。
KEPO(Knowledge Encouragement Preference Optimization)を用いたHindsight Distilled Reasoning(HinD)フレームワークを提供する。
OK-VQAとA-OKVQAの実験によりHinDの有効性が検証され、7BサイズのMLLMから推論したHinDが商用モデルAPIや外部知識を使わずに優れた性能を発揮することが示された。
論文 参考訳(メタデータ) (2025-11-14T10:03:23Z) - KnowCoder-A1: Incentivizing Agentic Reasoning Capability with Outcome Supervision for KBQA [55.26634094204971]
知識ベース質問回答 (KBQA) は、構造化知識ベース (KB) に関する自然言語質問に答えることを目的としている。
近年の作業は,大規模言語モデル(LLM)が質問を反復的に分解し,対応する論理的クエリを生成し,KBと対話して答えを導出する,エージェント推論パラダイムを採用することでKBQAを改善している。
そこで我々は,KBのエージェント推論を自律的に行うLLMであるKnowCoder-A1を提案する。
論文 参考訳(メタデータ) (2025-10-29T02:12:18Z) - A Fano-Style Accuracy Upper Bound for LLM Single-Pass Reasoning in Multi-Hop QA [65.38186593873313]
MHQA(Multi-Hop Question Answering)は、ノイズ下でのシーケンシャルな推論を通じて、分散した相互依存的な証拠を統合する必要がある。
我々はMHQAのための概念実証マルチコールフレームワークをInfoQAで紹介する。
我々は、理論とフレームワークを検証するために、厳密で騒音に富んだベンチマークを構築した。
論文 参考訳(メタデータ) (2025-09-25T14:11:57Z) - SVQA-R1: Reinforcing Spatial Reasoning in MLLMs via View-Consistent Reward Optimization [57.484274282231226]
本稿では,R1スタイルのトレーニングを空間VQAに拡張する最初のフレームワークであるSVQA-R1を提案する。
特に,オブジェクト間の空間的関係を摂動させることで,視点に一貫性のある報酬を構成する新しいグループワイドRL戦略であるSpatial-GRPOを紹介する。
我々のモデルSVQA-R1は空間的VQAベンチマークの精度を劇的に向上させるだけでなく、教師付き微調整データを使用しなくても解釈可能な推論経路を示す。
論文 参考訳(メタデータ) (2025-06-02T06:58:43Z) - KG-TRACES: Enhancing Large Language Models with Knowledge Graph-constrained Trajectory Reasoning and Attribution Supervision [8.025866693669622]
大規模言語モデル(LLM)は、様々な自然言語処理タスクにおいて顕著な進歩を遂げてきたが、複雑な推論問題におけるそれらの性能は、説明責任と信頼性の欠如によって妨げられている。
我々は,LLMの推論能力を高めるために,知識グラフ制約トラジェクトリ推論属性と連鎖説明スーパービジョン(KG-TRACES)を提案する。
KG-TRACES は,(1) 記号関係経路の予測,(2) 完全三重レベル推論経路の予測,(3) 帰属対応推論過程の推論経路の予測を共同で行う。
論文 参考訳(メタデータ) (2025-06-01T02:20:45Z) - KnowTrace: Bootstrapping Iterative Retrieval-Augmented Generation with Structured Knowledge Tracing [64.38243807002878]
我々は、大規模言語モデルにおけるコンテキスト過負荷を軽減するためのエレガントなRAGフレームワークであるKnowTraceを紹介する。
KnowTraceは、必要な知識三つ子を自律的に追跡して、入力された質問に関連する特定の知識グラフを整理する。
3つのマルチホップ質問応答ベンチマークで、既存のメソッドを一貫して上回っている。
論文 参考訳(メタデータ) (2025-05-26T17:22:20Z) - Self-Reflective Planning with Knowledge Graphs: Enhancing LLM Reasoning Reliability for Question Answering [9.601307470705732]
本稿では,知識グラフと大規模言語モデルを相乗化するフレームワークである自己回帰計画(SRP)を提案する。
計画プロセスにおいて、SRPはまず、ガイドプランニングとリフレクションのための参照を検索する。
推論経路を介してKGから知識を検索した後、検索結果を判断し、回答が正しく検索されるまで推論経路を編集して反復反射を行う。
論文 参考訳(メタデータ) (2025-05-26T01:59:00Z) - Beyond Chains: Bridging Large Language Models and Knowledge Bases in Complex Question Answering [28.898509577087516]
Knowledge Base Question Answering (KBQA)は、KBから構造化された知識を用いて自然言語の質問に答えることを目的としている。
PDRR:Predict, Decompose, Retrieve, Reasonからなる4段階のフレームワークを提案する。
提案手法はまず質問タイプを予測し,その質問を構造化三重項に分解する。その後,KBから関連情報を検索し,LSMをエージェントとして案内し,三重項を推論し,完成させる。
論文 参考訳(メタデータ) (2025-05-20T09:01:52Z) - AlignRAG: Leveraging Critique Learning for Evidence-Sensitive Retrieval-Augmented Reasoning [61.28113271728859]
RAGは知識ベースで大規模言語モデル(LLM)を実現するためのパラダイムとして広く採用されている。
標準的なRAGパイプラインは、モデル推論が取得した証拠と整合性を維持するのに失敗することが多く、事実上の矛盾や否定的な結論につながる。
本研究では,RAGをRetrieval-Augmented Reasoningと解釈し,中心的だが未探索な問題であるtextitReasoning Misalignmentを同定する。
論文 参考訳(メタデータ) (2025-04-21T04:56:47Z) - Retrieval-Based Interleaved Visual Chain-of-Thought in Real-World Driving Scenarios [69.00444996464662]
RIV-CoT(Retrieval-based Interleaved Visual Chain-of-Thought法)を提案する。
実験の結果, RIV-CoTの解答精度は3.1%向上し, バニラCoTの解答精度は4.6%向上した。
論文 参考訳(メタデータ) (2025-01-08T18:31:16Z) - Knowledge-Driven CoT: Exploring Faithful Reasoning in LLMs for
Knowledge-intensive Question Answering [17.672572064705445]
CoT(Chain-of-Thought)を備えた大規模言語モデル(LLM)は、様々な下流タスクにおいて顕著な推論能力を示している。
我々は、外部知識との相互作用を通じてCoTの推論トレースを検証・修正する、KD-CoT(Knowled-Driven Chain-of-Thought)というフレームワークを提案する。
論文 参考訳(メタデータ) (2023-08-25T09:23:55Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。