論文の概要: Enabling Collaborative Parametric Knowledge Calibration for Retrieval-Augmented Vision Question Answering
- arxiv url: http://arxiv.org/abs/2504.04065v2
- Date: Tue, 01 Jul 2025 02:37:16 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-07-02 20:01:17.14969
- Title: Enabling Collaborative Parametric Knowledge Calibration for Retrieval-Augmented Vision Question Answering
- Title（参考訳）: 探索型視覚質問応答のための協調的パラメトリック知識校正法の提案
- Authors: Jiaqi Deng, Kaize Shi, Zonghan Wu, Huan Huo, Dingxian Wang, Guandong Xu,
- Abstract要約: KB-VQA (Vision Question Answering) システムは、外部知識ベースから取得した知識を用いて複雑な視覚的な質問に対処する。
協調的なパラメトリック知識キャリブレーションを用いた検索強化VQAフレームワークを提案する。
提案手法は,最先端モデルと競合する性能を実現し,精度が4.7%向上した。
- 参考スコア（独自算出の注目度）: 16.14877145354785
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: Knowledge-based Vision Question Answering (KB-VQA) systems address complex visual-grounded questions with knowledge retrieved from external knowledge bases. The tasks of knowledge retrieval and answer generation tasks both necessitate precise multimodal understanding of question context and external knowledge. However, existing methods treat these two stages as separate modules with limited interaction during training, which hinders bi-directional parametric knowledge sharing, ultimately leading to suboptimal performance. To fully exploit the cross-task synergy in KB-VQA, we propose a unified retrieval-augmented VQA framework with collaborative parametric knowledge calibration. The proposed framework can effectively adapt general multimodal pre-trained models for fine-grained, knowledge-intensive tasks while enabling the retriever and generator to collaboratively enhance and share their parametric knowledge during both training and inference. To enhance fine-grained understanding of questions and external documents, we also integrate late interaction mechanism into the proposed training framework. Additionally, we introduce a reflective-answering mechanism that allows the model to explicitly evaluate and refine its knowledge boundary. Our approach achieves competitive performance against state-of-the-art models, delivering a significant 4.7\% improvement in answering accuracy, and brings an average 7.5\% boost in base MLLMs' VQA performance.
- Abstract（参考訳）: 知識に基づく視覚質問回答システム(KB-VQA)は、外部知識ベースから取得した知識を用いて複雑な視覚的な質問に対処する。
知識検索と回答生成のタスクは、質問コンテキストと外部知識の正確なマルチモーダル理解を必要とする。
しかし、既存の手法では、これらの2つの段階を訓練中に限られた相互作用を持つ独立したモジュールとして扱い、双方向のパラメトリック知識共有を妨げ、最終的には準最適性能をもたらす。
KB-VQAにおけるクロスタスクのシナジーをフル活用するために,協調的なパラメトリック知識キャリブレーションを備えた統合検索拡張VQAフレームワークを提案する。
提案フレームワークは, 学習と推論の両方において, 学習者および生成者が協調的にパラメトリック知識を増強し, 共有できるようにしながら, きめ細かな知識集約的なタスクに対して, 汎用マルチモーダル事前学習モデルを効果的に適応させることができる。
質問や外部文書のきめ細かい理解を深めるために,提案したトレーニングフレームワークに遅延インタラクション機構を統合する。
さらに、モデルが知識境界を明示的に評価し、洗練できるようにする反射探索機構を導入する。
提案手法は,最先端モデルに対する競争性能を実現し,回答精度が4.7%向上し,ベースMLLMのVQA性能が7.5%向上した。
関連論文リスト
- Open-Ended and Knowledge-Intensive Video Question Answering [20.256081440725353]
知識集約型ビデオ質問応答 (KI-VideoQA) を多モード検索拡張世代のレンズを用いて検討する。
本稿では,最先端の検索モデルと視覚言語モデルを用いて,様々な検索拡張手法について検討する。
我々は、KnowIT VQAデータセットにおいて、複数の選択質問に対する精度を17.5%向上させる。
論文 参考訳（メタデータ） (2025-02-17T12:40:35Z) - RA-BLIP: Multimodal Adaptive Retrieval-Augmented Bootstrapping Language-Image Pre-training [55.54020926284334]
近年,MLLM (Multimodal Large Language Models) が注目されている。
検索拡張技術はLLMとMLLMの両方に有効なプラグインであることが証明されている。
本研究では,MLLMの新しい検索支援フレームワークであるRA-BLIP(Retrieval-Augmented Bootstrapping Language-Image Pre-training)を提案する。
論文 参考訳（メタデータ） (2024-10-18T03:45:19Z) - Multimodal Reranking for Knowledge-Intensive Visual Question Answering [77.24401833951096]
回答生成のための知識候補のランク付け品質を向上させるためのマルチモーダル・リランカを提案する。
OK-VQAとA-OKVQAの実験は、遠隔監視からのマルチモーダルリランカーが一貫した改善をもたらすことを示している。
論文 参考訳（メタデータ） (2024-07-17T02:58:52Z) - RAVEN: Multitask Retrieval Augmented Vision-Language Learning [5.1583788731239455]
世界中の知識をエンコードする大規模言語モデルのスケーリングは持続不可能であり、リソースバリアが悪化している。
Retrieval-Augmented Generation (RAG) は潜在的な解決策を示すが、その視覚言語モデル(VLM)への応用は検討中である。
本稿では,効率的なタスク特化微調整により,ベースVLMを強化した検索拡張VLMフレームワークであるRAVENを紹介する。
論文 参考訳（メタデータ） (2024-06-27T13:08:35Z) - Retrieval Meets Reasoning: Even High-school Textbook Knowledge Benefits Multimodal Reasoning [49.3242278912771]
RMR(Retrieval Meets Reasoning)と呼ばれる新しいマルチモーダルRAGフレームワークについて紹介する。
RMRフレームワークは、最も関連性の高い問合せ対を特定するために、バイモーダル検索モジュールを使用する。
これは、ベンチマークデータセットのスペクトルにわたって様々なビジョン言語モデルの性能を大幅に向上させる。
論文 参考訳（メタデータ） (2024-05-31T14:23:49Z) - Towards Top-Down Reasoning: An Explainable Multi-Agent Approach for Visual Question Answering [47.668572102657684]
本稿では,視覚言語モデル(VLM)の能力を高めるために,LLM(Large Language Models)の拡張的知識を活用することで,新しいマルチエージェントコラボレーションフレームワークを導入する。
論文 参考訳（メタデータ） (2023-11-29T03:10:42Z) - Pre-Training Multi-Modal Dense Retrievers for Outside-Knowledge Visual
Question Answering [16.52970318866536]
本稿では,視覚的質問応答タスクのカテゴリについて検討する。
OK-VQAシステムの開発における大きなステップは、与えられたマルチモーダルクエリに関連するドキュメントを取得することである。
そこで本稿では,OK-VQAタスクの経路検索モデルの事前学習のための自動データ生成パイプラインを提案する。
論文 参考訳（メタデータ） (2023-06-28T18:06:40Z) - End-to-end Knowledge Retrieval with Multi-modal Queries [50.01264794081951]
ReMuQは、テキストと画像のクエリからコンテンツを統合することで、大規模なコーパスから知識を取得するシステムを必要とする。
本稿では,入力テキストや画像を直接処理し,関連する知識をエンドツーエンドで検索する検索モデルReViz'を提案する。
ゼロショット設定下での2つのデータセットの検索において,優れた性能を示す。
論文 参考訳（メタデータ） (2023-06-01T08:04:12Z) - Retrieval Augmented Visual Question Answering with Outside Knowledge [14.371342370460685]
Outside-Knowledge Visual Question Answering (OK-VQA)は、画像に関する質問に答えるために外部知識の検索を必要とする難しいVQAタスクである。
最近のOK-VQAシステムでは、Dense Passage Retrieval (DPR) を使用して、ウィキペディアのような外部知識ベースから文書を検索するが、回答生成とは別々に訓練されている。
本稿では,対話型DPRと解答生成を統合した共同学習手法を提案する。
論文 参考訳（メタデータ） (2022-10-07T20:35:58Z) - Correlation Information Bottleneck: Towards Adapting Pretrained
Multimodal Models for Robust Visual Question Answering [63.87200781247364]
相関情報ボトルネック (CIB) は圧縮と表現の冗長性のトレードオフを求める。
マルチモーダル入力と表現の相互情報に対して,理論上界を厳密に導出する。
論文 参考訳（メタデータ） (2022-09-14T22:04:10Z) - KAT: A Knowledge Augmented Transformer for Vision-and-Language [56.716531169609915]
我々は、OK-VQAのオープンドメインマルチモーダルタスクにおいて、最先端の強力な結果をもたらす新しいモデルである知識拡張トランスフォーマー(KAT)を提案する。
提案手法は,エンド・ツー・エンドのエンコーダ・デコーダアーキテクチャにおいて暗黙的かつ明示的な知識を統合しつつ,回答生成時に両知識源を共同で推論する。
我々の分析では、モデル予測の解釈可能性の向上に、明示的な知識統合のさらなる利点が見られる。
論文 参考訳（メタデータ） (2021-12-16T04:37:10Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。