論文の概要: Beyond Visual Similarity: Entity-Aligned Retrieval for Knowledge-Based Visual Question Answering
- arxiv url: http://arxiv.org/abs/2608.21450v1
- Date: Wed, 19 Aug 2026 16:25:39 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-25 13:29:43.128618
- Title: Beyond Visual Similarity: Entity-Aligned Retrieval for Knowledge-Based Visual Question Answering
- Title（参考訳）: ビジュアル類似性を超えて:知識に基づくビジュアル質問回答のためのエンティティ指向検索
- Abstract要約: 知識に基づくビジュアル質問回答は、ロングテールエンティティを含む問い合わせに答えるために外部情報を取得することに依存する。
既存の検索パイプラインでは、エンティティレベルのセマンティックアライメントよりも表面レベルの視覚的類似性を優先するCLIPスタイルのデュアルエンコーダが主流である。
KB-VQAに適したMLLMベースの埋め込みレトリバーであるKBMRを提案する。
- 参考スコア（独自算出の注目度）: 19.494230842766175
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Knowledge-Based Visual Question Answering (KB-VQA) relies on retrieving external information to answer queries involving long-tail entities. However, existing retrieval pipelines predominantly employ CLIP-style dual encoders, which prioritize surface-level visual similarity over entity-level semantic alignment. This paradigm often fails when semantically identical concepts exhibit large visual variations or when distinct entities appear visually similar. To address this, we propose KBMR, the first MLLM-based embedding retriever tailored for KB-VQA. Leveraging the robust autoregressive capabilities of MLLMs, KBMR maps images into a semantic space that better preserves concept identity. To tackle the challenge of noisy supervision in Wikipedia-scale retrieval, we introduce an MLLM-based semantic discriminator that generates continuous entity-consistency weights. These weights guide a novel continuous semantic distillation objective, enabling effective hard negative sampling and soft supervision beyond rigid binary labels. Extensive experiments demonstrate that KBMR significantly outperforms CLIP baselines, yielding up to a 14.7% improvement in retrieval Recall@1 and a 9.4% gain in end-to-end VQA accuracy. Code is available at https://github.com/realHarryX/KBMR.
- Abstract（参考訳）: KB-VQA (Knowledge-Based Visual Question Answering) は、ロングテールエンティティを含む問い合わせに答えるために外部情報を取得することに依存する。
しかし、既存の検索パイプラインは主にCLIPスタイルのデュアルエンコーダを採用しており、エンティティレベルのセマンティックアライメントよりも表面レベルの視覚的類似性を優先している。
このパラダイムは、意味的に同一の概念が大きな視覚的バリエーションを示す場合や、異なる実体が視覚的に類似している場合に失敗することが多い。
そこで我々は,KB-VQAに適したMLLMベースの埋め込みレトリバーKBMRを提案する。
MLLMの堅牢な自己回帰機能を活用して、KBMRはイメージを概念のアイデンティティをよりよく保存する意味空間にマッピングする。
ウィキペディア規模の検索におけるノイズの多い監視の課題に対処するために、連続的なエンティティ・一貫性の重みを生成するMLLMベースの意味識別器を導入する。
これらの重みは、新しい連続的セマンティック蒸留の目的を導いており、硬質バイナリラベルを超える効果的な硬質陰性サンプリングとソフトインスペクションを可能にしている。
大規模な実験の結果、KBMRはCLIPベースラインを大幅に上回り、検索のリコール@1が14.7%改善し、エンドツーエンドのVQA精度が9.4%向上した。
コードはhttps://github.com/realHarryX/KBMRで入手できる。
関連論文リスト
- Ground Then Rank: Revisiting Knowledge-Based VQA with Training-Free Entity Identification [12.586456579827448]
KB-VQA (Knowledge-Based Visual Question Answering) は、画像中の直接観察可能なコンテンツを超えて、外部の知識に視覚的なクエリを基礎づけることを必要とする。
近年のMLLM(Multi modal large language model)は知覚能力が高いが、細粒度の実体とエビデンスレベルの両方から基礎を置く必要があるKB-VQAタスクに苦慮している。
本稿では,要素識別をセクションレベルの再分類から切り離す,簡易かつトレーニング不要な IBA フレームワークを提案する。
論文 参考訳（メタデータ） (2026-06-22T19:27:00Z) - Context Pruning for Coding Agents via Multi-Rubric Latent Reasoning [14.508049757681862]
LLMベースのコーディングエージェントは、トークンの予算の大部分をリポジトリファイルを読むのに費やしている。
この定式化がモデリングのボトルネックを生み出すことを示す。
コード関連性を2つの解釈可能な品質次元に分解する構造化プルーニングフレームワークであるLaMRを提案する。
論文 参考訳（メタデータ） (2026-05-14T18:30:10Z) - Fix Before Search: Benchmarking Agentic Query Visual Pre-processing in Multimodal Retrieval-augmented Generation [47.96044455071274]
V-QPP-Benchは、Visual Queryの事前処理に特化した最初のベンチマークである。
視覚障害は、検索リコールとエンド・ツー・エンドのMRAGパフォーマンスの両方を著しく低下させる。
市販のMLLMは、特別な訓練を受けずにツールの選択とパラメータ予測に苦労する。
教師付き微調整により、コンパクトモデルはより大きなプロプライエタリモデルと同等または優れた性能を達成できる。
論文 参考訳（メタデータ） (2026-02-13T18:39:48Z) - KG-ViP: Bridging Knowledge Grounding and Visual Perception in Multi-modal LLMs for Visual Question Answering [18.921632630913713]
KG-ViPはシーングラフとコモンセンスグラフを融合してMLLMを強化する統一フレームワークである。
KG-ViPフレームワークの中核は、クエリをセマンティックブリッジとして利用して、両方のグラフを段階的に統合する、新しい検索/融合パイプラインである。
論文 参考訳（メタデータ） (2026-01-14T07:16:11Z) - ReAG: Reasoning-Augmented Generation for Knowledge-based Visual Question Answering [54.72902502486611]
ReAG(Reasoning-Augmented Multimodal RAG)は、粗い部分ときめ細かい部分の検索と、無関係な通路をフィルタリングする批評家モデルを組み合わせた手法である。
ReAGは従来の手法よりも優れており、解答精度が向上し、検索された証拠に根ざした解釈可能な推論を提供する。
論文 参考訳（メタデータ） (2025-11-27T19:01:02Z) - QuoTA: Query-oriented Token Assignment via CoT Query Decouple for Long Video Comprehension [86.0749609778104]
既存の大規模ビデオ言語モデルを拡張した,アンテホックなトレーニングフリーモジュールQuoTAを提案する。
QuoTAは、クエリ関連性に基づいて、フレームレベルの重要度スコアを戦略的に割り当てる。
クエリをChain-of-Thoughts推論で切り離し、より正確なLVLMベースのフレーム重要度スコアリングを容易にする。
論文 参考訳（メタデータ） (2025-03-11T17:59:57Z) - Harnessing Large Language Models for Knowledge Graph Question Answering via Adaptive Multi-Aspect Retrieval-Augmentation [81.18701211912779]
本稿では,KG(Amar)フレームワーク上での適応型マルチアスペクト検索手法を提案する。
この方法は、エンティティ、リレーション、サブグラフを含む知識を検索し、検索した各テキストを即時埋め込みに変換する。
提案手法は2つの共通データセットに対して最先端の性能を達成した。
論文 参考訳（メタデータ） (2024-12-24T16:38:04Z) - Learning to Compress Contexts for Efficient Knowledge-based Visual Question Answering [44.54319663913782]
圧縮文脈(RACC)を用いたtextbfRetrieval-textbfAugmented MLLMを提案する。
RACCは、与えられた画像検索ペアの取得した知識を圧縮して集約することを学ぶ。
これはOK-VQAで63.92%の最先端(SOTA)性能を達成する。
論文 参考訳（メタデータ） (2024-09-11T15:11:39Z) - RAR: Retrieving And Ranking Augmented MLLMs for Visual Recognition [78.97487780589574]
MLLM(Multimodal Large Language Models)は、細粒度カテゴリの分類において優れている。
本稿では,MLLMの検索とランク付けのための拡張手法を提案する。
提案手法は, 微粒化認識における固有の限界に対処するだけでなく, モデルの包括的知識基盤も維持する。
論文 参考訳（メタデータ） (2024-03-20T17:59:55Z) - UnifieR: A Unified Retriever for Large-Scale Retrieval [84.61239936314597]
大規模な検索は、クエリを与えられた巨大なコレクションから関連ドキュメントをリコールすることである。
事前学習型言語モデル(PLM)に基づく最近の検索手法は,高密度ベクターあるいはレキシコンに基づくパラダイムに大別することができる。
本論文では,高密度ベクトルとレキシコンに基づく検索を2つの表現能力を持つ1つのモデルで統合する学習フレームワークUnifieRを提案する。
論文 参考訳（メタデータ） (2022-05-23T11:01:59Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。