論文の概要: Knowledge Condensation and Reasoning for Knowledge-based VQA

• arxiv url: http://arxiv.org/abs/2403.10037v1
• Date: Fri, 15 Mar 2024 06:06:06 GMT
• ステータス: 処理完了
• システム内更新日: 2024-03-18 18:29:12.355654
• Title: Knowledge Condensation and Reasoning for Knowledge-based VQA
• Title（参考訳）: 知識に基づくVQAのための知識凝縮と推論
• Authors: Dongze Hao, Jian Jia, Longteng Guo, Qunbo Wang, Te Yang, Yan Li, Yanhua Cheng, Bo Wang, Quan Chen, Han Li, Jing Liu,
• Abstract要約: 近年の研究では、外部知識ベースから知識パスを取得し、それを使って質問に答えている。 本稿では,知識凝縮モデルと知識推論モデルという2つの相乗的モデルを提案する。 本手法は知識に基づくVQAデータセットの最先端性能を実現する。
• 参考スコア（独自算出の注目度）: 20.808840633377343
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Knowledge-based visual question answering (KB-VQA) is a challenging task, which requires the model to leverage external knowledge for comprehending and answering questions grounded in visual content. Recent studies retrieve the knowledge passages from external knowledge bases and then use them to answer questions. However, these retrieved knowledge passages often contain irrelevant or noisy information, which limits the performance of the model. To address the challenge, we propose two synergistic models: Knowledge Condensation model and Knowledge Reasoning model. We condense the retrieved knowledge passages from two perspectives. First, we leverage the multimodal perception and reasoning ability of the visual-language models to distill concise knowledge concepts from retrieved lengthy passages, ensuring relevance to both the visual content and the question. Second, we leverage the text comprehension ability of the large language models to summarize and condense the passages into the knowledge essence which helps answer the question. These two types of condensed knowledge are then seamlessly integrated into our Knowledge Reasoning model, which judiciously navigates through the amalgamated information to arrive at the conclusive answer. Extensive experiments validate the superiority of the proposed method. Compared to previous methods, our method achieves state-of-the-art performance on knowledge-based VQA datasets (65.1% on OK-VQA and 60.1% on A-OKVQA) without resorting to the knowledge produced by GPT-3 (175B).
• Abstract（参考訳）: 知識に基づく視覚的質問応答(KB-VQA)は難しい課題であり、視覚コンテンツに基づく質問の理解と回答のために外部知識を活用する必要がある。 近年の研究では、外部知識ベースから知識パスを取得し、それを使って質問に答えている。 しかし、これらの検索された知識通路は、しばしば無関係またはうるさい情報を含んでいるため、モデルの性能が制限される。 この課題に対処するために,知識凝縮モデルと知識推論モデルという2つの相乗的モデルを提案する。 検索した知識を2つの視点から考察する。 まず、視覚言語モデルのマルチモーダル認識と推論能力を利用して、検索した長文から簡潔な知識概念を抽出し、視覚内容と疑問の両方に関連性を確保する。 第二に、大きな言語モデルのテキスト理解能力を活用して、問合せを要約し、問合せに役立てる。 これらの2種類の凝縮した知識は、私たちの知識推論モデルにシームレスに統合されます。 大規模実験により提案手法の優位性を検証した。 従来の手法と比較して,本手法は知識ベースVQAデータセット(OK-VQAは65.1%,A-OKVQAは60.1%)の最先端性能を,GPT-3 (175B) の知識に頼らずに達成した。

関連論文リスト

• Distinguish Before Answer: Generating Contrastive Explanation as Knowledge for Commonsense Question Answering [61.53454387743701]
  本稿では,概念中心のPrompt-bAsed Contrastive Explanation GenerationモデルであるCPACEを提案する。 CPACEは、得られたシンボル知識を、与えられた候補間の差異をよりよく区別するために、対照的な説明に変換する。 本稿では,CSQA,QASC,OBQAの3つの質問回答データセットについて実験を行った。
  論文  参考訳（メタデータ） (2023-05-14T12:12:24Z)
• Prophet: Prompting Large Language Models with Complementary Answer Heuristics for Knowledge-based Visual Question Answering [30.858737348472626]
  知識に基づく視覚的質問応答(VQA)は、質問に答えるために、画像以外の外部知識を必要とする。 近年の研究では,暗黙の知識エンジンとして強力な大規模言語モデル (LLM) を用いることで,回答に必要な知識を獲得している。 本稿では,知識に基づくVQAの解答をLCMに促すための,概念的にシンプルで柔軟な,汎用的なフレームワークを提案する。
  論文  参考訳（メタデータ） (2023-03-03T13:05:15Z)
• DisentQA: Disentangling Parametric and Contextual Knowledge with Counterfactual Question Answering [34.70206857546496]
  質問応答モデルは通常、推論時間中に「知識」の2つのソースにアクセスする。 答えが与えられた非パラメトリック知識に由来するかどうかは不明である。 本稿では,2つの知識源を解き放つために,QAモデルを訓練する新たなパラダイムを提案する。
  論文  参考訳（メタデータ） (2022-11-10T15:34:44Z)
• A Unified End-to-End Retriever-Reader Framework for Knowledge-based VQA [67.75989848202343]
  本稿では,知識に基づくVQAに向けて,エンド・ツー・エンドのレトリバー・リーダー・フレームワークを提案する。 我々は、視覚言語による事前学習モデルからの多モーダルな暗黙の知識に光を当て、知識推論の可能性を掘り下げた。 提案手法では,知識検索のガイダンスを提供するだけでなく,質問応答に対してエラーが発生しやすいケースも排除できる。
  論文  参考訳（メタデータ） (2022-06-30T02:35:04Z)
• REVIVE: Regional Visual Representation Matters in Knowledge-Based Visual Question Answering [75.53187719777812]
  本稿では,知識に基づく視覚的質問応答(VQA)における視覚表現を再考する。 本稿では,対象領域の明示的な情報を活用するための知識に基づく新しいVQA手法REVIVEを提案する。 我々は,新しい最先端性能,すなわち58.0%の精度を実現し,従来の最先端手法を大きなマージンで上回った。
  論文  参考訳（メタデータ） (2022-06-02T17:59:56Z)
• Enhancing Question Generation with Commonsense Knowledge [33.289599417096206]
  質問生成プロセスにコモンセンス知識を導入するためのマルチタスク学習フレームワークを提案する。 SQuAD実験の結果,提案手法は自動評価と人的評価の両方でQG性能を著しく向上させることができることがわかった。
  論文  参考訳（メタデータ） (2021-06-19T08:58:13Z)
• Contextualized Knowledge-aware Attentive Neural Network: Enhancing Answer Selection with Knowledge [77.77684299758494]
  ナレッジグラフ(KG)による外部知識による回答選択モデル向上のアプローチを幅広く検討しています。 まず、KGの外部知識とテキスト情報との密接な相互作用を考慮し、QA文表現を学習するコンテキスト知識相互作用学習フレームワークであるナレッジアウェアニューラルネットワーク(KNN)を紹介します。 KG情報の多様性と複雑性に対処するために, カスタマイズされたグラフ畳み込みネットワーク (GCN) を介して構造情報を用いた知識表現学習を改善し, コンテキストベースおよび知識ベースの文表現を総合的に学習する コンテキスト型知識認識型アテンシブニューラルネットワーク (CKANN) を提案する。
  論文  参考訳（メタデータ） (2021-04-12T05:52:20Z)
• KRISP: Integrating Implicit and Symbolic Knowledge for Open-Domain Knowledge-Based VQA [107.7091094498848]
  VQAの最も難しい質問の1つは、質問に答えるために画像に存在しない外部の知識を必要とする場合です。 本研究では,解答に必要な知識が与えられたり記入されたりしないオープンドメイン知識を,トレーニング時やテスト時にも検討する。 知識表現と推論には2つのタイプがあります。 まず、トランスベースのモデルで教師なし言語事前トレーニングと教師付きトレーニングデータから効果的に学ぶことができる暗黙的な知識。
  論文  参考訳（メタデータ） (2020-12-20T20:13:02Z)
• Knowledge-Routed Visual Question Reasoning: Challenges for Deep Representation Embedding [140.5911760063681]
  VQAモデル評価のためのナレッジルーティング視覚質問推論という新しいデータセットを提案する。 視覚ゲノムシーングラフと外部知識ベースの両方に基づいて,制御プログラムを用いて質問応答対を生成する。
  論文  参考訳（メタデータ） (2020-12-14T00:33:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。