論文の概要: An Empirical Study of GPT-3 for Few-Shot Knowledge-Based VQA

• arxiv url: http://arxiv.org/abs/2109.05014v1
• Date: Fri, 10 Sep 2021 17:51:06 GMT
• ステータス: 処理完了
• システム内更新日: 2021-09-13 13:26:15.370753
• Title: An Empirical Study of GPT-3 for Few-Shot Knowledge-Based VQA
• Title（参考訳）: ファウショット知識に基づくVQAのためのGPT-3の実証的研究
• Authors: Zhengyuan Yang, Zhe Gan, Jianfeng Wang, Xiaowei Hu, Yumao Lu, Zicheng Liu, Lijuan Wang
• Abstract要約: 本稿では,知識に基づくVQAのための画像キャプションを用いて,GPT3をプロンプトする簡易かつ効果的なPICaを提案する。 まず、まず、GPT-3が理解できるキャプション(タグ)に変換し、次に、GPT-3を適用してVQAタスクを数ショットで解決する。 PICaは16の例しか使用せず、OK-VQAデータセットの絶対+8.6ポイントで芸術の監督された状態を超越している。
• 参考スコア（独自算出の注目度）: 51.639880603821446
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Knowledge-based visual question answering (VQA) involves answering questions that require external knowledge not present in the image. Existing methods first retrieve knowledge from external resources, then reason over the selected knowledge, the input image, and question for answer prediction. However, this two-step approach could lead to mismatches that potentially limit the VQA performance. For example, the retrieved knowledge might be noisy and irrelevant to the question, and the re-embedded knowledge features during reasoning might deviate from their original meanings in the knowledge base (KB). To address this challenge, we propose PICa, a simple yet effective method that Prompts GPT3 via the use of Image Captions, for knowledge-based VQA. Inspired by GPT-3's power in knowledge retrieval and question answering, instead of using structured KBs as in previous work, we treat GPT-3 as an implicit and unstructured KB that can jointly acquire and process relevant knowledge. Specifically, we first convert the image into captions (or tags) that GPT-3 can understand, then adapt GPT-3 to solve the VQA task in a few-shot manner by just providing a few in-context VQA examples. We further boost performance by carefully investigating: (i) what text formats best describe the image content, and (ii) how in-context examples can be better selected and used. PICa unlocks the first use of GPT-3 for multimodal tasks. By using only 16 examples, PICa surpasses the supervised state of the art by an absolute +8.6 points on the OK-VQA dataset. We also benchmark PICa on VQAv2, where PICa also shows a decent few-shot performance.
• Abstract（参考訳）: 知識に基づく視覚的質問応答(VQA)は、画像に存在しない外部知識を必要とする質問に答える。 既存の手法は、まず外部資源から知識を抽出し、選択した知識、入力画像、質問に対して回答予測を行う。 しかし、この2段階のアプローチは、VQAのパフォーマンスを制限する可能性のあるミスマッチにつながる可能性がある。 例えば、検索された知識は問題に無関係であり、推論中の再埋め込みされた知識特徴は、知識ベース(KB)の本来の意味から逸脱する可能性がある。 この課題に対処するために、知識に基づくVQAのために、画像キャプションを用いてGPT3をプロンプトするシンプルで効果的なPICaを提案する。 知識検索と質問応答におけるGPT-3の力に触発され、構造化KBの代わりに、GPT-3を暗黙的で非構造化KBとして扱い、関連する知識を共同で獲得し処理する。 具体的には、まずまず、GPT-3で理解できるキャプション(またはタグ)に変換し、次にGPT-3を適用してVQAタスクを数ショットで解決する。 慎重に調査することで パフォーマンスをさらに向上させます (i)どのテキスト形式が最も画像内容を記述するか、 (ii) 文脈内例をよりよく選択し、使用する方法。 PICaはマルチモーダルタスクに初めてGPT-3を使用する。 PICaは16の例しか使用せず、OK-VQAデータセットの絶対+8.6ポイントで芸術の監督状態を超えた。 また、vqav2ではpicaのベンチマークも行っています。

関連論文リスト

• Self-Bootstrapped Visual-Language Model for Knowledge Selection and Question Answering [11.183845003492964]
  私たちはPassage Retrieval(DPR)を使って関連する知識を取得し、モデルが質問に答える手助けをします。 DPRは自然言語空間における検索を行うが、画像情報の総合的な取得は保証されない。 本稿では、視覚言語モデルを利用して、DPRが検索した重要な知識を選択し、質問に答える新しいフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-04-22T07:44:20Z)
• Enhancing Visual Question Answering through Question-Driven Image Captions as Prompts [3.6064695344878093]
  視覚的質問応答(VQA)は、視覚と言語の内容を理解し、推論し、推論する必要があるため、AI完全タスクとして知られている。 本稿では,VQAパイプラインの中間プロセスとして画像キャプションを組み込むことによる影響について検討する。
  論文  参考訳（メタデータ） (2024-04-12T16:35:23Z)
• ConVQG: Contrastive Visual Question Generation with Multimodal Guidance [20.009626292937995]
  本研究では,コントラスト的視覚質問生成(ConVQG)を提案し,画像的,テキスト的,知識に富んだ質問を生成する。 知識認識と標準VQGベンチマークの実験は、ConVQGが最先端の手法よりも優れていることを示した。
  論文  参考訳（メタデータ） (2024-02-20T09:20:30Z)
• Language Guided Visual Question Answering: Elevate Your Multimodal Language Model Using Knowledge-Enriched Prompts [54.072432123447854]
  視覚的質問応答(VQA)は、画像に関する質問に答えるタスクである。 疑問に答えるには、常識知識、世界知識、イメージに存在しないアイデアや概念についての推論が必要である。 本稿では,論理文や画像キャプション,シーングラフなどの形式で言語指導(LG)を用いて,より正確に質問に答えるフレームワークを提案する。
  論文  参考訳（メタデータ） (2023-10-31T03:54:11Z)
• A Simple Baseline for Knowledge-Based Visual Question Answering [78.00758742784532]
  本稿では,知識に基づく視覚質問応答(KB-VQA)の問題について述べる。 本論文の主な貢献は,よりシンプルで容易に再現可能なパイプラインを提案することである。 近年のアプローチとは対照的に,本手法はトレーニングフリーであり,外部データベースやAPIへのアクセスを必要とせず,OK-VQAおよびA-OK-VQAデータセット上で最先端の精度を実現する。
  論文  参考訳（メタデータ） (2023-10-20T15:08:17Z)
• Open-Set Knowledge-Based Visual Question Answering with Inference Paths [79.55742631375063]
  知識に基づく視覚的質問回答(KB-VQA)の目的は、外部知識ベースの助けを借りて質問に対する正しい回答を提供することである。 KB-VQA, Graph pATH ranker (GATHER for brevity) の新しいレトリバーランカパラダイムを提案する。 具体的には、グラフの構築、プルーニング、パスレベルのランク付けが含まれており、正確な回答を検索するだけでなく、推論パスを提供して推論プロセスを説明する。
  論文  参考訳（メタデータ） (2023-10-12T09:12:50Z)
• PromptCap: Prompt-Guided Task-Aware Image Captioning [118.39243917422492]
  本稿では,画像とブラックボックスLMのより良いコネクタとして設計されたキャプションモデルであるPromptCapを提案する。 PromptCapは、生成されたキャプションで記述する視覚エンティティを制御するために自然言語プロンプトを使用する。 本稿では,GPT-3に画像キャプションを付加してVQAを実行する既存のパイプライン上で,PromptCapの有効性を示す。
  論文  参考訳（メタデータ） (2022-11-15T19:07:53Z)
• Can Open Domain Question Answering Systems Answer Visual Knowledge Questions? [7.442099405543527]
  画像中のエンティティを参照するdeictic参照句を含む多くの視覚的質問は、"非接地的"な質問として書き直すことができる。 これにより、視覚的質問応答のための既存のテキストベースのOpen Domain Question Answering (QA) システムの再利用が可能になる。 本稿では, (a) 画像解析, (b) 質問の書き直し, (c) テキストによる質問応答に既存のシステムを再利用して, 視覚的な質問に答える潜在的データ効率のアプローチを提案する。
  論文  参考訳（メタデータ） (2022-02-09T06:47:40Z)
• Knowledge-Routed Visual Question Reasoning: Challenges for Deep Representation Embedding [140.5911760063681]
  VQAモデル評価のためのナレッジルーティング視覚質問推論という新しいデータセットを提案する。 視覚ゲノムシーングラフと外部知識ベースの両方に基づいて,制御プログラムを用いて質問応答対を生成する。
  論文  参考訳（メタデータ） (2020-12-14T00:33:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。