論文の概要: CapWAP: Captioning with a Purpose

• arxiv url: http://arxiv.org/abs/2011.04264v1
• Date: Mon, 9 Nov 2020 09:23:55 GMT
• ステータス: 処理完了
• システム内更新日: 2022-09-28 00:07:07.802932
• Title: CapWAP: Captioning with a Purpose
• Title（参考訳）: CapWAP: 目的のカプセル化
• Authors: Adam Fisch, Kenton Lee, Ming-Wei Chang, Jonathan H. Clark, Regina Barzilay
• Abstract要約: 我々は、CapWAP(Captioning with a Purpose)という新しいタスクを提案する。 私たちのゴールは、意図した人口の情報ニーズに合うように調整可能なシステムを開発することです。 目的とする情報に直接最適化するために強化学習を利用することが可能であることを示す。
• 参考スコア（独自算出の注目度）: 56.99405135645775
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The traditional image captioning task uses generic reference captions to provide textual information about images. Different user populations, however, will care about different visual aspects of images. In this paper, we propose a new task, Captioning with a Purpose (CapWAP). Our goal is to develop systems that can be tailored to be useful for the information needs of an intended population, rather than merely provide generic information about an image. In this task, we use question-answer (QA) pairs---a natural expression of information need---from users, instead of reference captions, for both training and post-inference evaluation. We show that it is possible to use reinforcement learning to directly optimize for the intended information need, by rewarding outputs that allow a question answering model to provide correct answers to sampled user questions. We convert several visual question answering datasets into CapWAP datasets, and demonstrate that under a variety of scenarios our purposeful captioning system learns to anticipate and fulfill specific information needs better than its generic counterparts, as measured by QA performance on user questions from unseen images, when using the caption alone as context.
• Abstract（参考訳）: 従来の画像キャプションタスクでは、一般的な参照キャプションを使用して画像に関するテキスト情報を提供する。 しかし、異なるユーザー人口は画像の異なる視覚的な側面を気にする。 本稿では,新しい課題であるCaptioning with a Purpose (CapWAP)を提案する。 我々のゴールは、画像に関する一般的な情報を提供するのではなく、目的とする人口の情報ニーズに合ったシステムを開発することです。 本課題では,質問応答(QA)ペアを,参照キャプションではなく,ユーザからの情報要求の自然な表現として使用し,トレーニングと推論後の評価を行う。 そこで本研究では,質問応答モデルを用いてユーザの質問に対する正しい回答を提示する出力を報奨することで,強化学習を用いて意図した情報に直接最適化できることを示す。 我々は、いくつかの視覚的質問応答データセットをCapWAPデータセットに変換するとともに、キャプションのみをコンテキストとして使用する場合のユーザ質問に対するQAパフォーマンスから、目的のキャプションシステムが、汎用のキャプションよりも特定の情報のニーズを予測し、満たすために学習する様々なシナリオを実証する。

関連論文リスト

• What Makes for Good Image Captions? [50.48589893443939]
  我々のフレームワークは、優れた画像キャプションは、情報的に十分であり、最小限の冗長であり、人間によって容易に理解できるという3つの重要な側面のバランスをとるべきであると仮定している。 本稿では,局所的な視覚情報とグローバルな視覚情報を統合することで,豊かなキャプションを生成するParamid of Captions(PoCa)手法を提案する。
  論文  参考訳（メタデータ） (2024-05-01T12:49:57Z)
• Enhancing Visual Question Answering through Question-Driven Image Captions as Prompts [3.6064695344878093]
  視覚的質問応答(VQA)は、視覚と言語の内容を理解し、推論し、推論する必要があるため、AI完全タスクとして知られている。 本稿では,VQAパイプラインの中間プロセスとして画像キャプションを組み込むことによる影響について検討する。
  論文  参考訳（メタデータ） (2024-04-12T16:35:23Z)
• CommVQA: Situating Visual Question Answering in Communicative Contexts [16.180130883242672]
  画像、画像記述、実世界のコミュニケーションシナリオからなるデータセットであるCommVQAを紹介する。 CommVQAの解決には文脈情報へのアクセスが不可欠であることを示す。
  論文  参考訳（メタデータ） (2024-02-22T22:31:39Z)
• Language Guided Visual Question Answering: Elevate Your Multimodal Language Model Using Knowledge-Enriched Prompts [54.072432123447854]
  視覚的質問応答(VQA)は、画像に関する質問に答えるタスクである。 疑問に答えるには、常識知識、世界知識、イメージに存在しないアイデアや概念についての推論が必要である。 本稿では,論理文や画像キャプション,シーングラフなどの形式で言語指導(LG)を用いて,より正確に質問に答えるフレームワークを提案する。
  論文  参考訳（メタデータ） (2023-10-31T03:54:11Z)
• Q: How to Specialize Large Vision-Language Models to Data-Scarce VQA Tasks? A: Self-Train on Unlabeled Images! [103.09776737512077]
  SelTDA(Self-Taught Data Augmentation)は、小規模なVQAデータセット上で大きな視覚言語モデルを微調整するための戦略である。 画像上に直接条件付の疑似ラベルを生成することで、未ラベル画像の疑似ラベル作成を可能にする。 我々は, 自己学習によるデータ拡張が, 対向的に検索された質問に対して堅牢性を高めることを示す一連の実験について述べる。
  論文  参考訳（メタデータ） (2023-06-06T18:00:47Z)
• PromptCap: Prompt-Guided Task-Aware Image Captioning [118.39243917422492]
  本稿では,画像とブラックボックスLMのより良いコネクタとして設計されたキャプションモデルであるPromptCapを提案する。 PromptCapは、生成されたキャプションで記述する視覚エンティティを制御するために自然言語プロンプトを使用する。 本稿では,GPT-3に画像キャプションを付加してVQAを実行する既存のパイプライン上で,PromptCapの有効性を示す。
  論文  参考訳（メタデータ） (2022-11-15T19:07:53Z)
• MuMuQA: Multimedia Multi-Hop News Question Answering via Cross-Media Knowledge Extraction and Grounding [131.8797942031366]
  我々は、画像中のオブジェクトをテキストにクロスメディアグラウンドする必要があるニュース記事について、1,384の質問を含む新しいQA評価ベンチマークを示す。 具体的には、画像キャプチャーペアの推論を必要とするマルチホップ質問によって、参照されている接地された視覚オブジェクトを特定し、その質問に答えるためにニュースボディテキストからスパンを予測する。 本稿では, マルチメディアデータ拡張フレームワークを提案する。これは, クロスメディア知識抽出と合成質問応答生成に基づいて, このタスクの弱い監視を提供するデータを自動的に強化するものである。
  論文  参考訳（メタデータ） (2021-12-20T18:23:30Z)
• Understanding Guided Image Captioning Performance across Domains [22.283016988026926]
  本稿では,画像キャプションが重視すべき概念を,ガイドテキストと呼ばれる追加入力を用いて制御する手法を提案する。 人的評価の結果から,画像キャプションを組み込むには,大規模で制限のない領域トレーニングデータセットへのアクセスが必要であることが示唆された。
  論文  参考訳（メタデータ） (2020-12-04T00:05:02Z)
• Pragmatic Issue-Sensitive Image Captioning [11.998287522410404]
  課題感性画像キャプション(ISIC)を提案する。 ISICは、ターゲット画像とイシューを付与したキャプションシステムであり、関連する情報を特定する方法で分割された画像の集合である。 我々は,ISICが視覚質問応答の関連タスクを補完し,強化する方法について述べる。
  論文  参考訳（メタデータ） (2020-04-29T20:00:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。