論文の概要: Weakly Supervised Visual Question Answer Generation

• arxiv url: http://arxiv.org/abs/2306.06622v2
• Date: Mon, 11 Sep 2023 07:11:14 GMT
• ステータス: 処理完了
• システム内更新日: 2023-09-12 21:22:17.870142
• Title: Weakly Supervised Visual Question Answer Generation
• Title（参考訳）: 視覚的質問応答生成の弱さ
• Authors: Charani Alampalle, Shamanthak Hegde, Soumya Jahagirdar, Shankar Gangisetty
• Abstract要約: 視覚情報とキャプションから手続き的に質問応答対を合成的に生成する弱教師付き手法を提案する。 我々は,VQAデータセットの総合的な実験分析を行い,BLEUスコアのSOTA手法を著しく上回る結果を得た。
• 参考スコア（独自算出の注目度）: 2.7605547688813172
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Growing interest in conversational agents promote twoway human-computer communications involving asking and answering visual questions have become an active area of research in AI. Thus, generation of visual questionanswer pair(s) becomes an important and challenging task. To address this issue, we propose a weakly-supervised visual question answer generation method that generates a relevant question-answer pairs for a given input image and associated caption. Most of the prior works are supervised and depend on the annotated question-answer datasets. In our work, we present a weakly supervised method that synthetically generates question-answer pairs procedurally from visual information and captions. The proposed method initially extracts list of answer words, then does nearest question generation that uses the caption and answer word to generate synthetic question. Next, the relevant question generator converts the nearest question to relevant language question by dependency parsing and in-order tree traversal, finally, fine-tune a ViLBERT model with the question-answer pair(s) generated at end. We perform an exhaustive experimental analysis on VQA dataset and see that our model significantly outperform SOTA methods on BLEU scores. We also show the results wrt baseline models and ablation study.
• Abstract（参考訳）: 対話エージェントへの関心が高まり、視覚的質問の問合せと回答を含む双方向の人間とコンピュータのコミュニケーションがAI研究の活発な領域となっている。 したがって、視覚的質問応答対の生成は重要かつ困難な課題となる。 この問題に対処するために,与えられた入力画像と関連するキャプションに対して,関連する質問応答対を生成する弱教師付き視覚質問応答生成手法を提案する。 以前の作業の大部分は監督され、注釈付きクェリ・アンワーデータセットに依存している。 本研究では,視覚情報とキャプションから手続き的に質問応答対を合成する弱教師付き手法を提案する。 提案手法は,まず解答語のリストを抽出し,そのキャプションと解答語を用いて合成質問を生成する最寄りの質問生成を行う。 次に、関連する質問生成装置は、最も近い質問を、依存関係解析と順番木トラバースにより関連言語問題に変換し、最後に、問合せペアを最後に生成したVLBERTモデルを微調整する。 我々は,VQAデータセットの総合的な実験分析を行い,BLEUスコアのSOTA法を著しく上回る結果を得た。 また, ベースラインモデルとアブレーション研究の結果も示す。

関連論文リスト

• Ask Questions with Double Hints: Visual Question Generation with Answer-awareness and Region-reference [107.53380946417003]
  本稿では,応答認識と領域参照を用いた視覚的質問生成のための新しい学習パラダイムを提案する。 我々は、追加の人間のアノテーションを導入することなく、視覚的ヒントを自己学習する簡単な手法を開発した。
  論文  参考訳（メタデータ） (2024-07-06T15:07:32Z)
• Qsnail: A Questionnaire Dataset for Sequential Question Generation [76.616068047362]
  質問紙作成作業に特化して構築された最初のデータセットについて述べる。 我々はQsnailの実験を行い、その結果、検索モデルと従来の生成モデルが与えられた研究トピックや意図と完全に一致していないことが明らかとなった。 チェーン・オブ・シークレット・プロンプトと微調整による改善にもかかわらず、言語モデルによるアンケートは、人間の手書きのアンケートには及ばない。
  論文  参考訳（メタデータ） (2024-02-22T04:14:10Z)
• UNK-VQA: A Dataset and a Probe into the Abstention Ability of Multi-modal Large Models [55.22048505787125]
  本稿ではUNK-VQAと呼ばれる包括的データセットを提案する。 まず、画像または疑問について意図的に摂動することで、既存のデータを拡大する。 そこで我々は,新たなマルチモーダル大規模モデルのゼロショット性能と少数ショット性能を広範囲に評価した。
  論文  参考訳（メタデータ） (2023-10-17T02:38:09Z)
• FOLLOWUPQG: Towards Information-Seeking Follow-up Question Generation [38.78216651059955]
  実世界の情報検索フォローアップ質問生成(FQG)の課題について紹介する。 オープンエンド質問に対するRedditフレンドリーな説明を提供するフォーラムレイマンから収集した,3K以上の実世界のデータセット(初期質問,回答,フォローアップ質問)であるFOLLOWUPQGを構築した。 既存のデータセットとは対照的に、FOLLOWUPQGの質問は情報を求めるためにより多様な実用的戦略を使用し、高次認知能力も示している。
  論文  参考訳（メタデータ） (2023-09-10T11:58:29Z)
• An Empirical Comparison of LM-based Question and Answer Generation Methods [79.31199020420827]
  質問と回答の生成(QAG)は、コンテキストが与えられた質問と回答のペアのセットを生成することで構成される。 本稿では,シーケンス・ツー・シーケンス言語モデル(LM)を微調整する3つの異なるQAG手法を用いて,ベースラインを確立する。 実験により、学習時間と推論時間の両方で計算的に軽量なエンドツーエンドQAGモデルが一般に堅牢であり、他のより複雑なアプローチよりも優れていることが示された。
  論文  参考訳（メタデータ） (2023-05-26T14:59:53Z)
• Conversational QA Dataset Generation with Answer Revision [2.5838973036257458]
  本稿では,一節から質問に値するフレーズを抽出し,過去の会話を考慮し,それに対応する質問を生成する新しい枠組みを提案する。 本フレームワークでは,抽出した回答を質問生成後に修正し,その回答が一致した質問に正確に一致するようにした。
  論文  参考訳（メタデータ） (2022-09-23T04:05:38Z)
• Asking Questions Like Educational Experts: Automatically Generating Question-Answer Pairs on Real-World Examination Data [10.353009081072992]
  本稿では,実世界の検査データ上での質問応答対生成課題に対処し,RASに関する新たな統合フレームワークを提案する。 本稿では,質問文とキーフレーズを反復的に生成・最適化するマルチエージェント通信モデルを提案する。 実験結果から,質問応答対生成タスクにおいて,本モデルが大きなブレークスルーをもたらすことが明らかとなった。
  論文  参考訳（メタデータ） (2021-09-11T04:10:57Z)
• Generating Self-Contained and Summary-Centric Question Answer Pairs via Differentiable Reward Imitation Learning [7.2745835227138045]
  本稿では,質問応答対(QAペア)を自己完結型,要約型,長さ制約型,記事要約型で生成するモデルを提案する。 このデータセットは、回答として要約を生成するQAペア生成モデルを学ぶために使用される。
  論文  参考訳（メタデータ） (2021-09-10T06:34:55Z)
• Understanding Unnatural Questions Improves Reasoning over Text [54.235828149899625]
  生テキストに対する複雑な質問応答(CQA)は難しい課題である。 効果的なCQAモデルを学ぶには、大量の人間が注釈付けしたデータが必要である。 我々は、自然の人間生成の質問を非自然の機械生成の質問に投影することで、高品質なプログラマ(パーザ)を学ぶという課題に対処する。
  論文  参考訳（メタデータ） (2020-10-19T10:22:16Z)
• Inquisitive Question Generation for High Level Text Comprehension [60.21497846332531]
  InQUISITIVEは、文書を読みながら19K質問を抽出するデータセットである。 我々は,読者が情報を求めるための実践的な戦略に携わることを示す。 我々は, GPT-2に基づく質問生成モデルを評価し, 妥当な質問を生成することができることを示す。
  論文  参考訳（メタデータ） (2020-10-04T19:03:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。