論文の概要: Zero-Shot Video Question Answering via Frozen Bidirectional Language Models

• arxiv url: http://arxiv.org/abs/2206.08155v1
• Date: Thu, 16 Jun 2022 13:18:20 GMT
• ステータス: 処理完了
• システム内更新日: 2022-06-17 13:28:04.372596
• Title: Zero-Shot Video Question Answering via Frozen Bidirectional Language Models
• Title（参考訳）: 凍結双方向言語モデルによるゼロショットビデオ質問応答
• Authors: Antoine Yang, Antoine Miech, Josef Sivic, Ivan Laptev, Cordelia Schmid
• Abstract要約: ビデオ質問応答(Video QA)は、訓練に多様なマルチモーダルデータを必要とする複雑なタスクである。 近年の手法では,手動による視覚的質問応答を伴わないゼロショット設定が検討されている。 我々は,凍結自己回帰言語モデル (BiLM) 上に構築し,この手法がゼロショットビデオQAに対してより強力で安価な代替手段を提供することを示す。
• 参考スコア（独自算出の注目度）: 89.71617065426146
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Video question answering (VideoQA) is a complex task that requires diverse multi-modal data for training. Manual annotation of question and answers for videos, however, is tedious and prohibits scalability. To tackle this problem, recent methods consider zero-shot settings with no manual annotation of visual question-answer. In particular, a promising approach adapts frozen autoregressive language models pretrained on Web-scale text-only data to multi-modal inputs. In contrast, we here build on frozen bidirectional language models (BiLM) and show that such an approach provides a stronger and cheaper alternative for zero-shot VideoQA. In particular, (i) we combine visual inputs with the frozen BiLM using light trainable modules, (ii) we train such modules using Web-scraped multi-modal data, and finally (iii) we perform zero-shot VideoQA inference through masked language modeling, where the masked text is the answer to a given question. Our proposed approach, FrozenBiLM, outperforms the state of the art in zero-shot VideoQA by a significant margin on a variety of datasets, including LSMDC-FiB, iVQA, MSRVTT-QA, MSVD-QA, ActivityNet-QA, TGIF-FrameQA, How2QA and TVQA. It also demonstrates competitive performance in the few-shot and fully-supervised setting. Our code and models will be made publicly available at https://antoyang.github.io/frozenbilm.html.
• Abstract（参考訳）: ビデオ質問応答(Video QA)は、多様なマルチモーダルデータを必要とする複雑なタスクである。 しかし、ビデオに対する質問や回答のマニュアルアノテーションは面倒であり、スケーラビリティを禁止している。 この問題に対処するために,近年の手法では,手動による視覚的質問応答のアノテーションを伴わないゼロショット設定が検討されている。 特に、有望なアプローチは、Webスケールのテキストのみのデータに基づいて事前訓練された凍結自己回帰言語モデルをマルチモーダル入力に適応させる。 対照的に、我々は凍結した双方向言語モデル(BiLM)を構築し、そのようなアプローチがゼロショットビデオQAに対してより強力で安価な代替手段を提供することを示す。 特に (i)軽トレーニングモジュールを用いた凍結BiLMと視覚入力を組み合わせる。 (二)ウェブスクラッピングマルチモーダルデータを用いてそのようなモジュールを訓練し、最後に 3) マスク付き言語モデルを用いてゼロショットビデオQA推論を行い, マスク付きテキストが与えられた質問に対する回答となる。 提案手法であるFrozenBiLMは,LSMDC-FiB,iVQA,MSRVTT-QA,MSVD-QA,ActivityNet-QA,TGIF-FrameQA,How2QA,TVQAなど,さまざまなデータセットにおいて,ゼロショットビデオQAの最先端技術よりも優れている。 また、数ショットで完全に教師された設定で、競争性能を示す。 私たちのコードとモデルはhttps://antoyang.github.io/frozenbilm.htmlで公開されます。

関連論文リスト

• Retrieving-to-Answer: Zero-Shot Video Question Answering with Frozen Large Language Models [69.59125732317972]
  本稿では,ビデオQAのためのシンプルで効果的な検索・回答(R2A)フレームワークを提案する。 R2Aは、まず、事前訓練されたマルチモーダルモデルを用いて、ジェネリックテキストコーパスから意味論的に類似したテキストの集合を検索する。 質問と検索されたテキストの両方で、LSMを直接使用して、望ましい回答を得ることができる。
  論文  参考訳（メタデータ） (2023-06-15T20:56:20Z)
• Learning to Answer Visual Questions from Web Videos [89.71617065426146]
  我々は手動のアノテーションを回避し、ビデオ質問応答のための大規模なトレーニングデータセットを生成することを提案する。 我々は、テキストデータに基づいて訓練された質問生成変換器を利用して、書き起こされたビデオナレーションから質問応答ペアを生成する。 詳細な評価のために、言語バイアスの低減と高品質なマニュアルアノテーションを備えた新しいビデオQAデータセットiVQAを紹介する。
  論文  参考訳（メタデータ） (2022-05-10T16:34:26Z)
• Just Ask: Learning to Answer Questions from Millions of Narrated Videos [97.44376735445454]
  我々は手動のアノテーションを回避し、ビデオ質問応答のための大規模なトレーニングデータセットを生成することを提案する。 我々は、テキストデータに基づいて訓練された質問生成変換器を利用して、書き起こされたビデオナレーションから質問応答ペアを生成する。 本手法は,MSRVTT-QA,MSVD-QA,ActivityNet-QA,How2QAにおいて高い性能を示す。
  論文  参考訳（メタデータ） (2020-12-01T12:59:20Z)
• Dense-Caption Matching and Frame-Selection Gating for Temporal Localization in VideoQA [96.10612095576333]
  本稿では,マルチモーダルな入力源を効果的に統合し,時間的関連情報から質問に答えるビデオ質問応答モデルを提案する。 また,2レベルアテンション(単語・オブジェクト・フレームレベル),異なるソース(ビデオ・高密度キャプション)に対するマルチヘッド自己統合,ゲートへのより関連性の高い情報伝達などで構成されている。 当社のモデルは,各モデルコンポーネントが大きな利益をもたらす,難易度の高いTVQAデータセット上で評価され,全体的なモデルでは,最先端のモデルよりも大きなマージンで優れています。
  論文  参考訳（メタデータ） (2020-05-13T16:35:27Z)
• HERO: Hierarchical Encoder for Video+Language Omni-representation Pre-training [75.55823420847759]
  本稿では,大規模ビデオ+言語オムニ表現学習のための新しいフレームワークHEROを提案する。 HEROは階層構造でマルチモーダル入力を符号化し、ビデオフレームのローカルコンテキストをクロスモーダル変換器でキャプチャする。 HEROはHowTo100Mと大規模TVデータセットを共同でトレーニングし、マルチキャラクタインタラクションによる複雑な社会的ダイナミクスの理解を深める。
  論文  参考訳（メタデータ） (2020-05-01T03:49:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。