論文の概要: Question-Instructed Visual Descriptions for Zero-Shot Video Question Answering

• arxiv url: http://arxiv.org/abs/2402.10698v2
• Date: Sun, 21 Jul 2024 00:42:15 GMT
• ステータス: 処理完了
• システム内更新日: 2024-07-24 02:40:58.457834
• Title: Question-Instructed Visual Descriptions for Zero-Shot Video Question Answering
• Title（参考訳）: ゼロショット映像質問応答のための質問指導型視覚記述法
• Authors: David Romero, Thamar Solorio,
• Abstract要約: ビデオ質問応答のための簡単なQ-ViD(ビデオQA)を提案する。 Q-ViDは、フレーム記述を用いたビデオQAに取り組むために、単一の命令対応オープンビジョン言語モデル(InstructBLIP)に依存している。
• 参考スコア（独自算出の注目度）: 7.429984955853609
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We present Q-ViD, a simple approach for video question answering (video QA), that unlike prior methods, which are based on complex architectures, computationally expensive pipelines or use closed models like GPTs, Q-ViD relies on a single instruction-aware open vision-language model (InstructBLIP) to tackle videoQA using frame descriptions. Specifically, we create captioning instruction prompts that rely on the target questions about the videos and leverage InstructBLIP to obtain video frame captions that are useful to the task at hand. Subsequently, we form descriptions of the whole video using the question-dependent frame captions, and feed that information, along with a question-answering prompt, to a large language model (LLM). The LLM is our reasoning module, and performs the final step of multiple-choice QA. Our simple Q-ViD framework achieves competitive or even higher performances than current state of the art models on a diverse range of videoQA benchmarks, including NExT-QA, STAR, How2QA, TVQA and IntentQA.
• Abstract（参考訳）: 本稿では,複雑なアーキテクチャや計算コストのかかるパイプライン,GPTなどのクローズドモデルなどに基づく従来の手法とは異なり,Q-ViDはフレーム記述を用いたビデオQAに対処するために,単一の命令対応オープンビジョン言語モデル(InstructBLIP)に依存している,という,ビデオ質問応答(ビデオQA)の簡単なアプローチを提案する。 具体的には、ビデオに関する対象の質問に依存するキャプション命令プロンプトを作成し、InstructBLIPを利用して、手作業に有用なビデオフレームキャプションを取得する。 次に,質問依存フレームキャプションを用いてビデオ全体の記述を作成し,その情報と質問応答プロンプトを大言語モデル(LLM)に入力する。 LLMは我々の推論モジュールであり、多重選択QAの最終ステップを実行します。 我々の単純なQ-ViDフレームワークは、NExT-QA、STAR、How2QA、TVQA、IntentQAを含む様々なビデオQAベンチマークにおいて、現在の最先端モデルよりも競争力や高いパフォーマンスを達成する。

関連論文リスト

• Enhancing Visual Question Answering through Question-Driven Image Captions as Prompts [3.6064695344878093]
  視覚的質問応答(VQA)は、視覚と言語の内容を理解し、推論し、推論する必要があるため、AI完全タスクとして知られている。 本稿では,VQAパイプラインの中間プロセスとして画像キャプションを組み込むことによる影響について検討する。
  論文  参考訳（メタデータ） (2024-04-12T16:35:23Z)
• MoReVQA: Exploring Modular Reasoning Models for Video Question Answering [101.25249395748794]
  本稿では,ビデオ質問応答(videoQA)の課題を,分解した多段階モジュラー推論フレームワークを用いて解決する。 従来の単一ステージ計画手法とは異なり、イベント、グラウンドステージ、最終的な推論ステージからなるマルチステージシステムと外部メモリとの組み合わせを提案する。
  論文  参考訳（メタデータ） (2024-04-09T17:59:31Z)
• VaQuitA: Enhancing Alignment in LLM-Assisted Video Understanding [63.075626670943116]
  本稿では,映像情報とテキスト情報の相乗効果を向上するための最先端フレームワークであるVaQuitAを紹介する。 データレベルでは、フレームを均一にサンプリングする代わりに、CLIPスコアランキングでガイドされるサンプリング手法を実装している。 機能レベルでは、Visual-Query Transformerと一緒にトレーニング可能なVideo Perceiverを統合します。
  論文  参考訳（メタデータ） (2023-12-04T19:48:02Z)
• Zero-Shot Video Question Answering with Procedural Programs [18.767610951412426]
  本稿では,このようなプログラムを生成するために,大規模言語モデルを用いたProViQ(Procedural Video Querying)を提案する。 ProViQにはビデオ理解のためのモジュールがあり、多様なビデオに一般化できる。 ProViQは、さまざまなベンチマークで最先端の結果を達成し、ショート、ロング、オープン、マルチモーダルのビデオ質問応答データセットで最大25%改善されている。
  論文  参考訳（メタデータ） (2023-12-01T21:34:10Z)
• Video Question Answering with Iterative Video-Text Co-Tokenization [77.66445727743508]
  本稿では,ビデオ質問応答のための新しいマルチストリームビデオエンコーダを提案する。 実験により,MSRVTT-QA,MSVD-QA,IVQAなどの複数のデータセットでモデルを評価する。 本稿では,必要なGFLOPを150-360から67に削減し,高効率なビデオ質問応答モデルを構築した。
  論文  参考訳（メタデータ） (2022-08-01T15:35:38Z)
• Zero-Shot Video Question Answering via Frozen Bidirectional Language Models [89.71617065426146]
  ビデオ質問応答(Video QA)は、訓練に多様なマルチモーダルデータを必要とする複雑なタスクである。 近年の手法では,手動による視覚的質問応答を伴わないゼロショット設定が検討されている。 我々は,凍結自己回帰言語モデル (BiLM) 上に構築し,この手法がゼロショットビデオQAに対してより強力で安価な代替手段を提供することを示す。
  論文  参考訳（メタデータ） (2022-06-16T13:18:20Z)
• NExT-QA:Next Phase of Question-Answering to Explaining Temporal Actions [80.60423934589515]
  NExT-QAは、厳密に設計されたビデオ質問回答(VideoQA)ベンチマークです。 因果的行動推論,時間的行動推論,共通場面理解を対象とする複数選択およびオープンエンドQAタスクを構築した。 トップパフォーマンスの手法は浅い場面記述に優れているが、因果的および時間的行動推論に弱い。
  論文  参考訳（メタデータ） (2021-05-18T04:56:46Z)
• End-to-End Video Question-Answer Generation with Generator-Pretester Network [27.31969951281815]
  マルチメディアにおけるビデオ質問応答(VQA)課題に対するビデオ質問応答生成(VQAG)の課題について検討する。 キャプションはビデオを完全に表現してはいないし、実際に利用できないので、VQAG(Video Question-Answer Generation)によるビデオに基づいて質問対を生成することが不可欠である。 我々は,現在利用可能な2つの大規模ビデオQAデータセットで評価し,最先端の質問生成性能を実現する。
  論文  参考訳（メタデータ） (2021-01-05T10:46:06Z)
• Hierarchical Conditional Relation Networks for Multimodal Video Question Answering [67.85579756590478]
  ビデオQAは、少なくとも2つの複雑さのレイヤを追加します。 条件付き関係ネットワーク(CRN)は、入力の関係を符号化する新しいオブジェクトのセットに変換するテンソルオブジェクトのセットを入力として取り込む。 その後、CRNはビデオQAに2つの形式で適用され、答えが視覚コンテンツからのみ推論されるショートフォームと、サブタイトルなどの関連情報が提示されるロングフォームである。
  論文  参考訳（メタデータ） (2020-10-18T02:31:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。