論文の概要: Track the Answer: Extending TextVQA from Image to Video with Spatio-Temporal Clues

• arxiv url: http://arxiv.org/abs/2412.12502v1
• Date: Tue, 17 Dec 2024 03:06:12 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-18 13:58:55.814558
• Title: Track the Answer: Extending TextVQA from Image to Video with Spatio-Temporal Clues
• Title（参考訳）: テキストVQAを画像からビデオに拡張した時空間クレームによる回答の追跡
• Authors: Yan Zhang, Gangyan Zeng, Huawen Shen, Daiqing Wu, Yu Zhou, Can Ma,
• Abstract要約: ビデオテキストベースの視覚的質問応答 (Video TextVQA) は、あるビデオにおいて、共同でテキストによる推論と視覚情報によって質問に答えることを目的とした実践的なタスクである。 画像からビデオへ生成するTextVQAフレームワークをより良く拡張するTEA(stands for textbfTrack thbfE bftextA languageser'')手法を提案する。
• 参考スコア（独自算出の注目度）: 8.797350517975477
• License:
• Abstract: Video text-based visual question answering (Video TextVQA) is a practical task that aims to answer questions by jointly reasoning textual and visual information in a given video. Inspired by the development of TextVQA in image domain, existing Video TextVQA approaches leverage a language model (e.g. T5) to process text-rich multiple frames and generate answers auto-regressively. Nevertheless, the spatio-temporal relationships among visual entities (including scene text and objects) will be disrupted and models are susceptible to interference from unrelated information, resulting in irrational reasoning and inaccurate answering. To tackle these challenges, we propose the TEA (stands for ``\textbf{T}rack th\textbf{E} \textbf{A}nswer'') method that better extends the generative TextVQA framework from image to video. TEA recovers the spatio-temporal relationships in a complementary way and incorporates OCR-aware clues to enhance the quality of reasoning questions. Extensive experiments on several public Video TextVQA datasets validate the effectiveness and generalization of our framework. TEA outperforms existing TextVQA methods, video-language pretraining methods and video large language models by great margins.
• Abstract（参考訳）: ビデオテキストベースの視覚的質問応答(Video TextVQA)は,映像中のテキスト情報と視覚情報を共同で推論することで,質問に答えることを目的とした実践的課題である。 画像領域におけるTextVQAの開発に触発されて、既存のVideo TextVQAアプローチは、言語モデル(例えばT5)を利用して、テキストリッチな複数のフレームを処理し、自動回帰的に回答を生成する。 それでも、視覚的実体(シーンテキストやオブジェクトを含む)間の時空間的関係は破壊され、モデルは無関係な情報からの干渉を受けやすくなり、不合理な推論と不正確な答えをもたらす。 これらの課題に対処するため、画像からビデオへ生成するTextVQAフレームワークをより良く拡張するTAA(``\textbf{T}rack th\textbf{E} \textbf{A}nswer'')手法を提案する。 TEAは相補的な方法で時空間関係を回復し、OCR対応の手がかりを取り入れて推論の質を高める。 いくつかの公開ビデオTextVQAデータセットに対する大規模な実験により、我々のフレームワークの有効性と一般化が検証された。 TEAは、既存のTextVQAメソッド、ビデオ言語事前学習メソッド、ビデオ大言語モデルよりも大きなマージンで優れている。

関連論文リスト

• Scene-Text Grounding for Text-Based Video Question Answering [97.1112579979614]
  テキストベースのビデオ質問応答(TextVideoQA)の既存の取り組みは、不透明な意思決定とシーンテキスト認識への依存で批判されている。 我々は,モデルに質問への回答を強制し,関連するシーンテキスト領域を解釈させることにより,グラウンドドテキストビデオQAを研究する。
  論文  参考訳（メタデータ） (2024-09-22T05:13:11Z)
• GQE: Generalized Query Expansion for Enhanced Text-Video Retrieval [56.610806615527885]
  本稿では,テキストとビデオ間の固有情報不均衡に対処するため,新しいデータ中心型アプローチであるGeneralized Query Expansion (GQE)を提案する。 ビデオをショートクリップにアダプティブに分割し、ゼロショットキャプションを採用することで、GQEはトレーニングデータセットを総合的なシーン記述で強化する。 GQEは、MSR-VTT、MSVD、SMDC、VATEXなど、いくつかのベンチマークで最先端のパフォーマンスを実現している。
  論文  参考訳（メタデータ） (2024-08-14T01:24:09Z)
• Enhancing textual textbook question answering with large language models and retrieval augmented generation [3.6799953119508735]
  本稿では、検索拡張生成(RAG)技術を組み込んだフレームワーク(PLRTQA)を提案する。 我々のアーキテクチャはベースラインよりも優れており、検証セットが4.12%、テストセットが9.84%の精度向上を実現している。
  論文  参考訳（メタデータ） (2024-02-05T11:58:56Z)
• RTQ: Rethinking Video-language Understanding Based on Image-text Model [55.278942477715084]
  ビデオ言語理解は、非常に複雑なセマンティックな詳細を含んでいるため、ユニークな課題を提示する。 本稿では,これらの課題を同時に解決するRTQという新しいフレームワークを提案する。 本モデルは,ビデオ言語による事前学習がなくても,優れた性能を示す。
  論文  参考訳（メタデータ） (2023-12-01T04:51:01Z)
• Making the V in Text-VQA Matter [1.2962828085662563]
  テキストベースのVQAは,画像中のテキストを読み取って質問に答えることを目的としている。 近年の研究では、データセットの問合せ対は、画像に存在するテキストにより焦点を絞っていることが示されている。 このデータセットでトレーニングされたモデルは、視覚的コンテキストの理解の欠如による偏りのある回答を予測する。
  論文  参考訳（メタデータ） (2023-08-01T05:28:13Z)
• Towards Generalisable Video Moment Retrieval: Visual-Dynamic Injection to Image-Text Pre-Training [70.83385449872495]
  映像モーメント検索(VMR)における視覚とテキストの相関 既存の方法は、視覚的およびテキスト的理解のために、個別の事前学習機能抽出器に依存している。 本稿では,映像モーメントの理解を促進するために,ビジュアルダイナミックインジェクション(Visual-Dynamic Injection, VDI)と呼ばれる汎用手法を提案する。
  論文  参考訳（メタデータ） (2023-02-28T19:29:05Z)
• Look, Read and Ask: Learning to Ask Questions by Reading Text in Images [3.3972119795940525]
  テキストベースの視覚的質問生成(TextVQG)の新たな問題を提案する。 テキストVQGに対処するために,OCR で一貫した視覚的質問生成モデルを提案する。
  論文  参考訳（メタデータ） (2022-11-23T13:52:46Z)
• TAG: Boosting Text-VQA via Text-aware Visual Question-answer Generation [55.83319599681002]
  Text-VQAは、画像中のテキストの手がかりを理解する必要がある質問に答えることを目的としている。 画像のシーンコンテキストで利用可能な既存のリッチテキストを明示的に利用することにより,高品質で多様なQAペアを生成する方法を開発した。
  論文  参考訳（メタデータ） (2022-08-03T02:18:09Z)
• Look Before you Speak: Visually Contextualized Utterances [88.58909442073858]
  ビデオ中の発話を視覚的フレームと書き起こされた音声の両方を文脈として予測するタスクを作成する。 オンラインで多数の指導ビデオを活用することで、手動のアノテーションを必要とせずに、このタスクを大規模に解決するためのモデルを訓練する。 本モデルは,多数のダウンストリームビデオQAベンチマークにおいて,最先端の性能を実現する。
  論文  参考訳（メタデータ） (2020-12-10T14:47:02Z)
• RUArt: A Novel Text-Centered Solution for Text-Based Visual Question Answering [14.498144268367541]
  テキストベースのVQAのためのRUArt (Reading, Understanding and Answering the Related Text) と呼ばれる新しいテキスト中心方式を提案する。 RUArtを2つのテキストベースVQAベンチマーク(ST-VQAとTextVQA)で評価し、RUArtの有効性の理由を探るため広範囲にわたるアブレーション研究を行った。
  論文  参考訳（メタデータ） (2020-10-24T15:37:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。