論文の概要: Less is More: ClipBERT for Video-and-Language Learning via Sparse Sampling

• arxiv url: http://arxiv.org/abs/2102.06183v1
• Date: Thu, 11 Feb 2021 18:50:16 GMT
• ステータス: 処理完了
• システム内更新日: 2021-02-12 14:25:22.811985
• Title: Less is More: ClipBERT for Video-and-Language Learning via Sparse Sampling
• Title（参考訳）: ClipBERT for Video-and-Language Learning via Sparse Sampling (英語)
• Authors: Jie Lei, Linjie Li, Luowei Zhou, Zhe Gan, Tamara L. Berg, Mohit Bansal, Jingjing Liu
• Abstract要約: ビデオと言語の学習に対する標準的なアプローチは、オフラインで抽出された高密度ビデオ機能から学習するニューラルネットワークを規定する。 本稿では,ビデオ・言語タスクに対して,手頃なエンドツーエンド学習を可能にする汎用フレームワークClipBERTを提案する。 6つのデータセットにおけるテキスト・ビデオ検索とビデオ質問応答の実験は、ClipBERTが既存の手法より優れていることを示した。
• 参考スコア（独自算出の注目度）: 98.41300980759577
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The canonical approach to video-and-language learning (e.g., video question answering) dictates a neural model to learn from offline-extracted dense video features from vision models and text features from language models. These feature extractors are trained independently and usually on tasks different from the target domains, rendering these fixed features sub-optimal for downstream tasks. Moreover, due to the high computational overload of dense video features, it is often difficult (or infeasible) to plug feature extractors directly into existing approaches for easy finetuning. To provide a remedy to this dilemma, we propose a generic framework ClipBERT that enables affordable end-to-end learning for video-and-language tasks, by employing sparse sampling, where only a single or a few sparsely sampled short clips from a video are used at each training step. Experiments on text-to-video retrieval and video question answering on six datasets demonstrate that ClipBERT outperforms (or is on par with) existing methods that exploit full-length videos, suggesting that end-to-end learning with just a few sparsely sampled clips is often more accurate than using densely extracted offline features from full-length videos, proving the proverbial less-is-more principle. Videos in the datasets are from considerably different domains and lengths, ranging from 3-second generic domain GIF videos to 180-second YouTube human activity videos, showing the generalization ability of our approach. Comprehensive ablation studies and thorough analyses are provided to dissect what factors lead to this success. Our code is publicly available at https://github.com/jayleicn/ClipBERT
• Abstract（参考訳）: ビデオと言語学習への標準的アプローチ(ビデオ質問応答など)は、視覚モデルや言語モデルからのテキスト機能から、オフラインで抽出された密集したビデオ機能から学ぶためのニューラルモデルを決定する。 これらの特徴抽出器は独立して訓練され、通常はターゲットドメインとは異なるタスクで訓練される。 さらに,高精細度ビデオ特徴量の計算過多により,既存手法に直接特徴抽出器を差し込むのが困難(あるいは不可能)であることも多い。 このジレンマの修正のために、ビデオからサンプリングされた短いクリップを1つまたは数つしか使用しないスパースサンプリングを用いて、ビデオと言語タスクのエンドツーエンド学習を安価に行える汎用フレームワーククリップバートを提案する。 6つのデータセットのテキスト-ビデオ検索とビデオ質問の回答に関する実験は、ClipBERTがフルレングスビデオを利用する既存の方法(またはそれと同等)を上回っていることを実証し、わずか数本のサンプルクリップでエンドツーエンドの学習がフルレングスビデオから密に抽出されたオフライン機能を使用することよりも正確であることを示唆しています。 データセット内のビデオは、3秒のジェネリックドメインgifビデオから180秒のyoutube human activityビデオまで、かなり異なるドメインと長さから成り、我々のアプローチの一般化能力を示している。 この成功に繋がる要因を解明するために、包括的アブレーション研究と徹底的な分析が提供される。 コードはhttps://github.com/jayleicn/ClipBERTで公開されています。

関連論文リスト

• Whats in a Video: Factorized Autoregressive Decoding for Online Dense Video Captioning [71.94122309290537]
  ビデオの高密度キャプションを生成するための,効率的なオンライン手法を提案する。 我々のモデルは、新しい自己回帰因子化復号化アーキテクチャを使用している。 提案手法は,オフライン手法とオンライン手法の両方と比較して優れた性能を示し,計算コストを20%削減する。
  論文  参考訳（メタデータ） (2024-11-22T02:46:44Z)
• InternVideo: General Video Foundation Models via Generative and Discriminative Learning [52.69422763715118]
  動的および複雑なビデオレベルの理解タスクのための一般的なビデオ基盤モデルであるInternVideoを提案する。 InternVideoは、事前学習対象として、マスク付きビデオモデリングとビデオ言語コントラスト学習を効率的に探索する。 InternVideoは、ビデオアクション認識/検出、ビデオ言語アライメント、オープンワールドビデオアプリケーションなど、39のビデオデータセットの最先端のパフォーマンスを実現する。
  論文  参考訳（メタデータ） (2022-12-06T18:09:49Z)
• Enabling Weakly-Supervised Temporal Action Localization from On-Device Learning of the Video Stream [5.215681853828831]
  長編未編集のストリーミングビデオから学習するための効率的なビデオ学習手法を提案する。 私たちの知る限りでは、オンデバイスで長いビデオストリームから直接学習する最初の試みです。
  論文  参考訳（メタデータ） (2022-08-25T13:41:03Z)
• Revealing Single Frame Bias for Video-and-Language Learning [115.01000652123882]
  単一フレームのトレーニングモデルでは,トレーニングに複数のフレームを使用する既存手法よりも優れたパフォーマンスが得られることを示す。 この結果は、人気のあるビデオおよび言語データセットに強い「静的な外観バイアス」が存在することを明らかにする。 本稿では、時間的モデリングを促進するために、既存のきめ細かい行動認識データセットに基づく2つの新しい検索タスクを提案する。
  論文  参考訳（メタデータ） (2022-06-07T16:28:30Z)
• Text-Driven Video Acceleration: A Weakly-Supervised Reinforcement Learning Method [6.172652648945223]
  本稿では,テキストを用いた指導ビデオの高速化を目的とした,弱教師付き手法を提案する。 新たな共同報酬関数がエージェントを誘導し、どのフレームから入力ビデオを取り除き、ターゲット長に減らすかを選択する。 また,高度に識別可能な埋め込み空間を生成可能な拡張視覚誘導型文書注意ネットワーク(VDAN+)を提案する。
  論文  参考訳（メタデータ） (2022-03-29T17:43:01Z)
• VALUE: A Multi-Task Benchmark for Video-and-Language Understanding Evaluation [124.02278735049235]
  VALUEベンチマークは、幅広いビデオジャンル、ビデオの長さ、データボリューム、タスクの難易度をカバーすることを目的としている。 大規模なVidL事前学習による各種ベースライン法の評価を行った。 我々の最高のモデルと人間のパフォーマンスの間の大きなギャップは、先進的なVidLモデルの将来の研究を要求する。
  論文  参考訳（メタデータ） (2021-06-08T18:34:21Z)
• Skimming and Scanning for Untrimmed Video Action Recognition [44.70501912319826]
  非トリミングビデオには、コンテキスト情報を含む冗長で多様なクリップがある。 skim-scan技術に基づく,単純かつ効果的なクリップレベルソリューションを提案する。 我々のソリューションは、精度と効率の両面で最先端のパフォーマンスを上回っている。
  論文  参考訳（メタデータ） (2021-04-21T12:23:44Z)
• Beyond Short Clips: End-to-End Video-Level Learning with Collaborative Memories [56.91664227337115]
  本稿では,ビデオの複数のサンプルクリップにまたがる情報を,トレーニングイテレーション毎にエンコードするコラボレーティブメモリ機構を提案する。 これにより、単一のクリップ以上の長距離依存関係の学習が可能になる。 提案するフレームワークはエンドツーエンドでトレーニング可能で,計算オーバーヘッドが無視できないビデオ分類精度が大幅に向上する。
  論文  参考訳（メタデータ） (2021-04-02T18:59:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。