論文の概要: TWLV-I: Analysis and Insights from Holistic Evaluation on Video Foundation Models

• arxiv url: http://arxiv.org/abs/2408.11318v1
• Date: Wed, 21 Aug 2024 03:56:27 GMT
• ステータス: 処理完了
• システム内更新日: 2024-08-22 18:28:56.257128
• Title: TWLV-I: Analysis and Insights from Holistic Evaluation on Video Foundation Models
• Title（参考訳）: TWLV-I:ビデオファンデーションモデルにおけるホロスティック評価の分析と考察
• Authors: Hyeongmin Lee, Jin-Young Kim, Kyungjune Baek, Jihwan Kim, Hyojun Go, Seongsu Ha, Seokjin Han, Jiho Jang, Raehyuk Jung, Daewoo Kim, GeunOh Kim, JongMok Kim, Jongseok Kim, Junwan Kim, Soonwoo Kwon, Jangwon Lee, Seungjoon Park, Minjoon Seo, Jay Suh, Jaehyuk Yi, Aiden Lee,
• Abstract要約: 本稿では,映像理解における2つの中核的能力(外観と動作理解)を測定するための枠組みを提案する。 我々は、モーションベースと外観ベースの両方で堅牢な視覚表現を構築する、新しいビデオ基盤モデルであるTWLV-Iを紹介する。
• 参考スコア（独自算出の注目度）: 32.6243916760583
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: In this work, we discuss evaluating video foundation models in a fair and robust manner. Unlike language or image foundation models, many video foundation models are evaluated with differing parameters (such as sampling rate, number of frames, pretraining steps, etc.), making fair and robust comparisons challenging. Therefore, we present a carefully designed evaluation framework for measuring two core capabilities of video comprehension: appearance and motion understanding. Our findings reveal that existing video foundation models, whether text-supervised like UMT or InternVideo2, or self-supervised like V-JEPA, exhibit limitations in at least one of these capabilities. As an alternative, we introduce TWLV-I, a new video foundation model that constructs robust visual representations for both motion- and appearance-based videos. Based on the average top-1 accuracy of linear probing on five action recognition benchmarks, pretrained only on publicly accessible datasets, our model shows a 4.6%p improvement compared to V-JEPA (ViT-L) and a 7.7%p improvement compared to UMT (ViT-L). Even when compared to much larger models, our model demonstrates a 7.2%p improvement compared to DFN (ViT-H), a 2.7%p improvement compared to V-JEPA~(ViT-H) and a 2.8%p improvement compared to InternVideo2 (ViT-g). We provide embedding vectors obtained by TWLV-I from videos of several commonly used video benchmarks, along with evaluation source code that can directly utilize these embeddings. The code is available on "https://github.com/twelvelabs-io/video-embeddings-evaluation-framework".
• Abstract（参考訳）: 本研究では,映像基礎モデルの公平かつ堅牢な評価について論じる。 言語や画像基礎モデルとは異なり、多くのビデオ基礎モデルは、サンプリング率、フレーム数、事前学習ステップなど)異なるパラメータで評価され、公正で堅牢な比較が難しい。 そこで本稿では,映像理解における2つの中核的能力(外観と動作理解)を測定するための,慎重に設計された評価フレームワークを提案する。 以上の結果から, UMT や InternVideo2 のようなテキスト管理や V-JEPA のような自己管理といった既存のビデオ基盤モデルでは,少なくとも1つの機能に制限があることがわかった。 代替として、モーションベースビデオと外観ベースビデオの両方にロバストな視覚表現を構築する新しいビデオ基盤モデルであるTWLV-Iを導入する。 V-JEPA (ViT-L) よりも4.6%, UMT (ViT-L) より7.7%改善した。 大型モデルと比較しても,DFN(ViT-H)に比べて7.2%,V-JEPA~(ViT-H)より2.7%,InternVideo2(ViT-g)より2.8%改善した。 本稿では,TWLV-Iによるビデオベンチマークから得られる埋め込みベクトルと,それらの埋め込みを直接利用できる評価ソースコードを提供する。 コードは"https://github.com/twelvelabs-io/video-embeddings-evaluation-framework"で公開されている。

関連論文リスト

• VHELM: A Holistic Evaluation of Vision Language Models [75.88987277686914]
  視覚言語モデル(VHELM)の全体的評価について述べる。 VHELMは、視覚的知覚、知識、推論、バイアス、公平性、多言語性、堅牢性、毒性、安全性の9つの側面の1つ以上をカバーするために、さまざまなデータセットを集約する。 私たちのフレームワークは軽量で自動で、評価の実行が安価で高速に行えるように設計されています。
  論文  参考訳（メタデータ） (2024-10-09T17:46:34Z)
• VideoEval: Comprehensive Benchmark Suite for Low-Cost Evaluation of Video Foundation Model [22.188795668927586]
  ビデオファウンデーションモデル(VFM)は近年大きな進歩を遂げている。 既存のベンチマークと評価プロトコルは、比較的低い多様性、高い評価コスト、飽和したパフォーマンスメトリクスによって制限されることが多い。 これらの問題、すなわちVideoEvalに対処するための包括的なベンチマークスイートを構築しています。
  論文  参考訳（メタデータ） (2024-07-09T01:49:08Z)
• PLLaVA : Parameter-free LLaVA Extension from Images to Videos for Video Dense Captioning [78.23573511641548]
  視覚言語事前学習は、幅広い画像言語アプリケーションで性能を大幅に向上させた。 しかし、ビデオ関連タスクの事前学習プロセスは、非常に大きな計算とデータリソースを必要とする。 本稿では,映像理解のための既存の画像言語事前学習モデルに適用するための,ストレートフォワード,高効率,資源光のアプローチについて検討する。
  論文  参考訳（メタデータ） (2024-04-25T19:29:55Z)
• ViTamin: Designing Scalable Vision Models in the Vision-Language Era [26.878662961209997]
  Vision Transformer (ViTs) は、イメージエンコーダのデフォルトの選択肢である。 ViTamin-Lは、ViT-Lを2.0%画像ネットゼロショット精度で大幅に上回る。 436万のパラメータしか持たないViTamin-XLは、82.9%のImageNetゼロショット精度を実現している。
  論文  参考訳（メタデータ） (2024-04-02T17:40:29Z)
• Subjective-Aligned Dataset and Metric for Text-to-Video Quality Assessment [54.00254267259069]
  現在までに最大規模のテキスト・ビデオ品質評価データベース(T2VQA-DB)を構築している。 データセットは、9つの異なるT2Vモデルによって生成される1万のビデオで構成されている。 主観的テキスト・ビデオ品質評価(T2VQA)のためのトランスフォーマーに基づく新しいモデルを提案する。
  論文  参考訳（メタデータ） (2024-03-18T16:52:49Z)
• Revisiting Feature Prediction for Learning Visual Representations from Video [62.08833572467379]
  V-JEPAは、機能予測の目的のみを用いて訓練された視覚モデルの集合である。 モデルは、公開データセットから収集された200万のビデオに基づいてトレーニングされる。 以上の結果から,映像特徴の予測による学習が視覚表現の多目的化につながることが示唆された。
  論文  参考訳（メタデータ） (2024-02-15T18:59:11Z)
• TAPIR: Tracking Any Point with per-frame Initialization and temporal Refinement [64.11385310305612]
  本稿では,ビデオシーケンスを通して任意の物理面上の問合せ点を効果的に追跡する,TAP(Tracking Any Point)の新しいモデルを提案する。 提案手法では,(1)他のフレームの問合せ点に対する適切な候補点マッチングを独立に特定するマッチング段階と,(2)局所的相関に基づいてトラジェクトリと問合せの両方を更新する改良段階の2段階を用いる。 結果として得られたモデルは、DAVISにおける平均約20%の絶対平均ジャカード(AJ)改善によって示されるように、TAP-Vidベンチマークにおける大きなマージンで、すべてのベースライン手法を上回ります。
  論文  参考訳（メタデータ） (2023-06-14T17:07:51Z)
• VindLU: A Recipe for Effective Video-and-Language Pretraining [83.49216853881595]
  本稿では,VidLモデル設計において最も重要な要素を解明する実証的研究を行う。 これらの経験的洞察を用いて、有効なVidL事前学習のためのステップバイステップレシピVindLUを開発した。 提案手法を用いてトレーニングしたモデルは,VidLタスクにおける最先端結果と同等かそれ以上の精度で達成できる。
  論文  参考訳（メタデータ） (2022-12-09T18:54:05Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。