論文の概要: EVA02-AT: Egocentric Video-Language Understanding with Spatial-Temporal Rotary Positional Embeddings and Symmetric Optimization

• arxiv url: http://arxiv.org/abs/2506.14356v1
• Date: Tue, 17 Jun 2025 09:51:51 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-18 17:34:59.414335
• Title: EVA02-AT: Egocentric Video-Language Understanding with Spatial-Temporal Rotary Positional Embeddings and Symmetric Optimization
• Title（参考訳）: EVA02-AT:時空間回転型位置埋め込みと対称性最適化によるエゴセントリックビデオ言語理解
• Authors: Xiaoqi Wang, Yi Wang, Lap-Pui Chau,
• Abstract要約: EVA02-ATは、エゴセントリックなビデオ理解タスクに適した、EVA02ベースのビデオ言語基盤モデルのスイートである。 EVA02-ATは、画像ベースのCLIPモデルをシングルステージプレトレーニングを介して、統一ビデオエンコーダに効率的に転送する。 我々は,Symmetric Multi-Similarity(SMS)損失と,正と負のペアに対してすべてのソフトラベルを前進させる新しいトレーニングフレームワークを導入する。
• 参考スコア（独自算出の注目度）: 17.622013322533423
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Egocentric video-language understanding demands both high efficiency and accurate spatial-temporal modeling. Existing approaches face three key challenges: 1) Excessive pre-training cost arising from multi-stage pre-training pipelines, 2) Ineffective spatial-temporal encoding due to manually split 3D rotary positional embeddings that hinder feature interactions, and 3) Imprecise learning objectives in soft-label multi-instance retrieval, which neglect negative pair correlations. In this paper, we introduce EVA02-AT, a suite of EVA02-based video-language foundation models tailored to egocentric video understanding tasks. EVA02-AT first efficiently transfers an image-based CLIP model into a unified video encoder via a single-stage pretraining. Second, instead of applying rotary positional embeddings to isolated dimensions, we introduce spatial-temporal rotary positional embeddings along with joint attention, which can effectively encode both spatial and temporal information on the entire hidden dimension. This joint encoding of spatial-temporal features enables the model to learn cross-axis relationships, which are crucial for accurately modeling motion and interaction in videos. Third, focusing on multi-instance video-language retrieval tasks, we introduce the Symmetric Multi-Similarity (SMS) loss and a novel training framework that advances all soft labels for both positive and negative pairs, providing a more precise learning objective. Extensive experiments on Ego4D, EPIC-Kitchens-100, and Charades-Ego under zero-shot and fine-tuning settings demonstrate that EVA02-AT achieves state-of-the-art performance across diverse egocentric video-language tasks with fewer parameters. Models with our SMS loss also show significant performance gains on multi-instance retrieval benchmarks. Our code and models are publicly available at https://github.com/xqwang14/EVA02-AT .
• Abstract（参考訳）: エゴセントリックなビデオ言語理解は、高効率と正確な時空間モデリングの両方を必要とする。 既存のアプローチは3つの大きな課題に直面します。 1)多段予習パイプラインから生じる過酷な予習コスト 2手動による3次元回転型位置埋め込みによる時空間符号化が特徴的相互作用を妨げること、及び 3) 負のペア相関を無視するソフトラベルマルチインスタンス検索における不正確な学習目標について検討した。 本稿では,エゴセントリックなビデオ理解タスクに適した,EVA02ベースのビデオ言語基盤モデルであるEVA02-ATを紹介する。 EVA02-ATは、まず画像ベースのCLIPモデルを、単一のステージ事前トレーニングによって統合ビデオエンコーダに効率よく転送する。 第2に, 分離次元に回転位置埋め込みを適用する代わりに, 空間的・時間的位置埋め込みを導入し, 隠れ次元全体の空間的・時間的情報を効果的に符号化する。 空間的時間的特徴の連成符号化により、動画内の動きや相互作用を正確にモデル化する上で重要な、クロス軸関係を学習することができる。 第3に,マルチスタンスビデオ言語検索タスクに着目し,Symmetric Multi-Similarity (SMS)損失と,正負のペアと負のペアに対して全てのソフトラベルを前進させる新たなトレーニングフレームワークを導入し,より正確な学習目標を提供する。 Ego4D、EPIC-Kitchens-100、Charades-Egoのゼロショットおよび微調整設定による大規模な実験により、EVA02-ATは、パラメータが少ない多様なエゴセントリックなビデオ言語タスクで最先端のパフォーマンスを達成することが示された。 SMSが失われるモデルも、マルチインスタンス検索ベンチマークで顕著なパフォーマンス向上を示した。 私たちのコードとモデルはhttps://github.com/xqwang14/EVA02-AT で公開されています。

関連論文リスト

• VideoMolmo: Spatio-Temporal Grounding Meets Pointing [73.25506085339252]
  VideoMolmoは、ビデオシーケンスのきめ細かいポインティングに適したモデルだ。 新しい仮面融合はSAM2を双方向の点伝播に用いている。 The generalization of VideoMolmo, we introduced VPoMolS-temporal, a challenge out-of-distribution benchmark across two real-world scenarios。
  論文  参考訳（メタデータ） (2025-06-05T17:59:29Z)
• FEAT: Full-Dimensional Efficient Attention Transformer for Medical Video Generation [14.903360987684483]
  高品質なダイナミック・メディカル・ビデオのためのフル次元能動的アテンション・トランスフォーマであるFEATを提案する。 FEAT-Sは、最先端モデルのEndoraのパラメータのわずか23%しか持たないが、同等またはそれ以上の性能を発揮することを示した。
  論文  参考訳（メタデータ） (2025-06-05T12:31:02Z)
• EgoSplat: Open-Vocabulary Egocentric Scene Understanding with Language Embedded 3D Gaussian Splatting [108.15136508964011]
  EgoSplatは、オープン・ボキャブラリ・エゴセントリック・シーン理解のための3Dガウス・スプレイティング・フレームワークである。 EgoSplatは2つのデータセット上のローカライゼーションタスクとセグメンテーションタスクの両方において、最先端のパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2025-03-14T12:21:26Z)
• Coarse Correspondences Boost Spatial-Temporal Reasoning in Multimodal Language Model [51.83436609094658]
  本稿では,2次元画像を入力として,MLLMの時空間推論を強化する軽量な手法である粗対応を導入する。 本手法は,映像のフレーム間や異なる視点における主物体の対応性を特定するために,軽量な追跡モデルを用いている。 この単純なトレーニングフリーアプローチは、4つのベンチマークでGPT4-V/Oに一定の利得をもたらすことを実証する。
  論文  参考訳（メタデータ） (2024-08-01T17:57:12Z)
• Learning Fine-grained View-Invariant Representations from Unpaired Ego-Exo Videos via Temporal Alignment [71.16699226211504]
  我々は,エゴセントリックな映像とエゴセントリックな映像を時間内に整列させることにより,視点に不変なきめ細かいアクション特徴を学習することを提案する。 そこで本研究では,2つの鍵設計を持つ自己教師型埋め込み手法であるAE2を提案する。 評価のために,エゴ・エクソ・コンテキストにおけるきめ細かい映像理解のためのベンチマークを構築した。
  論文  参考訳（メタデータ） (2023-06-08T19:54:08Z)
• Spatio-Temporal Self-Attention Network for Video Saliency Prediction [13.873682190242365]
  3D畳み込みニューラルネットワークは、コンピュータビジョンにおけるビデオタスクに対して有望な結果を得た。 本稿では,ビデオ・サリエンシ予測のための時空間自己注意3ネットワーク(STSANet)を提案する。
  論文  参考訳（メタデータ） (2021-08-24T12:52:47Z)
• Spatial-Temporal Correlation and Topology Learning for Person Re-Identification in Videos [78.45050529204701]
  クロススケール空間時空間相関をモデル化し, 識別的, 堅牢な表現を追求する新しい枠組みを提案する。 CTLはCNNバックボーンとキーポイント推定器を使用して人体から意味的局所的特徴を抽出する。 グローバルな文脈情報と人体の物理的接続の両方を考慮して、多スケールグラフを構築するためのコンテキスト強化トポロジーを探求する。
  論文  参考訳（メタデータ） (2021-04-15T14:32:12Z)
• Comparison of Spatiotemporal Networks for Learning Video Related Tasks [0.0]
  シーケンスから学習する多くの方法は、個々のフレームから時間的に2D CNNの特徴を処理したり、高性能な2D CNNアーキテクチャ内で直接的に3D畳み込みを利用する。 この研究は、MNISTベースのビデオデータセットを構築し、一般的なビデオ関連タスクのファセット(分類、順序付け、速度推定)のパラメータを制御する。 このデータセットでトレーニングされたモデルは、タスクと2D畳み込み、3D畳み込み、または畳み込みLSTMの使用によって、重要な方法で異なることが示されている。
  論文  参考訳（メタデータ） (2020-09-15T19:57:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。