論文の概要: Ego-Exo: Transferring Visual Representations from Third-person to First-person Videos

• arxiv url: http://arxiv.org/abs/2104.07905v1
• Date: Fri, 16 Apr 2021 06:10:10 GMT
• ステータス: 処理完了
• システム内更新日: 2021-04-19 14:22:42.555166
• Title: Ego-Exo: Transferring Visual Representations from Third-person to First-person Videos
• Title（参考訳）: Ego-Exo: 3人称から1人称に視覚表現を移す
• Authors: Yanghao Li, Tushar Nagarajan, Bo Xiong, Kristen Grauman
• Abstract要約: 大規模第3者映像データセットを用いた自己中心型映像モデルの事前訓練手法について紹介する。 私たちのアイデアは、重要なエゴセントリック特性を予測する第三者ビデオから潜在信号を見つけることです。 実験の結果,Ego-Exoフレームワークは標準ビデオモデルにシームレスに統合可能であることがわかった。
• 参考スコア（独自算出の注目度）: 92.38049744463149
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We introduce an approach for pre-training egocentric video models using large-scale third-person video datasets. Learning from purely egocentric data is limited by low dataset scale and diversity, while using purely exocentric (third-person) data introduces a large domain mismatch. Our idea is to discover latent signals in third-person video that are predictive of key egocentric-specific properties. Incorporating these signals as knowledge distillation losses during pre-training results in models that benefit from both the scale and diversity of third-person video data, as well as representations that capture salient egocentric properties. Our experiments show that our Ego-Exo framework can be seamlessly integrated into standard video models; it outperforms all baselines when fine-tuned for egocentric activity recognition, achieving state-of-the-art results on Charades-Ego and EPIC-Kitchens-100.
• Abstract（参考訳）: 本稿では,大規模3人称ビデオデータセットを用いた自己中心型映像モデルの事前学習手法を提案する。 純粋にエゴセントリックなデータから学ぶことは、低データセットのスケールと多様性によって制限されるが、純粋なエクソセントリックな(第三者)データを使用すると、大きなドメインミスマッチが発生する。 私たちのアイデアは、重要なエゴセントリック特性を予測する第三者ビデオから潜在信号を見つけることです。 事前学習中の知識蒸留損失としてこれらの信号を組み込むことで、第三者のビデオデータのスケールと多様性の恩恵を受けるモデルと、突出したエゴセントリック特性をキャプチャする表現が得られる。 我々のEgo-Exoフレームワークは,エゴセントリックなアクティビティ認識を微調整し,Charades-Ego と EPIC-Kitchens-100 の最先端結果を達成して,すべてのベースラインを向上する。

関連論文リスト

• Unlocking Exocentric Video-Language Data for Egocentric Video Representation Learning [80.37314291927889]
  EMBEDは、エゴセントリックなビデオ表現学習のための、エゴセントリックなビデオ言語データを変換するために設計された手法である。 エゴセントリックなビデオは、主にクローズアップなハンドオブジェクトのインタラクションを特徴としているのに対し、エゴセントリックなビデオは、人間の活動に対してより広い視点を提供する。 視覚と言語スタイルの転送の両方を適用することで、私たちのフレームワークは新しいエゴセントリックなデータセットを作成します。
  論文  参考訳（メタデータ） (2024-08-07T06:10:45Z)
• EgoGen: An Egocentric Synthetic Data Generator [53.32942235801499]
  EgoGenは新しい合成データジェネレータで、エゴセントリックな知覚タスクのための正確でリッチな地上訓練データを生成することができる。 EgoGenの中心となるのは、仮想人間の自我中心の視覚入力を直接利用して3D環境を感知する、新しい人間のモーション合成モデルである。 我々は、ヘッドマウントカメラのマッピングとローカライゼーション、エゴセントリックカメラトラッキング、エゴセントリックビューからのヒューマンメッシュリカバリの3つのタスクで、EgoGenの有効性を実証する。
  論文  参考訳（メタデータ） (2024-01-16T18:55:22Z)
• Retrieval-Augmented Egocentric Video Captioning [53.2951243928289]
  EgoInstructor(エゴインストラクタ)は、意味的に関連する第三者の指導ビデオを自動的に検索する、検索拡張マルチモーダルキャプションモデルである。 我々は、エゴセントリックでエゴセントリックなビデオ機能を引き出す新しいEgoExoNCE損失でクロスビュー検索モジュールをトレーニングし、同様のアクションを記述した共有テキスト機能にアライメントすることで、より近づいた。
  論文  参考訳（メタデータ） (2024-01-01T15:31:06Z)
• Ego-Body Pose Estimation via Ego-Head Pose Estimation [22.08240141115053]
  エゴセントリックなビデオシーケンスから3次元の人間の動きを推定することは、人間の行動理解において重要な役割を担い、VR/ARに様々な応用がある。 Ego-Head Pose Estimation (EgoEgo) と呼ばれる新しい手法を提案する。 この頭と体のポーズのゆがみは、ペア化されたエゴセントリックなビデオと3D人間の動きでデータセットをトレーニングする必要をなくす。
  論文  参考訳（メタデータ） (2022-12-09T02:25:20Z)
• Egocentric Video-Language Pretraining [74.04740069230692]
  Video-Language Pretrainingは、転送可能な表現を学習して、幅広いビデオテキストダウンストリームタスクを前進させることを目的としている。 我々は、最近リリースされたEgo4Dデータセットを利用して、3方向のEgoセントリックトレーニングを開拓しました。 3つのデータセットにわたる5つのエゴセントリックなダウンストリームタスクに対して、強いパフォーマンスを示します。
  論文  参考訳（メタデータ） (2022-06-03T16:28:58Z)
• Estimating Egocentric 3D Human Pose in the Wild with External Weak Supervision [72.36132924512299]
  本稿では,大規模な自己中心型データセットでトレーニング可能な,新たな自己中心型ポーズ推定手法を提案する。 本研究では,事前学習された外部視点のポーズ推定モデルにより抽出された高品質な特徴を用いて,エゴセントリックな特徴を監督する新しい学習戦略を提案する。 実験により,本手法は,1つの画像から正確な3Dポーズを予測し,定量的,定性的に,最先端の手法よりも優れていることがわかった。
  論文  参考訳（メタデータ） (2022-01-20T00:45:13Z)
• Enhancing Egocentric 3D Pose Estimation with Third Person Views [37.9683439632693]
  本研究では,1台のウェアラブルカメラから撮影した映像から計算した人物の3次元身振り推定を強化する新しい手法を提案する。 First2Third-Poseは、最初の視点と第三視点の両方から捉えた人間の活動を描いた2000近いビデオからなる、ペア化された新しい同期データセットである。 実験により,データセットを用いて学習した多視点埋め込み空間は,任意の単視点自我中心ビデオから識別的特徴を抽出するのに有用であることが示された。
  論文  参考訳（メタデータ） (2022-01-06T11:42:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。