論文の概要: Learning Spatial Features from Audio-Visual Correspondence in Egocentric
Videos
- arxiv url: http://arxiv.org/abs/2307.04760v1
- Date: Mon, 10 Jul 2023 17:58:17 GMT
- ステータス: 処理完了
- システム内更新日: 2023-07-11 12:04:29.250303
- Title: Learning Spatial Features from Audio-Visual Correspondence in Egocentric
Videos
- Title（参考訳）: エゴセントリックビデオにおける音声・視覚対応による空間特徴の学習
- Authors: Sagnik Majumder, Ziad Al-Halah, Kristen Grauman
- Abstract要約: 本稿では,エゴセントリックビデオにおける空間的音声・視覚対応に基づく表現の自己教師付き学習法を提案する。
我々は,社会的シナリオにおける空間的理解を必要とする2つの下流映像課題に,事前訓練した特徴を用いて対処する。
- 参考スコア（独自算出の注目度）: 93.97385339354318
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We propose a self-supervised method for learning representations based on
spatial audio-visual correspondences in egocentric videos. In particular, our
method leverages a masked auto-encoding framework to synthesize masked binaural
audio through the synergy of audio and vision, thereby learning useful spatial
relationships between the two modalities. We use our pretrained features to
tackle two downstream video tasks requiring spatial understanding in social
scenarios: active speaker detection and spatial audio denoising. We show
through extensive experiments that our features are generic enough to improve
over multiple state-of-the-art baselines on two public challenging egocentric
video datasets, EgoCom and EasyCom. Project:
http://vision.cs.utexas.edu/projects/ego_av_corr.
- Abstract（参考訳）: 本稿では,エゴセントリックビデオにおける空間的音声・視覚対応に基づく表現の自己教師付き学習法を提案する。
特に,マスク付き自動エンコーディングフレームワークを用いて,音声と視覚の相乗効果によりマスク付きバイノーラル音声を合成し,両形態間の有用な空間関係を学習する。
社会的シナリオにおける空間的理解を必要とする2つの下流ビデオ課題:能動的話者検出と空間音声デニュージング。
egocomとeasycomという2つのエゴセントリックなビデオデータセットで、私たちの機能は複数の最先端のベースラインを改善できるほど汎用的であることを、広範な実験を通じて示しています。
プロジェクト: http://vision.cs.utexas.edu/projects/ego_av_corr。
関連論文リスト
- SoundingActions: Learning How Actions Sound from Narrated Egocentric Videos [77.55518265996312]
そこで本研究では,自己教師型埋め込み技術を用いて,自己中心型ビデオから行動音を学習する手法を提案する。
我々のマルチモーダルコントラッシブ・コンセンサス・コーディング(MC3)埋め込みは、すべてのモダリティ対が一致するとき、オーディオ、言語、視覚の関連を強化します。
論文 参考訳（メタデータ） (2024-04-08T05:19:28Z) - Egocentric Audio-Visual Object Localization [51.434212424829525]
本研究では,エゴモーションを明示的に処理する時空間アグリゲーションモジュールを提案する。
エゴモーションの効果は、時間的幾何変換を推定し、それを利用して視覚的表現を更新することによって緩和される。
視覚的に指示された音声表現をアンタングルすることで、モーダルな局所化の堅牢性を向上させる。
論文 参考訳（メタデータ） (2023-03-23T17:43:11Z) - Geometry-Aware Multi-Task Learning for Binaural Audio Generation from
Video [94.42811508809994]
本研究では,映像中の視覚情報に基づいてモノラル(単一チャンネル)音声を音声に変換する音声空間化手法を提案する。
既存の手法では,映像フレームから直接抽出した視覚的特徴を活用するが,この手法は視覚ストリームに存在する幾何学的手がかりを明示的に切り離し,学習過程を導出する。
論文 参考訳（メタデータ） (2021-11-21T19:26:45Z) - Exploiting Audio-Visual Consistency with Partial Supervision for Spatial
Audio Generation [45.526051369551915]
本論文では,モノラル映像を音声と視覚の要素間の関係を利用して変換するオーディオ空間化フレームワークを提案する。
ベンチマークデータセットに関する実験では,半教師ありシナリオと完全教師ありシナリオの両方において,提案フレームワークの有効性を確認した。
論文 参考訳（メタデータ） (2021-05-03T09:34:11Z) - Learning Representations from Audio-Visual Spatial Alignment [76.29670751012198]
音声・視覚コンテンツから表現を学習するための新しい自己教師型プレテキストタスクを提案する。
提案したプリテキストタスクの利点は、様々なオーディオおよびビジュアルダウンストリームタスクで実証される。
論文 参考訳（メタデータ） (2020-11-03T16:20:04Z) - Learning Speech Representations from Raw Audio by Joint Audiovisual
Self-Supervision [63.564385139097624]
生音声波形から自己教師付き音声表現を学習する手法を提案する。
音声のみの自己スーパービジョン(情報的音響属性の予測)と視覚的自己スーパービジョン(音声から発話顔を生成する)を組み合わせることで生音声エンコーダを訓練する。
本研究は,音声表現学習におけるマルチモーダル・セルフ・スーパービジョンの可能性を示すものである。
論文 参考訳（メタデータ） (2020-07-08T14:07:06Z) - Telling Left from Right: Learning Spatial Correspondence of Sight and
Sound [16.99266133458188]
本稿では,音声ストリーム内の空間情報を視覚ストリーム内の音源の位置に合わせるという原理を活用するための,新たな自己教師型タスクを提案する。
我々は、左右のオーディオチャンネルが反転したかどうかを判断するためにモデルを訓練し、視覚とオーディオストリーム間の空間的ローカライゼーションについて推論を強制する。
空間対応の理解により、3つの視覚的タスクにおいてモデルの性能が向上し、教師付きベースラインや自己教師付きベースラインよりも定量的に向上することが実証された。
論文 参考訳（メタデータ） (2020-06-11T04:00:24Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。