論文の概要: Audio-Visual Synchronisation in the wild

• arxiv url: http://arxiv.org/abs/2112.04432v1
• Date: Wed, 8 Dec 2021 17:50:26 GMT
• ステータス: 処理完了
• システム内更新日: 2021-12-09 17:06:41.088757
• Title: Audio-Visual Synchronisation in the wild
• Title（参考訳）: 野生におけるオーディオ・ビジュアル同期
• Authors: Honglie Chen, Weidi Xie, Triantafyllos Afouras, Arsha Nagrani, Andrea Vedaldi, Andrew Zisserman
• Abstract要約: 我々は,VGG-Sound Syncという,高い音声・視覚相関を持つテストセットを同定し,キュレートする。 任意の長さの音響信号と視覚信号のモデル化に特化して設計された,トランスフォーマーに基づく多数のアーキテクチャ変種を比較した。 我々は,新しいVGG-Sound Syncビデオデータセットにおいて,160以上の多様なクラスと一般的な音声-視覚同期のための最初のベンチマークを設定した。
• 参考スコア（独自算出の注目度）: 149.84890978170174
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: In this paper, we consider the problem of audio-visual synchronisation applied to videos `in-the-wild' (ie of general classes beyond speech). As a new task, we identify and curate a test set with high audio-visual correlation, namely VGG-Sound Sync. We compare a number of transformer-based architectural variants specifically designed to model audio and visual signals of arbitrary length, while significantly reducing memory requirements during training. We further conduct an in-depth analysis on the curated dataset and define an evaluation metric for open domain audio-visual synchronisation. We apply our method on standard lip reading speech benchmarks, LRS2 and LRS3, with ablations on various aspects. Finally, we set the first benchmark for general audio-visual synchronisation with over 160 diverse classes in the new VGG-Sound Sync video dataset. In all cases, our proposed model outperforms the previous state-of-the-art by a significant margin.
• Abstract（参考訳）: 本稿では,「音声以外の一般クラスのie」に適用される映像の視聴覚同期の問題点について考察する。 新しいタスクとして,vgg-sound syncという,高い視聴覚相関を持つテストセットを識別し,キュレーションする。 我々は,任意の長さの音響信号と視覚信号のモデル化を目的とし,トレーニング時のメモリ要求を大幅に削減しながら,トランスフォーマティブベースアーキテクチャのバリエーションをいくつか比較した。 さらに,キュレーションデータセットの詳細な分析を行い,オープンドメインオーディオ・ビジュアル同期のための評価基準を定義する。 本手法を標準読唇音声ベンチマーク, lrs2, lrs3に適用し, 様々な面でアブレーションを行った。 最後に、新しいVGG-Sound Syncビデオデータセットにおいて、160以上の多様なクラスと一般的な音声-視覚同期の最初のベンチマークを設定した。 いずれの場合においても,提案モデルはこれまでの最先端をかなり上回っている。

関連論文リスト

• Estimated Audio-Caption Correspondences Improve Language-Based Audio Retrieval [3.5570874721859016]
  本稿では,複数の検索モデルを推定文を使わずに訓練する2段階の訓練手法を提案する。 第2段階では、これらのモデルによって予測される音声カプセル対応が予測ターゲットとして機能する。 提案手法をClosoV2とAudioCapsベンチマークで評価し, 自己蒸留条件が制限された場合でも, 検索性能が向上することを示す。
  論文  参考訳（メタデータ） (2024-08-21T14:10:58Z)
• SyncVSR: Data-Efficient Visual Speech Recognition with End-to-End Crossmodal Audio Token Synchronization [29.53063463863921]
  我々は、フレームレベルのクロスモーダル監視に量子化オーディオを利用するエンドツーエンド学習フレームワークSyncVSRを提案する。 音響データと視覚表現を同期するプロジェクション層を統合することで、エンコーダは、非自己回帰的な方法でビデオシーケンスから離散的なオーディオトークンを生成することを学習する。 我々の経験的評価は、最先端の結果を達成するだけでなく、データ使用量を最大9倍に削減できることを示している。
  論文  参考訳（メタデータ） (2024-06-18T03:14:22Z)
• Unified Video-Language Pre-training with Synchronized Audio [21.607860535968356]
  シンクロナイズドオーディオを用いたビデオ言語事前学習のための拡張フレームワークを提案する。 我々のフレームワークは、統合された自己教師型変換器で三モーダル表現を学習する。 0.9Mデータのみを事前学習した本モデルは,最先端のベースラインに対する結果の改善を実現する。
  論文  参考訳（メタデータ） (2024-05-12T07:59:46Z)
• PEAVS: Perceptual Evaluation of Audio-Visual Synchrony Grounded in Viewers' Opinion Scores [18.26082503192707]
  PEAVS(Perceptual Evaluation of Audio-Visual Synchrony)スコアは,音声-視覚同期の質を評価する5点尺度を備えた新しい自動測定値である。 実験では、Fr'eche'tをベースとしたオーディオ・ビジュアル同期の自然な拡張に対して、相対的な50%のゲインを観測した。
  論文  参考訳（メタデータ） (2024-04-10T20:32:24Z)
• Synchformer: Efficient Synchronization from Sparse Cues [100.89656994681934]
  コントリビューションには、新しい音声-視覚同期モデル、同期モデルからの抽出を分離するトレーニングが含まれる。 このアプローチは、濃密な設定とスパース設定の両方において最先端の性能を実現する。 また,100万スケールの 'in-the-wild' データセットに同期モデルのトレーニングを拡張し,解釈可能性に対するエビデンス属性技術を調査し,同期モデルの新たな機能であるオーディオ-視覚同期性について検討する。
  論文  参考訳（メタデータ） (2024-01-29T18:59:55Z)
• Diverse and Aligned Audio-to-Video Generation via Text-to-Video Model Adaptation [89.96013329530484]
  本研究では,多様な意味クラスから自然音声サンプルによってガイドされる多種多様なリアルなビデオを生成するタスクについて考察する。 既存のテキスト条件付きビデオ生成モデルと事前学習されたオーディオエンコーダモデルを利用する。 提案手法は,音声映像サンプルの有意な意味的多様性を示す3つのデータセットに対して広範に検証する。
  論文  参考訳（メタデータ） (2023-09-28T13:26:26Z)
• Text-to-feature diffusion for audio-visual few-shot learning [59.45164042078649]
  ビデオデータから学ぶことは難しいし、あまり研究されていないが、もっと安いセットアップだ。 3つのデータセットに対して,音声・視覚的数ショット映像分類ベンチマークを導入する。 AV-DIFFは,提案した音声・視覚的少数ショット学習のベンチマークにおいて,最先端の性能が得られることを示す。
  論文  参考訳（メタデータ） (2023-09-07T17:30:36Z)
• Large-scale unsupervised audio pre-training for video-to-speech synthesis [64.86087257004883]
  音声合成は、話者の無声映像から音声信号を再構成する作業である。 本稿では,24kHzで3,500時間以上のオーディオデータをエンコーダ・デコーダモデルでトレーニングすることを提案する。 次に、事前学習したデコーダを用いて、音声合成タスクの音声デコーダを初期化する。
  論文  参考訳（メタデータ） (2023-06-27T13:31:33Z)
• On the Audio-visual Synchronization for Lip-to-Speech Synthesis [22.407313748927393]
  GRID, TCD-TIMIT, Lip2Wav などの一般的な音声視覚データセットは, データの非同期性に問題があることを示す。 このようなデータセットでリップ・トゥ・スペルのトレーニングを行うと、モデル非同期問題(つまり、生成された音声と入力ビデオの同期が切れている)がさらに引き起こされる可能性がある。
  論文  参考訳（メタデータ） (2023-03-01T13:35:35Z)
• Sparse in Space and Time: Audio-visual Synchronisation with Trainable Selectors [103.21152156339484]
  本研究の目的は,一般映像の「野生」音声・視覚同期である。 我々は4つのコントリビューションを行う: (i) スパース同期信号に必要な長時間の時間的シーケンスを処理するために、'セレクタ'を利用するマルチモーダルトランスモデルを設計する。 音声やビデオに使用される圧縮コーデックから生じるアーティファクトを識別し、トレーニングにおいてオーディオ視覚モデルを用いて、同期タスクを人工的に解くことができる。
  論文  参考訳（メタデータ） (2022-10-13T14:25:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。