論文の概要: Multimodal Transformer Distillation for Audio-Visual Synchronization

• arxiv url: http://arxiv.org/abs/2210.15563v3
• Date: Mon, 18 Mar 2024 05:55:34 GMT
• ステータス: 処理完了
• システム内更新日: 2024-03-20 06:58:04.365524
• Title: Multimodal Transformer Distillation for Audio-Visual Synchronization
• Title（参考訳）: オーディオ・ビジュアル同期のためのマルチモーダル変圧器蒸留
• Authors: Xuanjun Chen, Haibin Wu, Chung-Che Wang, Hung-yi Lee, Jyh-Shing Roger Jang,
• Abstract要約: 本稿ではMTDVocaLiSTモデルを提案する。 MTDVocaLiSTはVocaLiSTのモデルサイズを83.52%削減するが、同様の性能を維持している。
• 参考スコア（独自算出の注目度）: 53.237653873618754
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Audio-visual synchronization aims to determine whether the mouth movements and speech in the video are synchronized. VocaLiST reaches state-of-the-art performance by incorporating multimodal Transformers to model audio-visual interact information. However, it requires high computing resources, making it impractical for real-world applications. This paper proposed an MTDVocaLiST model, which is trained by our proposed multimodal Transformer distillation (MTD) loss. MTD loss enables MTDVocaLiST model to deeply mimic the cross-attention distribution and value-relation in the Transformer of VocaLiST. Additionally, we harness uncertainty weighting to fully exploit the interaction information across all layers. Our proposed method is effective in two aspects: From the distillation method perspective, MTD loss outperforms other strong distillation baselines. From the distilled model's performance perspective: 1) MTDVocaLiST outperforms similar-size SOTA models, SyncNet, and Perfect Match models by 15.65% and 3.35%; 2) MTDVocaLiST reduces the model size of VocaLiST by 83.52%, yet still maintaining similar performance.
• Abstract（参考訳）: 音声と視覚の同期は、ビデオ中の口の動きと音声が同期しているかどうかを判断することを目的としている。 VocaLiSTは、マルチモーダルトランスフォーマーを組み込んで、音声と視覚の対話情報をモデル化することで、最先端のパフォーマンスを実現する。 しかし、それは高い計算資源を必要とし、現実世界のアプリケーションには実用的ではない。 本稿ではMTDVocaLiSTモデルを提案する。 MTD損失により、MTDVocaLiSTモデルはVocaLiSTの変換器のクロスアテンション分布と値関係を深く模倣することができる。 さらに、すべての層にわたるインタラクション情報を完全に活用するために、不確実性重み付けを利用する。 提案手法は, 蒸留法の観点から, MTD損失は他の強い蒸留ベースラインよりも優れた性能を示す。 蒸留モデルの性能の観点から 1)MTDVocaLiSTは、同様のサイズのSOTAモデル、SyncNet、Perfect Matchモデルを15.65%、そして3.35%で上回る。 2) MTDVocaLiSTはVocaLiSTのモデルサイズを83.52%削減するが、同様の性能を維持している。

関連論文リスト

• MA-AVT: Modality Alignment for Parameter-Efficient Audio-Visual Transformers [41.54004590821323]
  マルチモーダルなセマンティックな特徴に対して,深いモーダルアライメントを用いたパラメータ効率の高いオーディオ視覚変換器MA-AVTを提案する。 具体的には,2つのモダリティを凍結したモダリティシェード変圧器で整列するための共同一様・多モードトークン学習を導入する。 ユニモーダルエンコーダの出力から得られた粗い特徴のみを整列する以前の作業とは異なり、粗大から細小の階層的特徴を整列するブロックワイドコントラスト学習を導入する。
  論文  参考訳（メタデータ） (2024-06-07T13:35:44Z)
• Efficient Multiscale Multimodal Bottleneck Transformer for Audio-Video Classification [6.341420717393898]
  我々は,新しいマルチスケールオーディオトランス (MAT) とマルチスケールビデオトランス (MMT) を開発した。 提案されたMATは、3つの公開ベンチマークデータセットでAST[28]を22.2%、4.4%、4.7%で大幅に上回っている。 FLOPの数に基づいて約3%効率が良く、GPUメモリ使用量に基づいて9.8%効率が良い。
  論文  参考訳（メタデータ） (2024-01-08T17:02:25Z)
• Efficient Selective Audio Masked Multimodal Bottleneck Transformer for Audio-Video Classification [6.341420717393898]
  マルチモーダルビデオから学習するために,オーディオビデオトランスフォーマー(AVT)と呼ばれる新しいオーディオビデオ認識手法を提案する。 マルチモーダル融合では、単にトークンを時間的変換器で凝縮するには、大きな計算資源とメモリリソースが必要である。 AVTトレーニングには、自己監督対象、オーディオ・ビデオコントラスト学習、オーディオ・ビデオマッチング、マスク付きオーディオ・ビデオ学習が組み込まれ、多様なオーディオ・ビデオ表現を共通のマルチモーダル表現空間にマッピングする。
  論文  参考訳（メタデータ） (2024-01-08T16:58:59Z)
• DiffiT: Diffusion Vision Transformers for Image Generation [88.08529836125399]
  ViT(Vision Transformer)は、特に認識タスクにおいて、強力なモデリング機能とスケーラビリティを実証している。 拡散型生成学習におけるViTの有効性について検討し、拡散ビジョン変換器(DiffiT)と呼ばれる新しいモデルを提案する。 DiffiTはパラメータ効率が大幅に向上した高忠実度画像を生成するのに驚くほど効果的である。
  論文  参考訳（メタデータ） (2023-12-04T18:57:01Z)
• Adapted Multimodal BERT with Layer-wise Fusion for Sentiment Analysis [84.12658971655253]
  本稿では,マルチモーダルタスクのためのBERTベースのアーキテクチャであるAdapted Multimodal BERTを提案する。 アダプタはタスクの事前訓練された言語モデルを手動で調整し、融合層はタスク固有の層ワイドな音声視覚情報とテキストBERT表現を融合させる。 われわれは、このアプローチがより効率的なモデルにつながり、微調整されたモデルよりも優れ、ノイズの入力に堅牢であることを示した。
  論文  参考訳（メタデータ） (2022-12-01T17:31:42Z)
• Efficient Vision Transformers via Fine-Grained Manifold Distillation [96.50513363752836]
  視覚変換器のアーキテクチャは多くのコンピュータビジョンタスクで異常な性能を示した。 ネットワーク性能は向上するが、トランスフォーマーはより多くの計算資源を必要とすることが多い。 本稿では,教師のトランスフォーマーから,画像と分割パッチの関係を通して有用な情報を抽出することを提案する。
  論文  参考訳（メタデータ） (2021-07-03T08:28:34Z)
• Attention Bottlenecks for Multimodal Fusion [90.75885715478054]
  機械知覚モデルは典型的にはモダリティに特化しており、単調なベンチマークのために最適化されている。 複数の層でのモジュラリティ融合に「融合」を用いる新しいトランスフォーマーアーキテクチャを導入する。 我々は、徹底的なアブレーション研究を行い、複数のオーディオ視覚分類ベンチマークで最先端の結果を得る。
  論文  参考訳（メタデータ） (2021-06-30T22:44:12Z)
• Parameter Efficient Multimodal Transformers for Video Representation Learning [108.8517364784009]
  本研究は,映像表現学習におけるマルチモーダルトランスフォーマーのパラメータの削減に焦点をあてる。 このアプローチではパラメータを80$%まで削減し、モデルのエンドツーエンドをスクラッチからトレーニングできるようにしています。 本研究では,Kinetics-700から30秒のクリップをプレトレーニングし,それを音声視覚分類タスクに転送する。
  論文  参考訳（メタデータ） (2020-12-08T00:16:13Z)
• Tight Integrated End-to-End Training for Cascaded Speech Translation [40.76367623739673]
  カスケード音声翻訳モデルは、離散的および非微分可能転写に依存している。 直接音声翻訳は、誤りの伝播を避けるための代替手法である。 この研究は、カスケードコンポーネント全体を1つのエンドツーエンドのトレーニング可能なモデルにまとめることの可能性を探る。
  論文  参考訳（メタデータ） (2020-11-24T15:43:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。