論文の概要: Zorro: the masked multimodal transformer

• arxiv url: http://arxiv.org/abs/2301.09595v1
• Date: Mon, 23 Jan 2023 17:51:39 GMT
• ステータス: 処理完了
• システム内更新日: 2023-01-24 12:48:53.938244
• Title: Zorro: the masked multimodal transformer
• Title（参考訳）: zorro: マスク付きマルチモーダルトランスフォーマー
• Authors: Adri\`a Recasens, Jason Lin, Jo\=ao Carreira, Drew Jaegle, Luyu Wang, Jean-baptiste Alayrac, Pauline Luc, Antoine Miech, Lucas Smaira, Ross Hemsley, Andrew Zisserman
• Abstract要約: ゾロ(Zorro)は、トランスフォーマー内の各モードからの入力をどのようにルーティングするかを制御するためにマスクを使用するテクニックである。 対照的な事前学習により、Zorroはマルチモーダルタスクの最も関連性の高いベンチマークで最先端の結果が得られることを示す。
• 参考スコア（独自算出の注目度）: 68.99684436029884
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Attention-based models are appealing for multimodal processing because inputs from multiple modalities can be concatenated and fed to a single backbone network - thus requiring very little fusion engineering. The resulting representations are however fully entangled throughout the network, which may not always be desirable: in learning, contrastive audio-visual self-supervised learning requires independent audio and visual features to operate, otherwise learning collapses; in inference, evaluation of audio-visual models should be possible on benchmarks having just audio or just video. In this paper, we introduce Zorro, a technique that uses masks to control how inputs from each modality are routed inside Transformers, keeping some parts of the representation modality-pure. We apply this technique to three popular transformer-based architectures (ViT, Swin and HiP) and show that with contrastive pre-training Zorro achieves state-of-the-art results on most relevant benchmarks for multimodal tasks (AudioSet and VGGSound). Furthermore, the resulting models are able to perform unimodal inference on both video and audio benchmarks such as Kinetics-400 or ESC-50.
• Abstract（参考訳）: 複数のモダリティからの入力を結合して単一のバックボーンネットワークに供給することができるため、注意に基づくモデルはマルチモーダル処理に魅力的です。 しかし、結果の表現はネットワーク全体に完全に絡み合っているため、必ずしも望ましいとは限らない: 学習において、コントラストのあるオーディオ視覚的自己教師付き学習は、独立したオーディオと視覚的特徴を必要とし、そうでなければ、崩壊を学習する; 推論では、オーディオまたはビデオのみのベンチマークでオーディオ視覚モデルの評価が可能であるべきである。 本稿では,各モダリティからの入力がトランスフォーマタ内でどのように制御され,表現モダリティ・ピュアの一部が保持されるかをマスクで制御する技術であるzorroを紹介する。 この手法を3つの人気のあるトランスフォーマーベースアーキテクチャ (ViT, Swin, HiP) に適用し, 対照的な事前学習により, マルチモーダルタスクのベンチマーク (AudioSet, VGGSound) で最先端の結果が得られることを示す。 さらに、結果のモデルは、Kinetics-400やESC-50のようなビデオとオーディオのベンチマークの両方で一様推論を行うことができる。

関連論文リスト

• Visatronic: A Multimodal Decoder-Only Model for Speech Synthesis [13.702423348269155]
  本稿では,VTTSのビデオから音声を生成するタスクを提案し,マルチモーダル音声生成のための新しい手法を提案する。 本稿では,このタスクをビザトロニクスと呼ぶデコーダのみのマルチモーダルモデルを提案する。 視覚、テキスト、音声を直接トランスフォーマーモデルの共通部分空間に埋め込み、自己回帰的損失を用いて、話者ビデオや音声の書き起こしに条件付けられた離散化メル-スペクトログラムの生成モデルを学ぶ。
  論文  参考訳（メタデータ） (2024-11-26T18:57:29Z)
• MA-AVT: Modality Alignment for Parameter-Efficient Audio-Visual Transformers [41.54004590821323]
  マルチモーダルなセマンティックな特徴に対して,深いモーダルアライメントを用いたパラメータ効率の高いオーディオ視覚変換器MA-AVTを提案する。 具体的には,2つのモダリティを凍結したモダリティシェード変圧器で整列するための共同一様・多モードトークン学習を導入する。 ユニモーダルエンコーダの出力から得られた粗い特徴のみを整列する以前の作業とは異なり、粗大から細小の階層的特徴を整列するブロックワイドコントラスト学習を導入する。
  論文  参考訳（メタデータ） (2024-06-07T13:35:44Z)
• MAViL: Masked Audio-Video Learners [68.61844803682145]
  本研究では,masked Audio-Video Learningers (MAViL) を用いて映像表現の学習を行う。 MAViLによる事前トレーニングにより、音声視覚分類および検索タスクにおいて、モデルの性能が向上する。 自己監督型オーディオ視覚モデルが初めて、ベンチマークの外部監視を使用するモデルよりも優れています。
  論文  参考訳（メタデータ） (2022-12-15T18:59:59Z)
• Attention Bottlenecks for Multimodal Fusion [90.75885715478054]
  機械知覚モデルは典型的にはモダリティに特化しており、単調なベンチマークのために最適化されている。 複数の層でのモジュラリティ融合に「融合」を用いる新しいトランスフォーマーアーキテクチャを導入する。 我々は、徹底的なアブレーション研究を行い、複数のオーディオ視覚分類ベンチマークで最先端の結果を得る。
  論文  参考訳（メタデータ） (2021-06-30T22:44:12Z)
• End-to-end Audio-visual Speech Recognition with Conformers [65.30276363777514]
  ResNet-18とConvolution-augmented Transformer(Conformer)に基づくハイブリッドCTC/Attentionモデルを提案する。 特に、オーディオおよびビジュアルエンコーダは、生のピクセルとオーディオ波形から直接特徴を抽出することを学びます。 提案手法は, 音声のみ, 視覚のみ, および視聴覚実験において, 最先端の性能を高めることを実証する。
  論文  参考訳（メタデータ） (2021-02-12T18:00:08Z)
• Dynamic Graph Representation Learning for Video Dialog via Multi-Modal Shuffled Transformers [89.00926092864368]
  音声・視覚シーン認識ダイアログタスクのためのセマンティクス制御型マルチモーダルシャッフルトランスフォーマー推論フレームワークを提案する。 また,フレーム内推論層を用いた動的シーングラフ表現学習パイプラインを提案する。 その結果,全ての評価指標について最先端の性能を示すことができた。
  論文  参考訳（メタデータ） (2020-07-08T02:00:22Z)
• Self-Supervised MultiModal Versatile Networks [76.19886740072808]
  我々は、ビデオに自然に存在する3つのモダリティ(ビジュアル、オーディオ、言語ストリーム)を活用することで、自己スーパービジョンを用いて表現を学習する。 ビデオ, ビデオテキスト, 画像, 音声タスクに対して, ビデオデータの大規模な収集を訓練したネットワークを, どのように適用できるかを実証する。
  論文  参考訳（メタデータ） (2020-06-29T17:50:23Z)
• Multiresolution and Multimodal Speech Recognition with Transformers [22.995102995029576]
  本稿ではトランスフォーマーアーキテクチャを用いた音声視覚自動音声認識(AV-ASR)システムを提案する。 我々は、視覚情報によって提供されるシーンコンテキストに着目して、ASRを接地する。 私たちの結果は、最先端のListen、Attend、Spellベースのアーキテクチャに匹敵します。
  論文  参考訳（メタデータ） (2020-04-29T09:32:11Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。