論文の概要: Improving Multi-Modal Learning with Uni-Modal Teachers
- arxiv url: http://arxiv.org/abs/2106.11059v1
- Date: Mon, 21 Jun 2021 12:46:47 GMT
- ステータス: 処理完了
- システム内更新日: 2021-06-22 15:21:51.437123
- Title: Improving Multi-Modal Learning with Uni-Modal Teachers
- Title(参考訳): ユニモーダル教師によるマルチモーダル学習の改善
- Authors: Chenzhuang Du, Tingle Li, Yichen Liu, Zixin Wen, Tianyu Hua, Yue Wang,
Hang Zhao
- Abstract要約: そこで本研究では,融合目標と一様蒸留を組み合わせたマルチモーダル学習手法Uni-Modal Teacherを提案する。
提案手法は,各モードの表現を劇的に改善するだけでなく,総合的なマルチモーダルタスク性能も向上することを示す。
- 参考スコア(独自算出の注目度): 14.917618203952479
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Learning multi-modal representations is an essential step towards real-world
robotic applications, and various multi-modal fusion models have been developed
for this purpose. However, we observe that existing models, whose objectives
are mostly based on joint training, often suffer from learning inferior
representations of each modality. We name this problem Modality Failure, and
hypothesize that the imbalance of modalities and the implicit bias of common
objectives in fusion method prevent encoders of each modality from sufficient
feature learning. To this end, we propose a new multi-modal learning method,
Uni-Modal Teacher, which combines the fusion objective and uni-modal
distillation to tackle the modality failure problem. We show that our method
not only drastically improves the representation of each modality, but also
improves the overall multi-modal task performance. Our method can be
effectively generalized to most multi-modal fusion approaches. We achieve more
than 3% improvement on the VGGSound audio-visual classification task, as well
as improving performance on the NYU depth V2 RGB-D image segmentation task.
- Abstract(参考訳): マルチモーダル表現の学習は,実世界のロボット応用に向けた重要なステップであり,そのために様々なマルチモーダル融合モデルが開発されている。
しかし, 既存のモデルでは, ほとんどが共同学習に基づくモデルであり, それぞれのモダリティの劣等な表現の学習に苦しむことが多い。
この問題モダリティの失敗を命名し、融合法におけるモダリティの不均衡と共通の目的の暗黙のバイアスは、各モダリティのエンコーダが十分な特徴学習を妨げると仮定する。
そこで本研究では, 融合目的とユニモーダル蒸留を組み合わせたマルチモーダル学習法であるuni-modal teacherを提案する。
提案手法は各モードの表現を劇的に改善するだけでなく,全体のマルチモーダルタスク性能も向上することを示す。
我々の方法は、ほとんどのマルチモーダル融合アプローチに効果的に一般化することができる。
我々は、VGGSound音声視覚分類タスクにおいて3%以上の改善を達成し、NYU深度V2 RGB-D画像セグメンテーションタスクの性能を改善した。
関連論文リスト
- Multimodal Representation Learning by Alternating Unimodal Adaptation [79.9201824151389]
MLA(Multimodal Learning with Alternating Unimodal Adaptation)を提案する。
MLAは、それを交互に一助学習プロセスに変換することで、従来の共同マルチモーダル学習プロセスを再構築する。
共有ヘッドを通じてモーダル間相互作用をキャプチャし、異なるモーダル間で連続的な最適化を行う。
推論フェーズの間、MLAはテスト時間不確実性に基づくモデル融合機構を使用して、マルチモーダル情報を統合する。
論文 参考訳(メタデータ) (2023-11-17T18:57:40Z) - Unified Multi-modal Unsupervised Representation Learning for
Skeleton-based Action Understanding [62.70450216120704]
教師なしの事前訓練は骨格に基づく行動理解において大きな成功を収めた。
我々はUmURLと呼ばれる統一マルチモーダル非教師なし表現学習フレームワークを提案する。
UmURLは効率的な早期融合戦略を利用して、マルチモーダル機能を単一ストリームで共同でエンコードする。
論文 参考訳(メタデータ) (2023-11-06T13:56:57Z) - Improving Discriminative Multi-Modal Learning with Large-Scale
Pre-Trained Models [51.5543321122664]
本稿では,大規模な事前学習型ユニモーダルモデルを用いて,識別型マルチモーダル学習を向上する方法について検討する。
MMLoRA(Multi-Modal Low-Rank Adaptation Learning)を導入する。
論文 参考訳(メタデータ) (2023-10-08T15:01:54Z) - VideoAdviser: Video Knowledge Distillation for Multimodal Transfer
Learning [6.379202839994046]
マルチモーダル変換学習は、様々なモーダルの事前訓練された表現を、効果的なマルチモーダル融合のための共通の領域空間に変換することを目的としている。
本稿では,マルチモーダル基本モデルから特定のモーダル基本モデルへ,マルチモーダルなプロンプトのマルチモーダルな知識を伝達するためのビデオ知識蒸留手法であるVideoAdviserを提案する。
本手法は,映像レベルの感情分析と音声視覚検索の2つの課題において評価する。
論文 参考訳(メタデータ) (2023-09-27T08:44:04Z) - Learning Unseen Modality Interaction [54.23533023883659]
マルチモーダル学習は、すべてのモダリティの組み合わせが訓練中に利用でき、クロスモーダル対応を学ぶことを前提としている。
我々は、目に見えないモダリティ相互作用の問題を提起し、第1の解を導入する。
異なるモジュラリティの多次元的特徴を、豊富な情報を保存した共通空間に投影するモジュールを利用する。
論文 参考訳(メタデータ) (2023-06-22T10:53:10Z) - On Uni-Modal Feature Learning in Supervised Multi-Modal Learning [21.822251958013737]
マルチモーダルデータの特徴(つまり学習された表現)を,1)ユニモーダルな特徴と2)相互モーダルな相互作用からしか学べないペア化された特徴にまとめる。
簡単な誘導戦略により、様々なマルチモーダルデータセット上の他の複雑なレイトフュージョン法や中間フュージョン法に匹敵する結果が得られることを示す。
論文 参考訳(メタデータ) (2023-05-02T07:15:10Z) - Efficient Multimodal Fusion via Interactive Prompting [62.08292938484994]
大規模事前学習は、コンピュータビジョンや自然言語処理のような一助的な分野を新しい時代にもたらした。
本稿では,一様事前学習型変圧器の融合に適した効率的かつ柔軟な多モード融合法PMFを提案する。
論文 参考訳(メタデータ) (2023-04-13T07:31:51Z) - i-Code: An Integrative and Composable Multimodal Learning Framework [99.56065789066027]
i-Codeは、視覚、音声、言語を統一的で汎用的なベクトル表現に柔軟に組み合わせられる自己教師型事前学習フレームワークである。
システム全体は、マスク付きモダリティ・ユニット・モデリングやクロスモダリティ・コントラスト・ラーニングなどの新しい目的により、エンドツーエンドで事前訓練されている。
実験の結果、i-Codeは5つのビデオ理解タスクとGLUE NLPベンチマークで最先端技術を上回る性能を示し、最大11%改善した。
論文 参考訳(メタデータ) (2022-05-03T23:38:50Z) - Balanced Multimodal Learning via On-the-fly Gradient Modulation [10.5602074277814]
マルチモーダル学習は、異なる感覚を統合することで、世界を包括的に理解するのに役立つ。
学習目標に対する貢献の相違をモニタリングすることで,各モードの最適化を適応的に制御するオンザフライ勾配変調を提案する。
論文 参考訳(メタデータ) (2022-03-29T08:26:38Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。