論文の概要: MMANet: Margin-aware Distillation and Modality-aware Regularization for
Incomplete Multimodal Learning
- arxiv url: http://arxiv.org/abs/2304.08028v1
- Date: Mon, 17 Apr 2023 07:22:15 GMT
- ステータス: 処理完了
- システム内更新日: 2023-04-18 16:15:49.168406
- Title: MMANet: Margin-aware Distillation and Modality-aware Regularization for
Incomplete Multimodal Learning
- Title（参考訳）: MMANet:不完全なマルチモーダル学習のためのマージン・アウェア蒸留とモダリティ・アウェア正規化
- Authors: Shicai Wei, Yang Luo, Chunbo Luo
- Abstract要約: MMANetは、不完全なマルチモーダル学習を支援するフレームワークである。
推論に使用されるデプロイメントネットワーク、包括的なマルチモーダル情報の転送を行う教師ネットワーク、弱いモダリティの組み合わせのバランスをとるためにデプロイメントネットワークを導く正規化ネットワークの3つのコンポーネントで構成されている。
- 参考スコア（独自算出の注目度）: 4.647741695828225
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Multimodal learning has shown great potentials in numerous scenes and
attracts increasing interest recently. However, it often encounters the problem
of missing modality data and thus suffers severe performance degradation in
practice. To this end, we propose a general framework called MMANet to assist
incomplete multimodal learning. It consists of three components: the deployment
network used for inference, the teacher network transferring comprehensive
multimodal information to the deployment network, and the regularization
network guiding the deployment network to balance weak modality combinations.
Specifically, we propose a novel margin-aware distillation (MAD) to assist the
information transfer by weighing the sample contribution with the
classification uncertainty. This encourages the deployment network to focus on
the samples near decision boundaries and acquire the refined inter-class
margin. Besides, we design a modality-aware regularization (MAR) algorithm to
mine the weak modality combinations and guide the regularization network to
calculate prediction loss for them. This forces the deployment network to
improve its representation ability for the weak modality combinations
adaptively. Finally, extensive experiments on multimodal classification and
segmentation tasks demonstrate that our MMANet outperforms the state-of-the-art
significantly. Code is available at: https://github.com/shicaiwei123/MMANet
- Abstract（参考訳）: マルチモーダル学習は多くの場面で大きな可能性を示し、近年は関心を集めている。
しかし、モダリティデータの欠如という問題にしばしば遭遇し、実際には深刻なパフォーマンス劣化に悩まされる。
そこで本研究では,不完全なマルチモーダル学習を支援するMMANetというフレームワークを提案する。
推論に使用されるデプロイメントネットワーク、総合的なマルチモーダル情報をデプロイメントネットワークに転送する教師ネットワーク、弱いモダリティの組み合わせのバランスをとるためにデプロイメントネットワークを導く正規化ネットワークの3つのコンポーネントで構成されている。
具体的には,分類の不確実性に対するサンプルの寄与を重み付けして情報伝達を支援する新しいマージン対応蒸留(MAD)を提案する。
これにより、デプロイメントネットワークは、決定境界付近のサンプルに集中し、洗練されたクラス間マージンを取得することができる。
さらに,弱いモダリティの組み合わせをマイニングし,それらの予測損失を計算するためのモダリティ認識正規化(mar)アルゴリズムを設計した。
これにより、デプロイネットワークは弱いモダリティの組み合わせに対して適応的に表現能力を向上させることができる。
最後に、マルチモーダル分類とセグメンテーションタスクに関する広範な実験により、我々のMMANetは最先端技術よりも著しく優れていることを示した。
コードは、https://github.com/shicaiwei123/MMANetで入手できる。
関連論文リスト
- Robust Multimodal Learning via Representation Decoupling [6.7678581401558295]
マルチモーダル学習はその実用性から注目を集めている。
既存の手法は、異なるモダリティの組み合わせに対して共通の部分空間表現を学習することで、この問題に対処する傾向がある。
本稿では,頑健なマルチモーダル学習を支援するために,DMRNet(Decoupled Multimodal Representation Network)を提案する。
論文 参考訳（メタデータ） (2024-07-05T12:09:33Z) - Continual Learning: Forget-free Winning Subnetworks for Video Representations [75.40220771931132]
タスク性能の面でのサブネットワーク(WSN)の勝利は、様々な連続学習タスクに対して考慮される。
タスクインクリメンタルラーニング(TIL)とタスク非依存インクリメンタルラーニング(TaIL)のシナリオにおいて,既存のネットワークからの重み付けを活用して,効率的な学習を実現する。
ビデオインクリメンタルラーニング(VIL)におけるWSN内のフーリエサブニューラル演算子(FSO)の利用
論文 参考訳（メタデータ） (2023-12-19T09:11:49Z) - Cross-head mutual Mean-Teaching for semi-supervised medical image
segmentation [6.738522094694818]
SSMIS(Semi-supervised Medical Image segmentation)は、限られたラベル付きデータと豊富なラベルなしデータを活用することで、大幅な進歩を目撃している。
既存のSOTA(State-of-the-art)手法は、ラベルなしデータのラベルを正確に予測する際の課題に直面する。
強弱データ拡張を組み込んだ新しいクロスヘッド相互学習ネットワーク(CMMT-Net)を提案する。
論文 参考訳（メタデータ） (2023-10-08T09:13:04Z) - Optimization Guarantees of Unfolded ISTA and ADMM Networks With Smooth
Soft-Thresholding [57.71603937699949]
我々は,学習エポックの数の増加とともに,ほぼゼロに近いトレーニング損失を達成するための最適化保証について検討した。
トレーニングサンプル数に対する閾値は,ネットワーク幅の増加とともに増加することを示す。
論文 参考訳（メタデータ） (2023-09-12T13:03:47Z) - On the Soft-Subnetwork for Few-shot Class Incremental Learning [67.0373924836107]
本稿では,emphSoft-SubNetworks (SoftNet) と呼ばれる数発のクラスインクリメンタルラーニング(FSCIL)手法を提案する。
私たちの目的はセッションの連続を漸進的に学習することであり、各セッションは、以前に学習したセッションの知識を保持しながら、クラス毎にいくつかのトレーニングインスタンスのみを含む。
我々は、ベンチマークデータセットよりも最先端のベースラインのパフォーマンスを超越して、SoftNetが数発のインクリメンタル学習問題に効果的に取り組むことを示す、総合的な実証検証を提供する。
論文 参考訳（メタデータ） (2022-09-15T04:54:02Z) - Modality Competition: What Makes Joint Training of Multi-modal Network
Fail in Deep Learning? (Provably) [75.38159612828362]
最高のユニモーダルネットワークは、共同で訓練されたマルチモーダルネットワークよりも優れていることが観察されている。
この研究は、ニューラルネットワークにおけるそのようなパフォーマンスギャップの出現に関する理論的な説明を提供する。
論文 参考訳（メタデータ） (2022-03-23T06:21:53Z) - Learning Prototype-oriented Set Representations for Meta-Learning [85.19407183975802]
集合構造データから学ぶことは、近年注目を集めている根本的な問題である。
本稿では,既存の要約ネットワークを改善するための新しい最適輸送方式を提案する。
さらに、少数ショット分類と暗黙的メタ生成モデリングの事例にインスタンス化する。
論文 参考訳（メタデータ） (2021-10-18T09:49:05Z) - Meta-Learning with Network Pruning [40.07436648243748]
本稿では,ネットワークのキャパシティを明示的に制御することで,ネットワークプルーニングに基づくメタラーニング手法を提案する。
我々はDense-Sparse-Dense (DSD) と Iterative Hard Thresholding (IHT) の2つのネットワークプルーニングルーチンを組み込んだReptile上でのアプローチを実装した。
論文 参考訳（メタデータ） (2020-07-07T06:13:11Z) - Diversity inducing Information Bottleneck in Model Ensembles [73.80615604822435]
本稿では,予測の多様性を奨励することで,ニューラルネットワークの効果的なアンサンブルを生成する問題をターゲットにする。
そこで本研究では,潜伏変数の学習における逆損失の多様性を明示的に最適化し,マルチモーダルデータのモデリングに必要な出力予測の多様性を得る。
最も競争力のあるベースラインと比較して、データ分布の変化の下で、分類精度が大幅に向上した。
論文 参考訳（メタデータ） (2020-03-10T03:10:41Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。