論文の概要: Classifier-guided Gradient Modulation for Enhanced Multimodal Learning

• arxiv url: http://arxiv.org/abs/2411.01409v1
• Date: Sun, 03 Nov 2024 02:38:43 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-05 14:51:15.091519
• Title: Classifier-guided Gradient Modulation for Enhanced Multimodal Learning
• Title（参考訳）: マルチモーダル学習のための分類器誘導型グラディエント変調
• Authors: Zirun Guo, Tao Jin, Jingyuan Chen, Zhou Zhao,
• Abstract要約: Gradient-Guided Modulation (CGGM) は,マルチモーダル学習と勾配のバランスをとる新しい手法である。 UPMC-Food 101, CMU-MOSI, IEMOCAP, BraTSの4つのマルチモーダルデータセットについて広範な実験を行った。 CGGMはすべてのベースラインや最先端のメソッドを一貫して上回る。
• 参考スコア（独自算出の注目度）: 50.7008456698935
• License:
• Abstract: Multimodal learning has developed very fast in recent years. However, during the multimodal training process, the model tends to rely on only one modality based on which it could learn faster, thus leading to inadequate use of other modalities. Existing methods to balance the training process always have some limitations on the loss functions, optimizers and the number of modalities and only consider modulating the magnitude of the gradients while ignoring the directions of the gradients. To solve these problems, in this paper, we present a novel method to balance multimodal learning with Classifier-Guided Gradient Modulation (CGGM), considering both the magnitude and directions of the gradients. We conduct extensive experiments on four multimodal datasets: UPMC-Food 101, CMU-MOSI, IEMOCAP and BraTS 2021, covering classification, regression and segmentation tasks. The results show that CGGM outperforms all the baselines and other state-of-the-art methods consistently, demonstrating its effectiveness and versatility. Our code is available at https://github.com/zrguo/CGGM.
• Abstract（参考訳）: マルチモーダル学習は近年急速に発展している。 しかし、マルチモーダルトレーニングの過程では、モデルはより速く学習できる1つのモダリティにのみ依存する傾向にあり、結果として他のモダリティが不十分になる。 既存のトレーニングプロセスのバランスをとる方法は、常に損失関数、オプティマイザ、モダリティの数に制限があり、勾配の方向を無視しながら勾配の大きさを調節することのみを考える。 これらの問題を解決するため,本論文では,勾配の大きさと方向を考慮した多モード学習とCGGM(Classifier-Guided Gradient Modulation)のバランスをとる新しい手法を提案する。 UPMC-Food 101, CMU-MOSI, IEMOCAP, BraTS 2021の4つのマルチモーダルデータセットについて, 分類, 回帰, セグメンテーションタスクについて広範な実験を行った。 その結果,CGGMはすべてのベースラインや最先端手法を一貫して上回り,その有効性と汎用性を実証した。 私たちのコードはhttps://github.com/zrguo/CGGM.comで公開されています。

関連論文リスト

• ReconBoost: Boosting Can Achieve Modality Reconcilement [89.4377895465204]
  我々は、調和を達成するために、モダリティ代替学習パラダイムについて研究する。 固定モードを毎回更新するReconBoostと呼ばれる新しい手法を提案する。 提案手法はFriedman's Gradient-Boosting (GB) アルゴリズムに似ており,更新された学習者が他者による誤りを訂正できることを示す。
  論文  参考訳（メタデータ） (2024-05-15T13:22:39Z)
• Gradient-Guided Modality Decoupling for Missing-Modality Robustness [24.95911972867697]
  我々は,モダリティの優位性を監視し,抑制するために,新しい指標,勾配を導入する。 本稿では, 支配的モダリティへの依存を分離するために, GMD法を提案する。 さらに,モーダル不完全データを柔軟に処理するために,パラメータ効率のよい動的共有フレームワークを設計する。
  論文  参考訳（メタデータ） (2024-02-26T05:50:43Z)
• Multimodal Representation Learning by Alternating Unimodal Adaptation [73.15829571740866]
  MLA(Multimodal Learning with Alternating Unimodal Adaptation)を提案する。 MLAは、それを交互に一助学習プロセスに変換することで、従来の共同マルチモーダル学習プロセスを再構築する。 共有ヘッドを通じてモーダル間相互作用をキャプチャし、異なるモーダル間で連続的な最適化を行う。 実験は5つの多様なデータセットで行われ、完全なモダリティを持つシナリオと、欠落したモダリティを持つシナリオを含む。
  論文  参考訳（メタデータ） (2023-11-17T18:57:40Z)
• Improving Discriminative Multi-Modal Learning with Large-Scale Pre-Trained Models [51.5543321122664]
  本稿では,大規模な事前学習型ユニモーダルモデルを用いて,識別型マルチモーダル学習を向上する方法について検討する。 MMLoRA(Multi-Modal Low-Rank Adaptation Learning)を導入する。
  論文  参考訳（メタデータ） (2023-10-08T15:01:54Z)
• Scaling Multimodal Pre-Training via Cross-Modality Gradient Harmonization [68.49738668084693]
  自己教師付き事前学習は、最近、大規模マルチモーダルデータで成功している。 クロスモダリティアライメント(CMA)は、弱くノイズの多い監視である。 CMAは、モダリティ間の衝突や偏見を引き起こす可能性がある。
  論文  参考訳（メタデータ） (2022-11-03T18:12:32Z)
• Balanced Multimodal Learning via On-the-fly Gradient Modulation [10.5602074277814]
  マルチモーダル学習は、異なる感覚を統合することで、世界を包括的に理解するのに役立つ。 学習目標に対する貢献の相違をモニタリングすることで,各モードの最適化を適応的に制御するオンザフライ勾配変調を提案する。
  論文  参考訳（メタデータ） (2022-03-29T08:26:38Z)
• Contextual Gradient Scaling for Few-Shot Learning [24.19934081878197]
  モデルに依存しないメタラーニング(MAML)のための文脈勾配スケーリング(CxGrad)を提案する。 CxGradは、インナーループにおけるタスク固有の知識の学習を容易にするために、バックボーンの勾配ノルムをスケールする。 実験の結果,CxGradは内ループにおけるタスク固有の知識の学習を効果的に促すことが示された。
  論文  参考訳（メタデータ） (2021-10-20T03:05:58Z)
• Multi-Domain Learning by Meta-Learning: Taking Optimal Steps in Multi-Domain Loss Landscapes by Inner-Loop Learning [5.490618192331097]
  マルチモーダルアプリケーションのためのマルチドメイン学習問題に対するモデル非依存の解法を考える。 我々の手法はモデルに依存しないため、追加のモデルパラメータやネットワークアーキテクチャの変更は不要である。 特に、ホワイトマター高輝度の自動セグメンテーションにおける医療画像のフィッティング問題に対するソリューションを実証します。
  論文  参考訳（メタデータ） (2021-02-25T19:54:44Z)
• Regularizing Meta-Learning via Gradient Dropout [102.29924160341572]
  メタ学習モデルは、メタ学習者が一般化するのに十分なトレーニングタスクがない場合、過度に適合する傾向がある。 本稿では,勾配に基づくメタ学習において過度に適合するリスクを軽減するための,シンプルで効果的な手法を提案する。
  論文  参考訳（メタデータ） (2020-04-13T10:47:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。