論文の概要: G$^{2}$D: Boosting Multimodal Learning with Gradient-Guided Distillation

• arxiv url: http://arxiv.org/abs/2506.21514v2
• Date: Sat, 28 Jun 2025 01:56:41 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-07-01 13:01:42.740568
• Title: G$^{2}$D: Boosting Multimodal Learning with Gradient-Guided Distillation
• Title（参考訳）: G$^{2}$D: 勾配誘導蒸留によるマルチモーダル学習の促進
• Authors: Mohammed Rakib, Arunkumar Bagavathi,
• Abstract要約: 本稿では, カスタマイズされた損失関数を持つマルチモーダルモデルを最適化する知識蒸留フレームワークであるGradient-Guided Distillation (G$2$D)を紹介する。 G$2$Dは、訓練中に弱いモダリティの重要度を増幅し、分類および回帰タスクにおける最先端の手法より優れていることを示す。
• 参考スコア（独自算出の注目度）: 0.7673339435080445
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Multimodal learning aims to leverage information from diverse data modalities to achieve more comprehensive performance. However, conventional multimodal models often suffer from modality imbalance, where one or a few modalities dominate model optimization, leading to suboptimal feature representation and underutilization of weak modalities. To address this challenge, we introduce Gradient-Guided Distillation (G$^{2}$D), a knowledge distillation framework that optimizes the multimodal model with a custom-built loss function that fuses both unimodal and multimodal objectives. G$^{2}$D further incorporates a dynamic sequential modality prioritization (SMP) technique in the learning process to ensure each modality leads the learning process, avoiding the pitfall of stronger modalities overshadowing weaker ones. We validate G$^{2}$D on multiple real-world datasets and show that G$^{2}$D amplifies the significance of weak modalities while training and outperforms state-of-the-art methods in classification and regression tasks. Our code is available at https://github.com/rAIson-Lab/G2D.
• Abstract（参考訳）: マルチモーダル学習は、より包括的なパフォーマンスを達成するために、多様なデータモダリティからの情報を活用することを目的としている。 しかし、従来のマルチモーダルモデルはしばしばモダリティの不均衡に悩まされ、1つまたは数つのモダリティがモデル最適化を支配し、最適でない特徴表現と弱いモダリティの非活用につながる。 この課題に対処するために,多モードモデルの最適化を行う知識蒸留フレームワークであるGradient-Guided Distillation (G$^{2}$D)を紹介した。 G$^{2}$Dはさらに、学習プロセスに動的シーケンシャルなモダリティ優先順位付け(SMP)技術を導入し、各モダリティが学習プロセスを導くことを保証する。 我々は、複数の実世界のデータセット上でG$^{2}$Dを検証するとともに、G$^{2}$Dは、訓練中に弱いモダリティの意義を増幅し、分類および回帰タスクにおける最先端の手法より優れていることを示す。 私たちのコードはhttps://github.com/rAIson-Lab/G2D.comで公開されています。

関連論文リスト

• Improving Multimodal Learning Balance and Sufficiency through Data Remixing [14.282792733217653]
  弱いモダリティを強制する方法は、単調な充足性とマルチモーダルなバランスを達成できない。 マルチモーダルデータのデカップリングや,各モーダルに対するハードサンプルのフィルタリングなど,モダリティの不均衡を軽減するマルチモーダルデータリミックスを提案する。 提案手法は既存の手法とシームレスに統合され,CREMADでは約6.50%$uparrow$,Kineetic-Soundsでは3.41%$uparrow$の精度が向上する。
  論文  参考訳（メタデータ） (2025-06-13T08:01:29Z)
• Continual Multimodal Contrastive Learning [70.60542106731813]
  マルチモーダル・コントラッシブ・ラーニング(MCL)は、異なるモーダルを整列させ、関節空間で多モーダル表現を生成する。 マルチモーダルデータは単一のプロセスで収集されることはめったになく、スクラッチからのトレーニングは計算コストがかかる。 本稿では, 安定性と塑性の2つの原理によりCMCLを定式化する。 理論的には、二辺から部分空間への勾配の更新を計画する、新しい最適化に基づく手法を導出する。
  論文  参考訳（メタデータ） (2025-03-19T07:57:08Z)
• Classifier-guided Gradient Modulation for Enhanced Multimodal Learning [50.7008456698935]
  Gradient-Guided Modulation (CGGM) は,マルチモーダル学習と勾配のバランスをとる新しい手法である。 UPMC-Food 101, CMU-MOSI, IEMOCAP, BraTSの4つのマルチモーダルデータセットについて広範な実験を行った。 CGGMはすべてのベースラインや最先端のメソッドを一貫して上回る。
  論文  参考訳（メタデータ） (2024-11-03T02:38:43Z)
• On-the-fly Modulation for Balanced Multimodal Learning [53.616094855778954]
  マルチモーダル学習は、異なるモーダルからの情報を統合することでモデル性能を向上させることが期待されている。 広く使われている共同トレーニング戦略は、不均衡で最適化されていないユニモーダル表現につながる。 そこで本研究では,OGM(On-the-fly Prediction Modulation)とOGM(On-the-fly Gradient Modulation)の戦略を提案する。
  論文  参考訳（メタデータ） (2024-10-15T13:15:50Z)
• Multimodal Representation Learning by Alternating Unimodal Adaptation [73.15829571740866]
  MLA(Multimodal Learning with Alternating Unimodal Adaptation)を提案する。 MLAは、それを交互に一助学習プロセスに変換することで、従来の共同マルチモーダル学習プロセスを再構築する。 共有ヘッドを通じてモーダル間相互作用をキャプチャし、異なるモーダル間で連続的な最適化を行う。 実験は5つの多様なデータセットで行われ、完全なモダリティを持つシナリオと、欠落したモダリティを持つシナリオを含む。
  論文  参考訳（メタデータ） (2023-11-17T18:57:40Z)
• Improving Discriminative Multi-Modal Learning with Large-Scale Pre-Trained Models [51.5543321122664]
  本稿では,大規模な事前学習型ユニモーダルモデルを用いて,識別型マルチモーダル学習を向上する方法について検討する。 MMLoRA(Multi-Modal Low-Rank Adaptation Learning)を導入する。
  論文  参考訳（メタデータ） (2023-10-08T15:01:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。