Fugu-MT 論文翻訳(概要): Improving Multimodal Learning Balance and Sufficiency through Data Remixing

論文の概要: Improving Multimodal Learning Balance and Sufficiency through Data Remixing

arxiv url: http://arxiv.org/abs/2506.11550v2
Date: Mon, 16 Jun 2025 02:50:29 GMT
ステータス: 翻訳完了
システム内更新日: 2025-06-17 13:01:17.501095
Title: Improving Multimodal Learning Balance and Sufficiency through Data Remixing
Title（参考訳）: データリミックスによるマルチモーダル学習バランスと十分性の改善
Authors: Xiaoyu Ma, Hao Chen, Yongjian Deng,
Abstract要約: 弱いモダリティを強制する方法は、単調な充足性とマルチモーダルなバランスを達成できない。マルチモーダルデータのデカップリングや,各モーダルに対するハードサンプルのフィルタリングなど,モダリティの不均衡を軽減するマルチモーダルデータリミックスを提案する。提案手法は既存の手法とシームレスに統合され,CREMADでは約6.50%$uparrow$,Kineetic-Soundsでは3.41%$uparrow$の精度が向上する。
参考スコア（独自算出の注目度）: 14.282792733217653
License: http://creativecommons.org/licenses/by-nc-sa/4.0/
Abstract: Different modalities hold considerable gaps in optimization trajectories, including speeds and paths, which lead to modality laziness and modality clash when jointly training multimodal models, resulting in insufficient and imbalanced multimodal learning. Existing methods focus on enforcing the weak modality by adding modality-specific optimization objectives, aligning their optimization speeds, or decomposing multimodal learning to enhance unimodal learning. These methods fail to achieve both unimodal sufficiency and multimodal balance. In this paper, we, for the first time, address both concerns by proposing multimodal Data Remixing, including decoupling multimodal data and filtering hard samples for each modality to mitigate modality imbalance; and then batch-level reassembling to align the gradient directions and avoid cross-modal interference, thus enhancing unimodal learning sufficiency. Experimental results demonstrate that our method can be seamlessly integrated with existing approaches, improving accuracy by approximately 6.50%$\uparrow$ on CREMAD and 3.41%$\uparrow$ on Kinetic-Sounds, without training set expansion or additional computational overhead during inference. The source code is available at https://github.com/MatthewMaxy/Remix_ICML2025.
Abstract（参考訳）: モダリティの相違は、速度や経路など最適化の軌跡にかなりのギャップを持ち、マルチモーダルモデルを共同で訓練する際にモダリティの怠慢とモダリティの衝突を引き起こし、結果として不十分で不均衡なマルチモーダル学習をもたらす。既存の方法は、モダリティ固有の最適化目標を追加したり、最適化速度を調整したり、一助学習を強化するためにマルチモーダル学習を分解したりすることで、弱モダリティの強化に重点を置いている。これらの手法は、単調な充足性とマルチモーダルバランスの両方を達成することができない。本稿では、まず、マルチモーダルデータの分離や、各モーダルに対するハードサンプルのフィルタリングを含むマルチモーダルデータリミックスを提案する。実験の結果,提案手法は既存の手法とシームレスに統合可能であり,CREMADでは約6.50%$\uparrow$,Kineetic-Soundsでは3.41%$\uparrow$と精度を向上できることがわかった。ソースコードはhttps://github.com/MatthewMaxy/Remix_ICML2025で公開されている。

関連論文リスト

Continual Multimodal Contrastive Learning [70.60542106731813]
マルチモーダル・コントラッシブ・ラーニング(MCL)は、異なるモーダルを整列させ、関節空間で多モーダル表現を生成する。マルチモーダルデータは単一のプロセスで収集されることはめったになく、スクラッチからのトレーニングは計算コストがかかる。本稿では, 安定性と塑性の2つの原理によりCMCLを定式化する。理論的には、二辺から部分空間への勾配の更新を計画する、新しい最適化に基づく手法を導出する。
論文参考訳（メタデータ） (2025-03-19T07:57:08Z)
Rebalanced Multimodal Learning with Data-aware Unimodal Sampling [39.77348232514481]
We propose a novel MML approach called underlineData-aware underlineUnimodal underlineSampling(method)。学習状況に基づいて、強化学習(RL)に基づくデータ認識アンモダルサンプリング手法を提案する。本手法は,プラグインとして既存のほとんどすべてのマルチモーダル学習手法にシームレスに組み込むことができる。
論文参考訳（メタデータ） (2025-03-05T08:19:31Z)
Multimodal Fusion Balancing Through Game-Theoretic Regularization [22.959030061257533]
アンサンブルのような単純なベースラインを超越したマルチモーダルモデルの訓練には,現在のバランス手法が苦戦していることを示す。マルチモーダルトレーニングにおけるすべてのモダリティが十分にトレーニングされていること、新しいモダリティからの学習が一貫してパフォーマンスを改善することを保証するにはどうすればよいのか? 本稿では,相互情報(MI)分解にインスパイアされた新たな損失成分であるMCRを提案する。
論文参考訳（メタデータ） (2024-11-11T19:53:05Z)
LLMs Can Evolve Continually on Modality for X-Modal Reasoning [62.2874638875554]
既存の手法は、モーダル固有の事前訓練とジョイント・モーダルチューニングに大きく依存しており、新しいモーダルへと拡張する際の計算上の負担が大きくなった。 PathWeaveは、Modal-Path sWitchingとExpAnsion機能を備えた柔軟でスケーラブルなフレームワークである。 PathWeaveは最先端のMLLMと互換性があり、パラメータトレーニングの負担を98.73%削減する。
論文参考訳（メタデータ） (2024-10-26T13:19:57Z)
On-the-fly Modulation for Balanced Multimodal Learning [53.616094855778954]
マルチモーダル学習は、異なるモーダルからの情報を統合することでモデル性能を向上させることが期待されている。広く使われている共同トレーニング戦略は、不均衡で最適化されていないユニモーダル表現につながる。そこで本研究では,OGM(On-the-fly Prediction Modulation)とOGM(On-the-fly Gradient Modulation)の戦略を提案する。
論文参考訳（メタデータ） (2024-10-15T13:15:50Z)
Modality-Balanced Learning for Multimedia Recommendation [21.772064939915214]
本稿では,不均衡問題を解消し,全てのモダリティを最大限に活用するための対実的知識蒸留法を提案する。また,教師からより広義の知識を習得するために,多モーダルな学生を指導するために,新たな総合的・特異な蒸留損失を設計する。我々の手法は、遅延核融合と早期核融合の両方のバックボーンのためのプラグイン・アンド・プレイモジュールとして機能する。
論文参考訳（メタデータ） (2024-07-26T07:53:01Z)
Diagnosing and Re-learning for Balanced Multimodal Learning [8.779005254634857]
本稿では,不均衡なマルチモーダル学習問題を克服するための診断・再学習手法を提案する。各モードの学習状態は、その一様表現空間の分離性に基づいて推定される。このように、少ない情報モダリティの過度な強調は避けられる。
論文参考訳（メタデータ） (2024-07-12T22:12:03Z)
Multimodal Representation Learning by Alternating Unimodal Adaptation [73.15829571740866]
MLA(Multimodal Learning with Alternating Unimodal Adaptation)を提案する。 MLAは、それを交互に一助学習プロセスに変換することで、従来の共同マルチモーダル学習プロセスを再構築する。共有ヘッドを通じてモーダル間相互作用をキャプチャし、異なるモーダル間で連続的な最適化を行う。実験は5つの多様なデータセットで行われ、完全なモダリティを持つシナリオと、欠落したモダリティを持つシナリオを含む。
論文参考訳（メタデータ） (2023-11-17T18:57:40Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。