論文の概要: Mitigating Modality Imbalance in Multi-modal Learning via Multi-objective Optimization

• arxiv url: http://arxiv.org/abs/2511.06686v1
• Date: Mon, 10 Nov 2025 04:16:01 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-11-11 21:18:45.069124
• Title: Mitigating Modality Imbalance in Multi-modal Learning via Multi-objective Optimization
• Title（参考訳）: 多目的最適化によるマルチモーダル学習におけるモダリティの不均衡の軽減
• Authors: Heshan Fernando, Parikshit Ram, Yi Zhou, Soham Dan, Horst Samulowitz, Nathalie Baracaldo, Tianyi Chen,
• Abstract要約: マルチモーダル学習(MML)は、複数のモーダルからの情報を統合することを目的としており、単一のモーダル学習よりも優れたパフォーマンスをもたらすことが期待されている。 近年の研究では、MMLはモダリティにまたがる不均衡学習のため、単一モダリティアプローチと比較しても性能が劣っていることが示されている。 本稿では,修正ML問題を解くための勾配に基づくアルゴリズムを提案する。
• 参考スコア（独自算出の注目度）: 57.00656508727821
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Multi-modal learning (MML) aims to integrate information from multiple modalities, which is expected to lead to superior performance over single-modality learning. However, recent studies have shown that MML can underperform, even compared to single-modality approaches, due to imbalanced learning across modalities. Methods have been proposed to alleviate this imbalance issue using different heuristics, which often lead to computationally intensive subroutines. In this paper, we reformulate the MML problem as a multi-objective optimization (MOO) problem that overcomes the imbalanced learning issue among modalities and propose a gradient-based algorithm to solve the modified MML problem. We provide convergence guarantees for the proposed method, and empirical evaluations on popular MML benchmarks showcasing the improved performance of the proposed method over existing balanced MML and MOO baselines, with up to ~20x reduction in subroutine computation time. Our code is available at https://github.com/heshandevaka/MIMO.
• Abstract（参考訳）: マルチモーダル学習(MML)は、複数のモーダルからの情報を統合することを目的としており、単一のモーダル学習よりも優れたパフォーマンスをもたらすことが期待されている。 しかし、近年の研究では、MMLはモダリティ間の不均衡学習のため、単一モダリティアプローチと比較しても性能が劣っていることが示されている。 異なるヒューリスティックスを用いてこの不均衡問題を緩和する手法が提案されており、しばしば計算集約的なサブルーチンに繋がる。 本稿では,モダリティ間の不均衡な学習問題を克服する多目的最適化(MOO)問題としてMML問題を再構成し,修正されたMML問題を解決するための勾配に基づくアルゴリズムを提案する。 本稿では,提案手法の収束保証と,提案手法が既存のバランスの取れたMMLおよびMOOベースラインよりも性能が向上し,サブルーチン計算時間を最大20倍に短縮することを示すMMLベンチマークの実証評価を行う。 私たちのコードはhttps://github.com/heshandevaka/MIMO.comで公開されています。

関連論文リスト

• Rebalanced Multimodal Learning with Data-aware Unimodal Sampling [39.77348232514481]
  We propose a novel MML approach called underlineData-aware underlineUnimodal underlineSampling(method)。 学習状況に基づいて、強化学習(RL)に基づくデータ認識アンモダルサンプリング手法を提案する。 本手法は,プラグインとして既存のほとんどすべてのマルチモーダル学習手法にシームレスに組み込むことができる。
  論文  参考訳（メタデータ） (2025-03-05T08:19:31Z)
• Balance-aware Sequence Sampling Makes Multi-modal Learning Better [0.5439020425819]
  MMLのロバスト性を高めるために,バランス対応シーケンスサンプリング(BSS)を提案する。 マルチパースペクティブ測定器を用いて,まず,各試料のバランス度を評価するための多パースペクティブ測定器を定義する。 カリキュラム学習(CL)に基づくスケジューラを用いて、バランスのとれたサンプルからバランスのとれたサンプルまで、段階的にトレーニングサブセットを提供する。
  論文  参考訳（メタデータ） (2025-01-01T06:19:55Z)
• Multimodal Classification via Modal-Aware Interactive Enhancement [6.621745547882088]
  モーダル・アウェア・インタラクティブ・エンハンスメント(MIE)と呼ばれる新しいマルチモーダル学習手法を提案する。 具体的には、まず、シャープネス認識最小化(SAM)に基づく最適化戦略を用いて、前フェーズにおける学習目標の円滑化を図る。 そこで, SAMの幾何学的性質の助けを借りて, 逆相における異なるモード間の影響を加味するための勾配修正戦略を提案する。
  論文  参考訳（メタデータ） (2024-07-05T15:32:07Z)
• Model Composition for Multimodal Large Language Models [71.5729418523411]
  本稿では,既存のMLLMのモデル構成による新しいパラダイムを提案する。 我々の基本的な実装であるNaiveMCは、モダリティエンコーダを再利用し、LLMパラメータをマージすることで、このパラダイムの有効性を実証する。
  論文  参考訳（メタデータ） (2024-02-20T06:38:10Z)
• A First-Order Multi-Gradient Algorithm for Multi-Objective Bi-Level Optimization [7.097069899573992]
  マルチオブジェクト・バイ・レベル最適化(MOBLO)問題について検討する。 既存の勾配に基づくMOBLOアルゴリズムはヘッセン行列を計算する必要がある。 FORUMと呼ばれるMOBLOの高効率な1次多重勾配法を提案する。
  論文  参考訳（メタデータ） (2024-01-17T15:03:37Z)
• Sample-Efficient Multi-Agent RL: An Optimization Perspective [103.35353196535544]
  一般関数近似に基づく汎用マルコフゲーム(MG)のためのマルチエージェント強化学習(MARL)について検討した。 汎用MGに対するマルチエージェントデカップリング係数(MADC)と呼ばれる新しい複雑性尺度を導入する。 我々のアルゴリズムは既存の研究に匹敵するサブリニアな後悔を与えることを示す。
  論文  参考訳（メタデータ） (2023-10-10T01:39:04Z)
• PMR: Prototypical Modal Rebalance for Multimodal Learning [11.5547414386921]
  本稿では,PMR(Prototypeal Modality Re Balance)を提案する。 本手法は,各モードの表現にのみ依存し,モデル構造や融合法からの制約を伴わない。
  論文  参考訳（メタデータ） (2022-11-14T03:36:05Z)
• MAML is a Noisy Contrastive Learner [72.04430033118426]
  モデルに依存しないメタラーニング(MAML)は、今日では最も人気があり広く採用されているメタラーニングアルゴリズムの1つである。 我々は、MAMLの動作メカニズムに対する新たな視点を提供し、以下に示すように、MAMLは、教師付きコントラスト目的関数を用いたメタラーナーに類似している。 このような干渉を軽減するため, 単純だが効果的な手法であるゼロ化手法を提案する。
  論文  参考訳（メタデータ） (2021-06-29T12:52:26Z)
• Theoretical Convergence of Multi-Step Model-Agnostic Meta-Learning [63.64636047748605]
  一般的なマルチステップMAMLアルゴリズムに対して収束保証を提供するための新しい理論フレームワークを開発する。 特に,本研究の結果は,収束を保証するためには,内部段階のステップを逆比例して$N$の内段ステップを選択する必要があることを示唆している。
  論文  参考訳（メタデータ） (2020-02-18T19:17:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。