論文の概要: BALM: A Model-Agnostic Framework for Balanced Multimodal Learning under Imbalanced Missing Rates

• arxiv url: http://arxiv.org/abs/2603.19718v1
• Date: Fri, 20 Mar 2026 07:47:09 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-03-23 19:48:39.045464
• Title: BALM: A Model-Agnostic Framework for Balanced Multimodal Learning under Imbalanced Missing Rates
• Title（参考訳）: BALM:不均衡欠落率下でのバランス付きマルチモーダル学習のためのモデルに依存しないフレームワーク
• Abstract要約: BALMはモデルに依存しないプラグインフレームワークであり、IMRの下でバランスの取れたマルチモーダル学習を実現する。 BALMはロバスト性を継続的に向上し,多様な不足および不均衡条件下での性能向上を図っている。
• 参考スコア（独自算出の注目度）: 1.9650181409005112
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Learning from multiple modalities often suffers from imbalance, where information-rich modalities dominate optimization while weaker or partially missing modalities contribute less. This imbalance becomes severe in realistic settings with imbalanced missing rates (IMR), where each modality is absent with different probabilities, distorting representation learning and gradient dynamics. We revisit this issue from a training-process perspective and propose BALM, a model-agnostic plug-in framework to achieve balanced multimodal learning under IMR. The framework comprises two complementary modules: the Feature Calibration Module (FCM), which recalibrates unimodal features using global context to establish a shared representation basis across heterogeneous missing patterns; the Gradient Rebalancing Module (GRM), which balances learning dynamics across modalities by modulating gradient magnitudes and directions from both distributional and spatial perspectives. BALM can be seamlessly integrated into diverse backbones, including multimodal emotion recognition (MER) models, without altering their architectures. Experimental results across multiple MER benchmarks confirm that BALM consistently enhances robustness and improves performance under diverse missing and imbalance settings. Code available at: https://github.com/np4s/BALM_CVPR2026.git
• Abstract（参考訳）: 複数のモダリティからの学習は、情報豊富なモダリティが最適化を支配する一方で、弱さや部分的に欠落したモダリティが寄与しない不均衡に悩まされることが多い。 この不均衡は、各モダリティに異なる確率、歪んだ表現学習、勾配ダイナミクスが欠如している、非平衡欠落率(IMR)の現実的な設定で深刻になる。 我々は、この問題をトレーニングプロセスの観点から再考し、IMRの下でバランスの取れたマルチモーダル学習を実現するためのモデルに依存しないプラグインフレームワークBALMを提案する。 このフレームワークは、2つの相補的なモジュールで構成されている: 特徴キャリブレーションモジュール(FCM)は、グローバルコンテキストを使用して一様でないパターン間で共有表現基盤を確立するために、一様特徴を再分類する機能キャリブレーションモジュール(FCM)と、分布と空間の両方の観点から勾配の程度と方向を調節することによって、モジュール間の学習のダイナミクスのバランスをとるグラディエント・リバランシングモジュール(GRM)である。 BALMは、アーキテクチャを変更することなく、マルチモーダル感情認識(MER)モデルを含む様々なバックボーンにシームレスに統合することができる。 複数のMERベンチマークによる実験結果から、BALMは頑健さを継続的に向上し、多様な不足および不均衡設定下での性能を向上させることが確認された。 https://github.com/np4s/BALM_CVPR2026.git

関連論文リスト

• Model-Agnostic Meta Learning for Class Imbalance Adaptation [3.2488051786523813]
  クラス不均衡はNLPタスクにおいて広範な課題であり、さまざまなドメインやアプリケーション間での堅牢なパフォーマンスを妨げる。 本稿では,Hardness-Aware Meta-Resample(HAMR)について紹介する。
  論文  参考訳（メタデータ） (2026-04-20T19:07:56Z)
• Mixture of Ranks with Degradation-Aware Routing for One-Step Real-World Image Super-Resolution [76.66229730098759]
  実世界の画像超解像(Real-ISR)では、既存のアプローチは主に微調整された事前学習拡散モデルに依存している。 単一ステップ画像超解像のためのMixture-of-Ranks (MoR)アーキテクチャを提案する。 LoRAの各ランクを独立した専門家として扱う、きめ細かい専門家分割戦略を導入する。
  論文  参考訳（メタデータ） (2025-11-20T04:11:44Z)
• Representation Space Constrained Learning with Modality Decoupling for Multimodal Object Detection [3.556651853847748]
  本稿では,マルチモーダル検出における核融合劣化の理論的検討を行う。 2つのモジュールからなるRepresentation Space Constrained Learning with Modality Decoupling (RSC-MD)法を提案する。 提案手法は, 核融合劣化を効果的に軽減し, 複数のベンチマークで最先端性能を実現する。
  論文  参考訳（メタデータ） (2025-11-19T13:41:27Z)
• An Integrated Fusion Framework for Ensemble Learning Leveraging Gradient Boosting and Fuzzy Rule-Based Models [59.13182819190547]
  ファジィ規則に基づくモデルは解釈可能性に優れ、様々な分野に広く応用されている。 複雑な設計仕様や大規模データセットのスケーラビリティといった課題に直面している。 本稿では,モデル性能と解釈可能性を高めるために,両パラダイムの強みを融合した統合統合フレームワークを提案する。
  論文  参考訳（メタデータ） (2025-11-11T10:28:23Z)
• Quantifying Multimodal Imbalance: A GMM-Guided Adaptive Loss for Audio-Visual Learning [12.236332735708473]
  既存のソリューションは主に最適化やデータベースの戦略に重点を置いているが、マルチモーダル不均衡に固有の情報を活用することは滅多にない。 マルチモーダルインバランスのための新しい定量的分析フレームワークを提案し,サンプルレベルの適応損失関数を設計する。
  論文  参考訳（メタデータ） (2025-10-20T15:42:43Z)
• BTW: A Non-Parametric Variance Stabilization Framework for Multimodal Model Integration [20.600001069987318]
  トレーニング中のモダリティ重要度を動的に調整するために,BTW(Beyond Two-modality Weighting)を提案する。 BTWは、各ユニモーダルと現在のマルチモーダル予測とのばらつきを測定することで、サンプル毎のKL重みを計算する。 本手法は回帰性能と多クラス分類精度を大幅に向上させる。
  論文  参考訳（メタデータ） (2025-08-25T23:00:38Z)
• Modality Equilibrium Matters: Minor-Modality-Aware Adaptive Alternating for Cross-Modal Memory Enhancement [13.424541949553964]
  そこで本研究では,微調整を適応的に優先順位付けしてバランスを保ち,融合を促進させるシェープリー誘導型交互訓練フレームワークを提案する。 我々は4つのマルチモーダル・ベンチマーク・データセットのバランスと精度の両面での性能評価を行い,その手法がSOTA(State-of-the-art)の結果を達成した。
  論文  参考訳（メタデータ） (2025-05-26T02:02:57Z)
• Classifier-guided Gradient Modulation for Enhanced Multimodal Learning [50.7008456698935]
  Gradient-Guided Modulation (CGGM) は,マルチモーダル学習と勾配のバランスをとる新しい手法である。 UPMC-Food 101, CMU-MOSI, IEMOCAP, BraTSの4つのマルチモーダルデータセットについて広範な実験を行った。 CGGMはすべてのベースラインや最先端のメソッドを一貫して上回る。
  論文  参考訳（メタデータ） (2024-11-03T02:38:43Z)
• On-the-fly Modulation for Balanced Multimodal Learning [53.616094855778954]
  マルチモーダル学習は、異なるモーダルからの情報を統合することでモデル性能を向上させることが期待されている。 広く使われている共同トレーニング戦略は、不均衡で最適化されていないユニモーダル表現につながる。 そこで本研究では,OGM(On-the-fly Prediction Modulation)とOGM(On-the-fly Gradient Modulation)の戦略を提案する。
  論文  参考訳（メタデータ） (2024-10-15T13:15:50Z)
• Improving Discriminative Multi-Modal Learning with Large-Scale Pre-Trained Models [51.5543321122664]
  本稿では,大規模な事前学習型ユニモーダルモデルを用いて,識別型マルチモーダル学習を向上する方法について検討する。 MMLoRA(Multi-Modal Low-Rank Adaptation Learning)を導入する。
  論文  参考訳（メタデータ） (2023-10-08T15:01:54Z)
• Meta-Causal Feature Learning for Out-of-Distribution Generalization [71.38239243414091]
  本稿では,協調タスク生成モジュール (BTG) とメタ因果特徴学習モジュール (MCFL) を含む,バランス付きメタ因果学習器 (BMCL) を提案する。 BMCLは、分類のためのクラス不変の視覚領域を効果的に識別し、最先端の手法の性能を向上させるための一般的なフレームワークとして機能する。
  論文  参考訳（メタデータ） (2022-08-22T09:07:02Z)
• Balanced Multimodal Learning via On-the-fly Gradient Modulation [10.5602074277814]
  マルチモーダル学習は、異なる感覚を統合することで、世界を包括的に理解するのに役立つ。 学習目標に対する貢献の相違をモニタリングすることで,各モードの最適化を適応的に制御するオンザフライ勾配変調を提案する。
  論文  参考訳（メタデータ） (2022-03-29T08:26:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。