論文の概要: Adaptive Unimodal Regulation for Balanced Multimodal Information Acquisition

• arxiv url: http://arxiv.org/abs/2503.18595v1
• Date: Mon, 24 Mar 2025 11:52:57 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-25 14:38:07.645177
• Title: Adaptive Unimodal Regulation for Balanced Multimodal Information Acquisition
• Title（参考訳）: バランスの取れたマルチモーダル情報獲得のための適応的一様制御
• Authors: Chengxiang Huang, Yake Wei, Zequn Yang, Di Hu,
• Abstract要約: 本稿では,モダリティ間の情報取得のバランスをとるための手法を提案する。 実験の結果、InfoRegは様々なデータセットで関連するマルチモーダル不均衡なメソッドよりも優れていた。
• 参考スコア（独自算出の注目度）: 9.367733452960492
• License:
• Abstract: Sensory training during the early ages is vital for human development. Inspired by this cognitive phenomenon, we observe that the early training stage is also important for the multimodal learning process, where dataset information is rapidly acquired. We refer to this stage as the prime learning window. However, based on our observation, this prime learning window in multimodal learning is often dominated by information-sufficient modalities, which in turn suppresses the information acquisition of information-insufficient modalities. To address this issue, we propose Information Acquisition Regulation (InfoReg), a method designed to balance information acquisition among modalities. Specifically, InfoReg slows down the information acquisition process of information-sufficient modalities during the prime learning window, which could promote information acquisition of information-insufficient modalities. This regulation enables a more balanced learning process and improves the overall performance of the multimodal network. Experiments show that InfoReg outperforms related multimodal imbalanced methods across various datasets, achieving superior model performance. The code is available at https://github.com/GeWu-Lab/InfoReg_CVPR2025.
• Abstract（参考訳）: 初期の感覚訓練は人間の発達に不可欠である。 この認知現象に触発されて、データセット情報を迅速に取得するマルチモーダル学習プロセスにおいて、早期学習の段階も重要であることが観察された。 私たちはこのステージを素数学習ウィンドウと呼んでいます。 しかし,本稿では,マルチモーダル学習におけるこの初等学習ウィンドウは,情報量の多いモダリティに支配されることが多く,情報量の多いモダリティの情報獲得が抑制される。 この問題に対処するために,情報獲得規則(InfoReg)を提案する。 具体的には、InfoRegは、情報不十分なモーダル情報の獲得を促進する素数学習ウィンドウにおいて、情報不十分なモーダル情報の取得プロセスを遅くする。 この規制により、よりバランスの取れた学習プロセスが実現され、マルチモーダルネットワーク全体のパフォーマンスが向上する。 実験の結果、InfoRegは様々なデータセットで関連するマルチモーダル不均衡なメソッドよりも優れており、優れたモデル性能を実現していることがわかった。 コードはhttps://github.com/GeWu-Lab/InfoReg_CVPR2025で公開されている。

関連論文リスト

• Mind the Interference: Retaining Pre-trained Knowledge in Parameter Efficient Continual Learning of Vision-Language Models [79.28821338925947]
  ドメインクラスのインクリメンタル学習は現実的だが、継続的な学習シナリオである。 これらの多様なタスクに対処するために、事前訓練されたビジョンランゲージモデル(VLM)を導入し、その強力な一般化性を実現する。 事前訓練されたVLMにエンコードされた知識は、新しいタスクに適応する際に妨げられ、固有のゼロショット能力を損なう。 既存の手法では、膨大なオーバーヘッドを必要とする余分なデータセットに知識蒸留でVLMをチューニングすることで、この問題に対処している。 我々は、事前学習した知識を保持できるDIKI(Distributed-Aware Interference-free Knowledge Integration)フレームワークを提案する。
  論文  参考訳（メタデータ） (2024-07-07T12:19:37Z)
• Neuro-Inspired Information-Theoretic Hierarchical Perception for Multimodal Learning [16.8379583872582]
  我々は,情報ボトルネックの概念を利用する情報理論階層知覚(ITHP)モデルを開発した。 我々は、ITHPがマルチモーダル学習シナリオにおいて重要な情報を一貫して蒸留し、最先端のベンチマークより優れていることを示す。
  論文  参考訳（メタデータ） (2024-04-15T01:34:44Z)
• Multimodal Representation Learning by Alternating Unimodal Adaptation [73.15829571740866]
  MLA(Multimodal Learning with Alternating Unimodal Adaptation)を提案する。 MLAは、それを交互に一助学習プロセスに変換することで、従来の共同マルチモーダル学習プロセスを再構築する。 共有ヘッドを通じてモーダル間相互作用をキャプチャし、異なるモーダル間で連続的な最適化を行う。 実験は5つの多様なデータセットで行われ、完全なモダリティを持つシナリオと、欠落したモダリティを持つシナリオを含む。
  論文  参考訳（メタデータ） (2023-11-17T18:57:40Z)
• Learning Unseen Modality Interaction [54.23533023883659]
  マルチモーダル学習は、すべてのモダリティの組み合わせが訓練中に利用でき、クロスモーダル対応を学ぶことを前提としている。 我々は、目に見えないモダリティ相互作用の問題を提起し、第1の解を導入する。 異なるモジュラリティの多次元的特徴を、豊富な情報を保存した共通空間に投影するモジュールを利用する。
  論文  参考訳（メタデータ） (2023-06-22T10:53:10Z)
• Ignorance is Bliss: Robust Control via Information Gating [60.17644038829572]
  情報パーシモニーは、ノイズや突発的相関に頑健であることにより、より良い一般化を実現する学習表現に有用な帰納的バイアスを提供する。 本稿では,タスクに必要な最小限の情報を識別する類似表現を学習する手段として,テキスト情報ゲーティングを提案する。
  論文  参考訳（メタデータ） (2023-03-10T18:31:50Z)
• Learning Multimodal Data Augmentation in Feature Space [65.54623807628536]
  LeMDAは、機能空間におけるマルチモーダルデータを共同で拡張することを自動的に学習する、使い易い方法である。 我々はLeMDAがマルチモーダルディープラーニングアーキテクチャの性能を大幅に向上させることができることを示す。
  論文  参考訳（メタデータ） (2022-12-29T20:39:36Z)
• Single-Modal Entropy based Active Learning for Visual Question Answering [75.1682163844354]
  視覚質問応答(VQA)のマルチモーダル設定におけるアクティブラーニングに対処する マルチモーダルな入力,画像,質問を考慮し,有効サンプル取得のための新しい手法を提案する。 私たちの新しいアイデアは、実装が簡単で、コスト効率が高く、他のマルチモーダルタスクにも容易に適応できます。
  論文  参考訳（メタデータ） (2021-10-21T05:38:45Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。