論文の概要: Learning to Rebalance Multi-Modal Optimization by Adaptively Masking Subnetworks

• arxiv url: http://arxiv.org/abs/2404.08347v1
• Date: Fri, 12 Apr 2024 09:22:24 GMT
• ステータス: 処理完了
• システム内更新日: 2024-04-15 15:26:16.024956
• Title: Learning to Rebalance Multi-Modal Optimization by Adaptively Masking Subnetworks
• Title（参考訳）: 適応型マスキングサブネットによるマルチモーダル最適化の再バランス学習
• Authors: Yang Yang, Hongpeng Pan, Qing-Yuan Jiang, Yi Xu, Jinghui Tang,
• Abstract要約: モーダル有意性を考慮した適応マスクサブネット(adaptively Mask Subnetworks, AMSS)と呼ばれる, サンプリングベース, 要素単位の結合最適化手法を提案する。 具体的には,モーダルの重要度を決定するために相互情報レートを組み込んで,パラメータ更新のために各モーダルからフォアグラウンドワークを選択するために,非一様適応サンプリングを用いる。 理論的知見に基づいて、AMSS+と呼ばれる非バイアス推定を用いたマルチモーダルマスクサブネットワーク戦略をさらに強化する。
• 参考スコア（独自算出の注目度）: 13.065212096469537
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Multi-modal learning aims to enhance performance by unifying models from various modalities but often faces the "modality imbalance" problem in real data, leading to a bias towards dominant modalities and neglecting others, thereby limiting its overall effectiveness. To address this challenge, the core idea is to balance the optimization of each modality to achieve a joint optimum. Existing approaches often employ a modal-level control mechanism for adjusting the update of each modal parameter. However, such a global-wise updating mechanism ignores the different importance of each parameter. Inspired by subnetwork optimization, we explore a uniform sampling-based optimization strategy and find it more effective than global-wise updating. According to the findings, we further propose a novel importance sampling-based, element-wise joint optimization method, called Adaptively Mask Subnetworks Considering Modal Significance(AMSS). Specifically, we incorporate mutual information rates to determine the modal significance and employ non-uniform adaptive sampling to select foreground subnetworks from each modality for parameter updates, thereby rebalancing multi-modal learning. Additionally, we demonstrate the reliability of the AMSS strategy through convergence analysis. Building upon theoretical insights, we further enhance the multi-modal mask subnetwork strategy using unbiased estimation, referred to as AMSS+. Extensive experiments reveal the superiority of our approach over comparison methods.
• Abstract（参考訳）: マルチモーダル学習は、様々なモダリティからモデルを統一することでパフォーマンスを向上させることを目的としているが、実データにおいて「モダリティの不均衡」問題に直面し、支配的なモダリティへの偏見を生じさせ、他を無視し、全体的な効果を制限する。 この課題に対処するため、中心となるアイデアは、各モダリティの最適化のバランスをとることで、共同最適化を実現することである。 既存のアプローチでは、各モーダルパラメータの更新を調整するためのモーダルレベル制御機構がしばしば使用されている。 しかし、このようなグローバルな更新メカニズムは各パラメータの異なる重要性を無視している。 サブネットワーク最適化にインスパイアされ、一様サンプリングに基づく最適化戦略を探求し、グローバルな更新よりも効果的であることを示す。 そこで本研究では,モーダル重要度(AMSS)を考慮したアダプティヴマスク・サブネット工法 (Adaptively Mask Subnetworks) という,サンプリングベースで要素ワイドな共同最適化手法を提案する。 具体的には,モーダルの重要度を決定するために相互情報レートを組み込んだ非一様適応サンプリングを用いて,パラメータ更新のために各モーダルから前景サブネットを選択することにより,マルチモーダル学習の再バランスを図る。 さらに,収束解析によるAMSS戦略の信頼性を示す。 理論的知見に基づいて、AMSS+と呼ばれる非バイアス推定を用いたマルチモーダルマスクサブネットワーク戦略をさらに強化する。 大規模な実験により、比較法よりもアプローチの優位性が明らかとなった。

関連論文リスト

• On-the-fly Modulation for Balanced Multimodal Learning [53.616094855778954]
  マルチモーダル学習は、異なるモーダルからの情報を統合することでモデル性能を向上させることが期待されている。 広く使われている共同トレーニング戦略は、不均衡で最適化されていないユニモーダル表現につながる。 そこで本研究では,OGM(On-the-fly Prediction Modulation)とOGM(On-the-fly Gradient Modulation)の戦略を提案する。
  論文  参考訳（メタデータ） (2024-10-15T13:15:50Z)
• MITA: Bridging the Gap between Model and Data for Test-time Adaptation [68.62509948690698]
  テスト時間適応(TTA)は、モデルの一般化性を高めるための有望なパラダイムとして登場した。 本稿では,Met-In-The-MiddleをベースとしたMITAを提案する。
  論文  参考訳（メタデータ） (2024-10-12T07:02:33Z)
• Bridging and Modeling Correlations in Pairwise Data for Direct Preference Optimization [75.1240295759264]
  本稿では,BMC という名前のペアデータにおけるブリッジ・アンド・モデリングの効果的なフレームワークを提案する。 目的の修正によって、ペアの選好信号の一貫性と情報性が向上する。 DPOだけではこれらの相関をモデル化し、ニュアンス付き変動を捉えるには不十分である。
  論文  参考訳（メタデータ） (2024-08-14T11:29:47Z)
• Multimodal Classification via Modal-Aware Interactive Enhancement [6.621745547882088]
  モーダル・アウェア・インタラクティブ・エンハンスメント(MIE)と呼ばれる新しいマルチモーダル学習手法を提案する。 具体的には、まず、シャープネス認識最小化(SAM)に基づく最適化戦略を用いて、前フェーズにおける学習目標の円滑化を図る。 そこで, SAMの幾何学的性質の助けを借りて, 逆相における異なるモード間の影響を加味するための勾配修正戦略を提案する。
  論文  参考訳（メタデータ） (2024-07-05T15:32:07Z)
• Multi-Domain Evolutionary Optimization of Network Structures [25.658524436665637]
  マルチドメイン進化最適化(MDEO)のための新しいフレームワークを開発する。 異なる領域の8つの実世界のネットワークの実験は、古典的な進化的最適化と比較してMDEOが優れていることを示す。 コミュニティに対する攻撃のシミュレーションは、コミュニティの安全を守るために提案されたMDEOの有効性を検証する。
  論文  参考訳（メタデータ） (2024-06-21T04:53:39Z)
• RLEMMO: Evolutionary Multimodal Optimization Assisted By Deep Reinforcement Learning [8.389454219309837]
  マルチモーダル最適化問題 (MMOP) は, 限られた関数評価において困難となる最適解の探索を必要とする。 本稿では,メタブラックボックス最適化フレームワークであるRLEMMOを提案する。 品質と多様性の両方を促進する新しい報酬メカニズムにより、RLEMMOはポリシー勾配アルゴリズムを用いて効果的に訓練できる。
  論文  参考訳（メタデータ） (2024-04-12T05:02:49Z)
• Unleashing Network Potentials for Semantic Scene Completion [50.95486458217653]
  本稿では,新しいSSCフレームワーク - Adrial Modality Modulation Network (AMMNet)を提案する。 AMMNetは、モダリティ間の勾配流の相互依存性を可能にするクロスモーダル変調と、動的勾配競争を利用するカスタマイズされた逆トレーニングスキームの2つのコアモジュールを導入している。 AMMNetは最先端のSSC法よりも大きなマージンで優れていた。
  論文  参考訳（メタデータ） (2024-03-12T11:48:49Z)
• Faster Last-iterate Convergence of Policy Optimization in Zero-Sum Markov Games [63.60117916422867]
  本稿では,対戦型マルチエージェントRLの最も基本的な設定,すなわち2プレーヤゼロサムマルコフゲームに焦点を当てる。 両エージェントから対称更新を施した単一ループポリシー最適化手法を提案し,この手法はエントロピー規則化楽観的乗算重み更新法(OMWU)によって更新される。 我々の収束結果は、最もよく知られた複雑性を改善し、競合するマルコフゲームにおけるポリシー最適化をよりよく理解する。
  論文  参考訳（メタデータ） (2022-10-03T16:05:43Z)
• Improving Hyperparameter Optimization by Planning Ahead [3.8673630752805432]
  本稿では,モデルに基づく強化学習の文脈内で定義された新しい伝達学習手法を提案する。 本稿では,シンプルなルックアヘッド戦略をポリシーとして用いたモデル予測制御法を提案する。 最新のHPOアルゴリズムと比較した3つのメタデータセット実験により,提案手法が全ベースラインを上回り得ることを示す。
  論文  参考訳（メタデータ） (2021-10-15T11:46:14Z)
• Model-based Multi-agent Policy Optimization with Adaptive Opponent-wise Rollouts [52.844741540236285]
  マルチエージェント強化学習(MARL)におけるモデルベース手法について検討する。 AORPO(Adaptive Opponent-wise Rollout Policy)と呼ばれる新しい分散型モデルベースのMARL法を提案する。
  論文  参考訳（メタデータ） (2021-05-07T16:20:22Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。