Fugu-MT 論文翻訳(概要): Rebalanced Multimodal Learning with Data-aware Unimodal Sampling

論文の概要: Rebalanced Multimodal Learning with Data-aware Unimodal Sampling

arxiv url: http://arxiv.org/abs/2503.03792v1
Date: Wed, 05 Mar 2025 08:19:31 GMT
ステータス: 翻訳完了
システム内更新日: 2025-03-07 16:01:16.911797
Title: Rebalanced Multimodal Learning with Data-aware Unimodal Sampling
Title（参考訳）: データ対応ユニモーダルサンプリングによる再バランス型マルチモーダル学習
Authors: Qingyuan Jiang, Zhouyang Chi, Xiao Ma, Qirong Mao, Yang Yang, Jinhui Tang,
Abstract要約: We propose a novel MML approach called underlineData-aware underlineUnimodal underlineSampling(method)。学習状況に基づいて、強化学習(RL)に基づくデータ認識アンモダルサンプリング手法を提案する。本手法は,プラグインとして既存のほとんどすべてのマルチモーダル学習手法にシームレスに組み込むことができる。
参考スコア（独自算出の注目度）: 39.77348232514481
License:
Abstract: To address the modality learning degeneration caused by modality imbalance, existing multimodal learning~(MML) approaches primarily attempt to balance the optimization process of each modality from the perspective of model learning. However, almost all existing methods ignore the modality imbalance caused by unimodal data sampling, i.e., equal unimodal data sampling often results in discrepancies in informational content, leading to modality imbalance. Therefore, in this paper, we propose a novel MML approach called \underline{D}ata-aware \underline{U}nimodal \underline{S}ampling~(\method), which aims to dynamically alleviate the modality imbalance caused by sampling. Specifically, we first propose a novel cumulative modality discrepancy to monitor the multimodal learning process. Based on the learning status, we propose a heuristic and a reinforcement learning~(RL)-based data-aware unimodal sampling approaches to adaptively determine the quantity of sampled data at each iteration, thus alleviating the modality imbalance from the perspective of sampling. Meanwhile, our method can be seamlessly incorporated into almost all existing multimodal learning approaches as a plugin. Experiments demonstrate that \method~can achieve the best performance by comparing with diverse state-of-the-art~(SOTA) baselines.
Abstract（参考訳）: モーダリティの不均衡に起因するモーダリティ学習の劣化に対処するため、既存のマルチモーダリティ学習~(MML)アプローチは主にモデル学習の観点から各モーダリティの最適化プロセスのバランスをとることを試みている。しかし、既存のほとんどの手法は、一様データサンプリングによって生じるモダリティの不均衡を無視している。そこで本研究では,サンプリングによって生じるモダリティの不均衡を動的に緩和することを目的とした,新しいMML手法である \underline{D}ata-aware \underline{U}nimodal \underline{S}ampling~(\method)を提案する。具体的には、まず、マルチモーダル学習プロセスを監視するために、新しい累積モダリティ差分法を提案する。学習状況に基づいて,各反復におけるサンプルデータの量を適応的に決定し,サンプリングの観点からのモダリティの不均衡を緩和する,ヒューリスティックかつ強化学習~(RL)ベースのデータアウェア・ユニモーダルサンプリング手法を提案する。一方,本手法はプラグインとして既存のほとんどすべてのマルチモーダル学習手法にシームレスに組み込むことができる。実験により,<method~</method~</method~</method~</method~</method~</method~</method~</method~</method~</method~</method~</method~</method~</method~</method~</method~</method~</method~</method~</method~</method~</method~</method~</method~</method~</method~</method~</method~</method</method~</method</method</method~</method</method</method~</method</method) のベースラインと比較

関連論文リスト

Balance-aware Sequence Sampling Makes Multi-modal Learning Better [0.5439020425819]
MMLのロバスト性を高めるために,バランス対応シーケンスサンプリング(BSS)を提案する。マルチパースペクティブ測定器を用いて,まず,各試料のバランス度を評価するための多パースペクティブ測定器を定義する。カリキュラム学習(CL)に基づくスケジューラを用いて、バランスのとれたサンプルからバランスのとれたサンプルまで、段階的にトレーニングサブセットを提供する。
論文参考訳（メタデータ） (2025-01-01T06:19:55Z)
On-the-fly Modulation for Balanced Multimodal Learning [53.616094855778954]
マルチモーダル学習は、異なるモーダルからの情報を統合することでモデル性能を向上させることが期待されている。広く使われている共同トレーニング戦略は、不均衡で最適化されていないユニモーダル表現につながる。そこで本研究では,OGM(On-the-fly Prediction Modulation)とOGM(On-the-fly Gradient Modulation)の戦略を提案する。
論文参考訳（メタデータ） (2024-10-15T13:15:50Z)
Enhancing Unimodal Latent Representations in Multimodal VAEs through Iterative Amortized Inference [20.761803725098005]
マルチモーダル変分オートエンコーダ(VAE)は、異なるデータモダリティからの情報を統合することで、共有潜在表現をキャプチャすることを目的としている。重要な課題は、あらゆる可能なモダリティの組み合わせに対して、非現実的な数の推論ネットワークを訓練することなく、任意のモダリティのサブセットから正確に表現を推論することである。本稿では,マルチモーダルVAEフレームワーク内での反復的改善機構であるマルチモーダル反復補正推論を導入する。
論文参考訳（メタデータ） (2024-10-15T08:49:38Z)
Cross-Modal Few-Shot Learning: a Generative Transfer Learning Framework [58.362064122489166]
本稿では,複数モーダルからインスタンスを識別するクロスモーダルなFew-Shot Learningタスクを提案する。本稿では,1つの段階からなる生成的転帰学習フレームワークを提案する。1つは豊富な一助データに対する学習を伴い,もう1つは新しいデータに適応するための転帰学習に焦点を当てる。以上の結果から,GTLは4つの異なるマルチモーダルデータセット間の最先端手法よりも優れた性能を示す。
論文参考訳（メタデータ） (2024-10-14T16:09:38Z)
Missing Modality Prediction for Unpaired Multimodal Learning via Joint Embedding of Unimodal Models [6.610033827647869]
実世界のシナリオでは、完全なマルチモーダルデータを一貫して取得することは重大な課題である。これはしばしば、特定のモダリティのデータが欠落しているモダリティの問題につながる。自己教師型共同埋め込み学習手法を用いて, パラメータ効率のよい未学習モデルの微調整を行う新しいフレームワークを提案する。
論文参考訳（メタデータ） (2024-07-17T14:44:25Z)
Diagnosing and Re-learning for Balanced Multimodal Learning [8.779005254634857]
本稿では,不均衡なマルチモーダル学習問題を克服するための診断・再学習手法を提案する。各モードの学習状態は、その一様表現空間の分離性に基づいて推定される。このように、少ない情報モダリティの過度な強調は避けられる。
論文参考訳（メタデータ） (2024-07-12T22:12:03Z)
Borrowing Treasures from Neighbors: In-Context Learning for Multimodal Learning with Missing Modalities and Data Scarcity [9.811378971225727]
本稿では、欠落したモダリティに関する現在の研究を低データ体制に拡張する。フルモダリティデータと十分なアノテートされたトレーニングサンプルを取得することは、しばしばコストがかかる。本稿では,この2つの重要な問題に対処するために,検索強化したテキスト内学習を提案する。
論文参考訳（メタデータ） (2024-03-14T14:19:48Z)
Multimodal Representation Learning by Alternating Unimodal Adaptation [73.15829571740866]
MLA(Multimodal Learning with Alternating Unimodal Adaptation)を提案する。 MLAは、それを交互に一助学習プロセスに変換することで、従来の共同マルチモーダル学習プロセスを再構築する。共有ヘッドを通じてモーダル間相互作用をキャプチャし、異なるモーダル間で連続的な最適化を行う。実験は5つの多様なデータセットで行われ、完全なモダリティを持つシナリオと、欠落したモダリティを持つシナリオを含む。
論文参考訳（メタデータ） (2023-11-17T18:57:40Z)
Unified Multi-modal Unsupervised Representation Learning for Skeleton-based Action Understanding [62.70450216120704]
教師なしの事前訓練は骨格に基づく行動理解において大きな成功を収めた。我々はUmURLと呼ばれる統一マルチモーダル非教師なし表現学習フレームワークを提案する。 UmURLは効率的な早期融合戦略を利用して、マルチモーダル機能を単一ストリームで共同でエンコードする。
論文参考訳（メタデータ） (2023-11-06T13:56:57Z)
On Modality Bias Recognition and Reduction [70.69194431713825]
マルチモーダル分類の文脈におけるモダリティバイアス問題について検討する。本稿では,各ラベルの特徴空間を適応的に学習するプラグアンドプレイ損失関数法を提案する。本手法は, ベースラインに比べ, 顕著な性能向上を実現している。
論文参考訳（メタデータ） (2022-02-25T13:47:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。