論文の概要: Simultaneous Long-tailed Recognition and Multi-modal Fusion for Highly Imbalanced Multi-modal Data
- arxiv url: http://arxiv.org/abs/2605.10498v1
- Date: Mon, 11 May 2026 12:56:53 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-05-12 23:28:50.823833
- Title: Simultaneous Long-tailed Recognition and Multi-modal Fusion for Highly Imbalanced Multi-modal Data
- Title（参考訳）: 高不均衡なマルチモーダルデータに対する同時ロングテール認識とマルチモーダルフュージョン
- Abstract要約: クラス不均衡データの長期分布は、ディープラーニングモデルにとって根本的な課題である。
マルチモーダル入力を明示的に処理するロングテール認識のための新しいフレームワークを提案する。
提案手法は,異種データを統一表現に融合することにより,マルチエキスパートアーキテクチャをマルチモーダル設定に拡張する。
- 参考スコア（独自算出の注目度）: 9.797319790710711
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Long-tailed distributions in class-imbalanced data present a fundamental challenge for deep learning models, which tend to be biased toward majority classes. While recent methods for long-tailed recognition have mitigated this issue, they are largely restricted to single-modal inputs and cannot fully exploit complementary information from diverse data sources. In this work, we introduce a new framework for long-tailed recognition that explicitly handles multi-modal inputs. Our approach extends multi-expert architectures to the multi-modal setting by fusing heterogeneous data into a unified representation while leveraging modality-specific networks to estimate the informativeness of each modality. These confidence-guided weights dynamically modulate the fusion process, ensuring that more informative modalities contribute more strongly to the final decision. To further enhance performance, we design specialized training and test procedures that accommodate diverse modality combinations, including images and tabular data. Extensive experiments on benchmark and real-world datasets demonstrate that the proposed approach not only effectively integrates multi-modal information but also outperforms existing methods in handling long-tailed, class-imbalanced scenarios, highlighting its robustness and generalization capability.
- Abstract（参考訳）: クラス不均衡データの長期分布は、多数派に偏りがちなディープラーニングモデルにおいて、根本的な課題となる。
最近のロングテール認識法ではこの問題が緩和されているが、それらは主にシングルモーダル入力に限定されており、多様なデータソースからの補完情報を完全に活用することはできない。
本研究では,マルチモーダル入力を明示的に処理する長鎖認識のための新しいフレームワークを提案する。
提案手法は,異種データを統一表現に融合し,モダリティ固有のネットワークを活用して各モダリティの情報性を評価することで,マルチエキスパートアーキテクチャをマルチモーダル設定に拡張する。
これらの信頼誘導重みは核融合過程を動的に変調し、より情報的なモダリティが最終決定に強く寄与することを保証する。
パフォーマンスをさらに向上するため,画像や表データを含む多種多様なモダリティの組み合わせに対応する特別なトレーニングとテスト手順を設計する。
ベンチマークと実世界のデータセットに関する大規模な実験により、提案手法はマルチモーダル情報を効果的に統合するだけでなく、長い尾のクラス不均衡なシナリオを扱う既存の手法よりも優れており、その堅牢性と一般化能力を強調している。
関連論文リスト
- MultiLoReFT: Decoupling Shared and Modality-Specific Subspaces in Multimodal Learning via Low-Rank Representation Fine-Tuning [13.327494159383356]
MultiLoReFTはマルチモーダル学習のための効率的でスケーラブルな低ランク表現フレームワークである。
共有情報とモダリティ固有情報を分離する解釈可能な射影部分空間を学習する。
シミュレーションと実世界のベンチマークでマルチモーダル予測をサポートする表現を生成する。
論文 参考訳（メタデータ） (2026-07-18T11:53:22Z) - CyIN: Cyclic Informative Latent Space for Bridging Complete and Incomplete Multimodal Learning [35.562458985015944]
本稿では,完全学習と不完全学習のギャップを埋めるために,Cyclic Informative Learning framework(CyIN)を提案する。
不完全なマルチモーダル入力による欠落情報を補うために,クロスモーダル巡回変換を提案する。
CyINは1つの統一モデルで完全および不完全マルチモーダル学習を共同最適化することに成功した。
論文 参考訳（メタデータ） (2026-02-04T07:05:15Z) - Amplifying Prominent Representations in Multimodal Learning via Variational Dirichlet Process [55.91649771370862]
ディリクレ過程(DP)混合モデルは、最も顕著な特徴を増幅できる強力な非パラメトリック法である。
本稿では,DP駆動型マルチモーダル学習フレームワークを提案する。
論文 参考訳（メタデータ） (2025-10-23T16:53:24Z) - Deep Correlated Prompting for Visual Recognition with Missing Modalities [22.40271366031256]
大規模マルチモーダルモデルでは、ペア化された大規模マルチモーダルトレーニングデータを用いて、一連のタスクに対して優れた性能を示す。
しかし、プライバシーの制約やコレクションの難しさのために、この単純な仮定が現実の世界で常に成り立つとは限らない。
そこで本研究では,大規模事前学習型マルチモーダルモデルを用いて,欠落事例を異なる入力タイプとして扱うことで,欠落したモダリティシナリオに対処する学習手法を提案する。
論文 参考訳（メタデータ） (2024-10-09T05:28:43Z) - Missing Modality Prediction for Unpaired Multimodal Learning via Joint Embedding of Unimodal Models [6.610033827647869]
実世界のシナリオでは、完全なマルチモーダルデータを一貫して取得することは重大な課題である。
これはしばしば、特定のモダリティのデータが欠落しているモダリティの問題につながる。
自己教師型共同埋め込み学習手法を用いて, パラメータ効率のよい未学習モデルの微調整を行う新しいフレームワークを提案する。
論文 参考訳（メタデータ） (2024-07-17T14:44:25Z) - U3M: Unbiased Multiscale Modal Fusion Model for Multimodal Semantic Segmentation [63.31007867379312]
U3M: An Unbiased Multiscale Modal Fusion Model for Multimodal Semanticsを紹介する。
我々は,グローバルな特徴とローカルな特徴の効果的な抽出と統合を保証するために,複数のスケールで機能融合を採用している。
実験により,本手法は複数のデータセットにまたがって優れた性能を発揮することが示された。
論文 参考訳（メタデータ） (2024-05-24T08:58:48Z) - NativE: Multi-modal Knowledge Graph Completion in the Wild [51.80447197290866]
本研究では,MMKGCを実現するための包括的フレームワークNativEを提案する。
NativEは、任意のモダリティに対して適応的な融合を可能にするリレーショナル誘導デュアルアダプティブフュージョンモジュールを提案する。
提案手法を評価するために,5つのデータセットを用いたWildKGCという新しいベンチマークを構築した。
論文 参考訳（メタデータ） (2024-03-28T03:04:00Z) - Unified Multi-modal Unsupervised Representation Learning for
Skeleton-based Action Understanding [62.70450216120704]
教師なしの事前訓練は骨格に基づく行動理解において大きな成功を収めた。
我々はUmURLと呼ばれる統一マルチモーダル非教師なし表現学習フレームワークを提案する。
UmURLは効率的な早期融合戦略を利用して、マルチモーダル機能を単一ストリームで共同でエンコードする。
論文 参考訳（メタデータ） (2023-11-06T13:56:57Z) - Learning Unseen Modality Interaction [54.23533023883659]
マルチモーダル学習は、すべてのモダリティの組み合わせが訓練中に利用でき、クロスモーダル対応を学ぶことを前提としている。
我々は、目に見えないモダリティ相互作用の問題を提起し、第1の解を導入する。
異なるモジュラリティの多次元的特徴を、豊富な情報を保存した共通空間に投影するモジュールを利用する。
論文 参考訳（メタデータ） (2023-06-22T10:53:10Z) - High-Modality Multimodal Transformer: Quantifying Modality & Interaction
Heterogeneity for High-Modality Representation Learning [112.51498431119616]
本稿では,多種多様なモダリティを含む高モダリティシナリオに対する効率的な表現学習について検討する。
単一のモデルであるHighMMTは、テキスト、画像、オーディオ、ビデオ、センサー、プロプレセプション、スピーチ、時系列、セット、テーブル)と5つの研究領域から15のタスクをスケールする。
論文 参考訳（メタデータ） (2022-03-02T18:56:20Z) - Relating by Contrasting: A Data-efficient Framework for Multimodal
Generative Models [86.9292779620645]
生成モデル学習のための対照的なフレームワークを開発し、モダリティ間の共通性だけでなく、「関連」と「関連しない」マルチモーダルデータの区別によってモデルを訓練することができる。
提案手法では, 生成モデルを用いて, 関係のないサンプルから関連サンプルを正確に識別し, ラベルのない多モードデータの利用が可能となる。
論文 参考訳（メタデータ） (2020-07-02T15:08:11Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。