論文の概要: Multiplicity is an Inevitable and Inherent Challenge in Multimodal Learning

• arxiv url: http://arxiv.org/abs/2505.19614v1
• Date: Mon, 26 May 2025 07:30:38 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-27 16:58:43.245106
• Title: Multiplicity is an Inevitable and Inherent Challenge in Multimodal Learning
• Title（参考訳）: マルチプライシティは、マルチモーダル学習における必然的で継承的な課題である
• Authors: Sanghyuk Chun,
• Abstract要約: このポジションペーパーでは、多重性はマルチモーダル学習パイプラインのすべての段階にまたがる基本的なボトルネックであると主張している。 マルチプライシティがトレーニングの不確実性、信頼性の低い評価、データセットの品質をいかに導入するかを強調している。
• 参考スコア（独自算出の注目度）: 20.00929281001257
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Multimodal learning has seen remarkable progress, particularly with the emergence of large-scale pre-training across various modalities. However, most current approaches are built on the assumption of a deterministic, one-to-one alignment between modalities. This oversimplifies real-world multimodal relationships, where their nature is inherently many-to-many. This phenomenon, named multiplicity, is not a side-effect of noise or annotation error, but an inevitable outcome of semantic abstraction, representational asymmetry, and task-dependent ambiguity in multimodal tasks. This position paper argues that multiplicity is a fundamental bottleneck that manifests across all stages of the multimodal learning pipeline: from data construction to training and evaluation. This paper examines the causes and consequences of multiplicity, and highlights how multiplicity introduces training uncertainty, unreliable evaluation, and low dataset quality. This position calls for new research directions on multimodal learning: novel multiplicity-aware learning frameworks and dataset construction protocols considering multiplicity.
• Abstract（参考訳）: マルチモーダル学習は目覚ましい進歩を遂げており、特に様々なモダリティをまたいだ大規模な事前学習が出現している。 しかしながら、現在のほとんどのアプローチは、モダリティ間の決定論的かつ1対1のアライメントの仮定に基づいて構築されている。 これは実世界のマルチモーダル関係を単純化し、その性質は本質的に多対多である。 この現象は多重性(multiplicity)と呼ばれ、ノイズやアノテーションの誤りの副作用ではなく、意味論的抽象化、表現的非対称性、タスク依存の曖昧さの必然的な結果である。 このポジションペーパーでは、マルチプライシティはデータ構築からトレーニング、評価に至るまで、マルチモーダル学習パイプラインのすべての段階にまたがる基本的なボトルネックであると主張している。 本稿では,マルチプライシティの原因と結果について検討し,マルチプライシティがトレーニングの不確実性,信頼性の低い評価,データセット品質をいかに導入するかを明らかにする。 このポジションは、マルチモーダル学習に関する新たな研究方向、すなわち、新しいマルチプリシティ対応学習フレームワークと、マルチプリシティを考慮したデータセット構築プロトコルを求めている。

関連論文リスト

• Continual Multimodal Contrastive Learning [70.60542106731813]
  マルチモーダル・コントラッシブ・ラーニング(MCL)は、異なるモーダルを整列させ、関節空間で多モーダル表現を生成する。 マルチモーダルデータは単一のプロセスで収集されることはめったになく、スクラッチからのトレーニングは計算コストがかかる。 本稿では, 安定性と塑性の2つの原理によりCMCLを定式化する。 理論的には、二辺から部分空間への勾配の更新を計画する、新しい最適化に基づく手法を導出する。
  論文  参考訳（メタデータ） (2025-03-19T07:57:08Z)
• Missing Modality Prediction for Unpaired Multimodal Learning via Joint Embedding of Unimodal Models [6.610033827647869]
  実世界のシナリオでは、完全なマルチモーダルデータを一貫して取得することは重大な課題である。 これはしばしば、特定のモダリティのデータが欠落しているモダリティの問題につながる。 自己教師型共同埋め込み学習手法を用いて, パラメータ効率のよい未学習モデルの微調整を行う新しいフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-07-17T14:44:25Z)
• Beyond Unimodal Learning: The Importance of Integrating Multiple Modalities for Lifelong Learning [23.035725779568587]
  ディープニューラルネットワーク(DNN)におけるマルチモーダル性の役割と相互作用について検討する。 以上の結果から,複数のビューと相補的な情報を複数のモーダルから活用することで,より正確かつ堅牢な表現を学習できることが示唆された。 本稿では,各モーダルにおけるデータ点間の関係構造的類似性を利用して,異なるモーダルからの情報の統合と整合化を行う手法を提案する。
  論文  参考訳（メタデータ） (2024-05-04T22:02:58Z)
• Unified Multi-modal Unsupervised Representation Learning for Skeleton-based Action Understanding [62.70450216120704]
  教師なしの事前訓練は骨格に基づく行動理解において大きな成功を収めた。 我々はUmURLと呼ばれる統一マルチモーダル非教師なし表現学習フレームワークを提案する。 UmURLは効率的な早期融合戦略を利用して、マルチモーダル機能を単一ストリームで共同でエンコードする。
  論文  参考訳（メタデータ） (2023-11-06T13:56:57Z)
• Robust Multimodal Learning with Missing Modalities via Parameter-Efficient Adaptation [16.17270247327955]
  本稿では,事前学習型マルチモーダルネットワークに対するシンプルでパラメータ効率の良い適応手法を提案する。 このような適応は、モダリティの欠如による性能低下を部分的に補うことができることを示す。 提案手法は,様々なタスクやデータセットにまたがる汎用性を実証し,モダリティの欠如による頑健なマルチモーダル学習法よりも優れていることを示す。
  論文  参考訳（メタデータ） (2023-10-06T03:04:21Z)
• High-Modality Multimodal Transformer: Quantifying Modality & Interaction Heterogeneity for High-Modality Representation Learning [112.51498431119616]
  本稿では,多種多様なモダリティを含む高モダリティシナリオに対する効率的な表現学習について検討する。 単一のモデルであるHighMMTは、テキスト、画像、オーディオ、ビデオ、センサー、プロプレセプション、スピーチ、時系列、セット、テーブル)と5つの研究領域から15のタスクをスケールする。
  論文  参考訳（メタデータ） (2022-03-02T18:56:20Z)
• Channel Exchanging Networks for Multimodal and Multitask Dense Image Prediction [125.18248926508045]
  本稿では,マルチモーダル融合とマルチタスク学習の両方に適用可能な,自己適応的でパラメータフリーなチャネル交換ネットワーク(CEN)を提案する。 CENは異なるモダリティのワーク間でチャネルを動的に交換する。 濃密な画像予測を応用するために、CENの有効性は4つの異なるシナリオで検証される。
  論文  参考訳（メタデータ） (2021-12-04T05:47:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。