論文の概要: Latent World Recovery for Multimodal Learning with Missing Modalities

• arxiv url: http://arxiv.org/abs/2606.12362v1
• Date: Wed, 10 Jun 2026 17:31:34 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-11 16:42:38.592216
• Title: Latent World Recovery for Multimodal Learning with Missing Modalities
• Title（参考訳）: モダリティを欠いたマルチモーダル学習のための潜在世界回復
• Authors: Hui Wang, Tianyu Ren, Joseph Butler, Christopher Baker, Karen Rafferty, Simon McDade,
• Abstract要約: 我々は、欠落したモダリティの下でマルチモーダル学習を研究するためのフレームワークとして、LWR(Latent World Recovery)を提案する。 LWRは、各モダリティを下層の潜在状態の部分的知覚として扱い、観測されたモダリティから直接可利用性を考慮した表現学習を行う。 提案手法を実世界の不完全なマルチオミクスベンチマークで評価し,がんの表現型分類や生存予測などの下流タスクに有効なアプローチを提供することを示す。
• 参考スコア（独自算出の注目度）: 8.259600986515979
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We study multimodal learning under missing modalities, with particular motivation from bioscience applications in which heterogeneous modalities are often only partially available when decisions need to be made. We propose Latent World Recovery (LWR), a framework built on two key ideas: (i) modality-specific embeddings from different modalities are aligned in a shared latent space, and (ii) a unified representation is constructed by fusing only the embeddings of the modalities that are actually available at both training and inference time. Rather than imputing missing modalities or requiring a fixed modality set, LWR treats each modality as a partial perception of an underlying latent state and performs availability-aware representation learning directly from the observed modalities. This combination of neighbor-based latent alignment and availability-aware modality fusion enables robust multimodal prediction under partial observation, while avoiding error propagation from explicit reconstruction of missing modalities. We evaluate the proposed framework on real-world incomplete multi-omics benchmarks and demonstrate that it provides an effective approach to downstream tasks such as cancer phenotype classification and survival prediction.
• Abstract（参考訳）: 異質なモダリティが、意思決定を行う必要のある場合にのみ、部分的にのみ利用可能となるような、バイオサイエンス応用のモチベーションを欠くマルチモーダル学習について研究する。 我々は2つの主要なアイデアに基づいて構築されたLWR(Latent World Recovery)を提案する。 一 異なるモダリティのモダリティ固有の埋め込みを共有潜在空間に整列させ、 二 統一表現は、トレーニング時と推論時の両方で実際に利用可能なモダリティの埋め込みのみを融合して構成する。 欠落したモダリティや固定されたモダリティセットを要求するのではなく、LWRは各モダリティを下層の潜在状態の部分的認識として扱い、観測されたモダリティから直接可利用性を考慮した表現学習を行う。 近接型遅延アライメントとアベイラビリティー対応モダリティ融合の組み合わせは、欠落したモダリティの明示的な再構成からエラーの伝播を回避しつつ、部分的な観察下で頑健なマルチモーダル予測を可能にする。 提案手法を実世界の不完全なマルチオミクスベンチマークで評価し,がんの表現型分類や生存予測などの下流タスクに有効なアプローチを提供することを示す。

関連論文リスト

• RePercENT: Scaling Disentangled Representation Learning Beyond Two Modalities [34.35941675436447]
  RePercENTは、2つのモダリティを超えて、スケーラブルなペアワイズ・アンタングルをアンロックするように設計された、自己管理型のフレームワークである。 提案手法は, 事前抽出した埋め込みを直接操作し, 広範囲なジョイント・プレトレーニングの必要性を解消する。 さまざまなモダリティやタスクにわたって、RePercENTは、競合性能を維持しながら、アンタングルされたコンポーネントの回復に成功した。
  論文  参考訳（メタデータ） (2026-06-03T17:10:39Z)
• Resilient Vision-Tabular Multimodal Learning under Modality Missingness [1.696842238811138]
  マルチモーダルディープラーニングは医療応用において大きな可能性を秘めている。 既存のアプローチの多くは、完全にモダリティの可用性を暗黙的に仮定している。 共同視覚・タブラリ学習のためのマルチモーダルトランスフォーマーフレームワークを提案する。
  論文  参考訳（メタデータ） (2026-05-12T12:14:13Z)
• LIMSSR: LLM-Driven Sequence-to-Score Reasoning under Training-Time Incomplete Multimodal Observations [53.20772659095155]
  本稿では、トレーニング時不完全観察において、より困難なIMLの設定に取り組む。 本稿では,この課題を条件付きシーケンス推論タスクとして再構成したLIMSSR(LLM-Driven Incomplete Multimodal Sequence-to-Score Reasoning)を提案する。
  論文  参考訳（メタデータ） (2026-05-01T06:11:42Z)
• MMEB-V3: Measuring the Performance Gaps of Omni-Modality Embedding Models [70.34265674686516]
  マルチモーダル埋め込みモデルは、テキスト、画像、ビデオ、オーディオなどの異種入力を共有意味空間にマッピングすることを目的としている。 本稿では,テキスト,画像,ビデオ,オーディオ,エージェント中心のシナリオにまたがる埋め込みを評価するベンチマークであるMMEB-V3を紹介する。 本研究は, 完全モダリティ埋め込みの系統的解析を行い, 3つの重要な知見を同定する。
  論文  参考訳（メタデータ） (2026-04-25T14:15:05Z)
• Calibrated Multimodal Representation Learning with Missing Modalities [100.55774771852468]
  マルチモーダル表現学習は、それらを統一潜在空間に整列させることにより、異なるモダリティを調和させる。 最近の研究は、従来のクロスモーダルアライメントを一般化して、強化されたマルチモーダル・シナジーを生成するが、すべてのモダリティを共通の例に含める必要がある。 我々は、アンカーシフトの観点から、この問題に関する理論的洞察を提供する。 モーダルの欠如に起因する不完全なアライメントを校正するために,マルチモーダル表現学習のためのCalMRLを提案する。
  論文  参考訳（メタデータ） (2025-11-15T05:01:43Z)
• Towards Modality Generalization: A Benchmark and Prospective Analysis [68.20973671493203]
  本稿では,モダリティ・ジェネリゼーション(MG)について述べる。 マルチモーダルアルゴリズムを特徴とする包括的ベンチマークを提案し,一般化に着目した既存手法を適用した。 私たちの研究は、堅牢で適応可能なマルチモーダルモデルを進化させる基盤を提供し、現実的なシナリオで目に見えないモダリティを扱えるようにします。
  論文  参考訳（メタデータ） (2024-12-24T08:38:35Z)
• Missing Modality Prediction for Unpaired Multimodal Learning via Joint Embedding of Unimodal Models [6.610033827647869]
  実世界のシナリオでは、完全なマルチモーダルデータを一貫して取得することは重大な課題である。 これはしばしば、特定のモダリティのデータが欠落しているモダリティの問題につながる。 自己教師型共同埋め込み学習手法を用いて, パラメータ効率のよい未学習モデルの微調整を行う新しいフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-07-17T14:44:25Z)
• Dealing with All-stage Missing Modality: Towards A Universal Model with Robust Reconstruction and Personalization [14.606035444283984]
  現在のアプローチでは、推論中にモダリティ不完全入力を処理するモデルの開発に重点を置いている。 本稿では、モダリティ再構成とモデルパーソナライゼーションを備えた頑健な普遍モデルを提案する。 本手法は2つの脳腫瘍セグメンテーションベンチマークで広範囲に検証されている。
  論文  参考訳（メタデータ） (2024-06-04T06:07:24Z)
• Exploiting modality-invariant feature for robust multimodal emotion recognition with missing modalities [76.08541852988536]
  我々は、欠落したモダリティ・イマジネーション・ネットワーク(IF-MMIN)に不変な特徴を用いることを提案する。 提案モデルは,不確実なモダリティ条件下で,すべてのベースラインを上回り,全体の感情認識性能を不変に向上することを示す。
  論文  参考訳（メタデータ） (2022-10-27T12:16:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。