論文の概要: An Attention-based Model for Robust Forecasting with Missing Modality

• arxiv url: http://arxiv.org/abs/2606.13970v1
• Date: Thu, 11 Jun 2026 23:24:38 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-15 16:00:42.680444
• Title: An Attention-based Model for Robust Forecasting with Missing Modality
• Title（参考訳）: モダリティの欠如を考慮したロバスト予測のための注意ベースモデル
• Authors: Zhitian Zhang, Wenjie Zi, Yunduz Rakhmangulova, Saghar Irandoust, Hossein Hajimirsadeghi, Thibaut Durand,
• Abstract要約: トレーニングと推論の両方において、欠落したモダリティを扱うために設計されたマルチモーダルモデルを導入する。 提案モデルでは,全てのモダリティの頑健な表現を近似しながら,モダリティの欠如を訓練可能であることを示す。
• 参考スコア（独自算出の注目度）: 5.076667782726574
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Learning with missing modalities is a fundamental challenge in multimodal robot learning, as real-world robotic systems often operate in environments with incomplete sensor data. Attention-based models are appealing for processing multimodal data because they can handle multiple modalities with a single backbone network. However, most multimodal models assume that all modalities are available during both training and inference, limiting their applicability in robotic perception and decision-making. In this paper, we introduce a multimodal model designed to handle missing modalities during both training and inference. The model is formulated as a conditional variational autoencoder (CVAE) and incorporates a transformer-based architecture that leverages attention mechanisms to learn a unified, fixed-dimensional representation, even when some modalities are missing. We show that our proposed model can be trained with missing modalities while approximating a robust representation of all modalities. We evaluate our approach on five multimodal datasets across two robot learning tasks: human trajectory prediction and robot manipulation forecasting. Experimental results demonstrate that our model effectively learns from incomplete data and is superior to prior multimodal fusion approaches.
• Abstract（参考訳）: 現実のロボットシステムは、不完全なセンサーデータを持つ環境で運用されることが多いため、モダリティの欠如による学習は、マルチモーダルロボット学習の基本的な課題である。 単一のバックボーンネットワークで複数のモダリティを処理できるため、アテンションベースのモデルはマルチモーダルデータの処理に向いている。 しかしながら、ほとんどのマルチモーダルモデルは、トレーニングと推論の間、全てのモダリティが利用可能であり、ロボット知覚と意思決定における適用性を制限すると仮定している。 本稿では,学習と推論の両方において,欠落したモダリティを扱うために設計されたマルチモーダルモデルを提案する。 このモデルは条件付き変分オートエンコーダ (CVAE) として定式化され、注意機構を活用するトランスフォーマーベースのアーキテクチャを組み込んで、いくつかのモダリティが欠落している場合でも、統一された固定次元表現を学習する。 提案モデルでは,全てのモダリティの頑健な表現を近似しながら,モダリティの欠如を訓練可能であることを示す。 我々は,人間の軌道予測とロボット操作予測という,2つのロボット学習タスクにおける5つのマルチモーダルデータセットに対するアプローチを評価した。 実験により,本モデルは不完全データから効果的に学習し,従来のマルチモーダル融合法よりも優れていることが示された。

関連論文リスト

• Missing Modality Prediction for Unpaired Multimodal Learning via Joint Embedding of Unimodal Models [6.610033827647869]
  実世界のシナリオでは、完全なマルチモーダルデータを一貫して取得することは重大な課題である。 これはしばしば、特定のモダリティのデータが欠落しているモダリティの問題につながる。 自己教師型共同埋め込み学習手法を用いて, パラメータ効率のよい未学習モデルの微調整を行う新しいフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-07-17T14:44:25Z)
• Dealing with All-stage Missing Modality: Towards A Universal Model with Robust Reconstruction and Personalization [14.606035444283984]
  現在のアプローチでは、推論中にモダリティ不完全入力を処理するモデルの開発に重点を置いている。 本稿では、モダリティ再構成とモデルパーソナライゼーションを備えた頑健な普遍モデルを提案する。 本手法は2つの脳腫瘍セグメンテーションベンチマークで広範囲に検証されている。
  論文  参考訳（メタデータ） (2024-06-04T06:07:24Z)
• An Interactive Agent Foundation Model [49.77861810045509]
  本稿では,AIエージェントを訓練するための新しいマルチタスクエージェントトレーニングパラダイムを用いた対話型エージェント基礎モデルを提案する。 トレーニングパラダイムは、視覚マスク付きオートエンコーダ、言語モデリング、次世代の予測など、多様な事前学習戦略を統一する。 私たちは、ロボティクス、ゲームAI、ヘルスケアという3つの異なる領域でフレームワークのパフォーマンスを実演します。
  論文  参考訳（メタデータ） (2024-02-08T18:58:02Z)
• MultiDelete for Multimodal Machine Unlearning [14.755831733659699]
  MultiDeleteは、アンラーニング中の非モーダルデータポイント間の関連を分離するように設計されている。 アンラーニング後のオリジナルのモデルのマルチモーダルとユニモーダルの知識を維持できる。 敵の攻撃に対して、未学習のデータに対するより優れた保護を提供することができる。
  論文  参考訳（メタデータ） (2023-11-18T08:30:38Z)
• What Makes for Robust Multi-Modal Models in the Face of Missing Modalities? [35.19295402483624]
  我々は、情報理論の観点から、欠落するモダリティに遭遇するマルチモーダルモデルのシナリオをモデル化する。 UME-MMA(Uni-Modal Ensemble with Missing Modality Adaptation)を紹介する。 UME-MMAは、マルチモーダルモデルのための一様事前訓練重みを用いて特徴抽出を強化し、欠落したモダリティデータ拡張技術を用いて、モダリティのない状況に適応する。
  論文  参考訳（メタデータ） (2023-10-10T07:47:57Z)
• Learning Unseen Modality Interaction [54.23533023883659]
  マルチモーダル学習は、すべてのモダリティの組み合わせが訓練中に利用でき、クロスモーダル対応を学ぶことを前提としている。 我々は、目に見えないモダリティ相互作用の問題を提起し、第1の解を導入する。 異なるモジュラリティの多次元的特徴を、豊富な情報を保存した共通空間に投影するモジュールを利用する。
  論文  参考訳（メタデータ） (2023-06-22T10:53:10Z)
• Transferring Foundation Models for Generalizable Robotic Manipulation [82.12754319808197]
  インターネット規模の基盤モデルによって生成された言語推論セグメンテーションマスクを効果的に活用する新しいパラダイムを提案する。 提案手法は,オブジェクトのポーズを効果的かつ堅牢に知覚し,サンプル効率のよい一般化学習を可能にする。 デモは提出されたビデオで見ることができ、より包括的なデモはlink1またはlink2で見ることができます。
  論文  参考訳（メタデータ） (2023-06-09T07:22:12Z)
• MultiViz: An Analysis Benchmark for Visualizing and Understanding Multimodal Models [103.9987158554515]
  MultiVizは、解釈可能性の問題を4段階に足場化することで、マルチモーダルモデルの振る舞いを分析する手法である。 MultiVizの相補的な段階は、モデル予測をシミュレートし、機能に解釈可能な概念を割り当て、モデル誤分類のエラー解析を行い、エラー解析からモデルデバッグへの洞察を利用することを可能にする。
  論文  参考訳（メタデータ） (2022-06-30T18:42:06Z)
• DIME: Fine-grained Interpretations of Multimodal Models via Disentangled Local Explanations [119.1953397679783]
  我々は,マルチモーダルモデルの解釈における最先端化に注力する。 提案手法であるDIMEは,マルチモーダルモデルの高精度かつきめ細かな解析を可能にする。
  論文  参考訳（メタデータ） (2022-03-03T20:52:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。