Fugu-MT 論文翻訳(概要): A Comprehensive Survey on Deep Multimodal Learning with Missing Modality

論文の概要: A Comprehensive Survey on Deep Multimodal Learning with Missing Modality

arxiv url: http://arxiv.org/abs/2409.07825v2
Date: Fri, 13 Sep 2024 05:33:47 GMT
ステータス: 処理完了
システム内更新日: 2024-09-16 11:48:15.909529
Title: A Comprehensive Survey on Deep Multimodal Learning with Missing Modality
Title（参考訳）: 欠損モードを用いた深層マルチモーダル学習に関する包括的調査
Authors: Renjie Wu, Hu Wang, Hsiang-Ting Chen,
Abstract要約: マルチモーダルモデルトレーニングと推論の間、データサンプルは特定のモダリティを見逃し、モデルのパフォーマンスを損なう可能性がある。本調査は,ディープラーニング技術に着目したMLMM(Multimodal Learning with Missing Modality)の最近の進歩について概説する。
参考スコア（独自算出の注目度）: 7.867629858620121
License: http://creativecommons.org/licenses/by/4.0/
Abstract: During multimodal model training and reasoning, data samples may miss certain modalities and lead to compromised model performance due to sensor limitations, cost constraints, privacy concerns, data loss, and temporal and spatial factors. This survey provides an overview of recent progress in Multimodal Learning with Missing Modality (MLMM), focusing on deep learning techniques. It is the first comprehensive survey that covers the historical background and the distinction between MLMM and standard multimodal learning setups, followed by a detailed analysis of current MLMM methods, applications, and datasets, concluding with a discussion about challenges and potential future directions in the field.
Abstract（参考訳）: マルチモーダルモデルトレーニングと推論の間、データサンプルは特定のモダリティを逸脱し、センサーの制限、コスト制限、プライバシー上の懸念、データ損失、時間的および空間的要因によるモデルパフォーマンスを損なう可能性がある。本調査は,ディープラーニング技術に着目したMLMM(Multimodal Learning with Missing Modality)の最近の進歩について概説する。これは、MLMMと標準マルチモーダル学習設定の歴史的背景と区別に関する最初の総合的な調査であり、続いて現在のMLMMメソッド、アプリケーション、データセットの詳細な分析を行い、この分野における課題と今後の方向性に関する議論を締めくくった。

関連論文リスト

Cross-Modal Few-Shot Learning: a Generative Transfer Learning Framework [58.362064122489166]
本稿では,複数モーダルからインスタンスを識別するクロスモーダルなFew-Shot Learningタスクを提案する。本稿では,1つの段階からなる生成的転帰学習フレームワークを提案する。1つは豊富な一助データに対する学習を伴い,もう1つは新しいデータに適応するための転帰学習に焦点を当てる。以上の結果から,GTLは4つの異なるマルチモーダルデータセット間の最先端手法よりも優れた性能を示す。
論文参考訳（メタデータ） (2024-10-14T16:09:38Z)
MMP: Towards Robust Multi-Modal Learning with Masked Modality Projection [10.909746391230206]
マルチモーダル学習は、下流タスクの性能を高めるために、複数の入力源からのデータを組み合わせることを目指している。欠落したモダリティを処理できる既存の方法は、各入力モダリティの組み合わせに対するカスタムトレーニングまたは適応ステップを含む。そこで我々は,MMP (Masked Modality Projection) を提案する。
論文参考訳（メタデータ） (2024-10-03T21:41:12Z)
HyperMM : Robust Multimodal Learning with Varying-sized Inputs [4.377889826841039]
HyperMMは、さまざまなサイズの入力で学習するために設計されたエンドツーエンドフレームワークである。本稿では,条件付きハイパーネットワークを用いたユニバーサル特徴抽出器のトレーニング手法を提案する。アルツハイマー病の診断と乳癌の分類の2つの課題において,本手法の利点を実験的に実証した。
論文参考訳（メタデータ） (2024-07-30T12:13:18Z)
Missing Modality Prediction for Unpaired Multimodal Learning via Joint Embedding of Unimodal Models [6.610033827647869]
実世界のシナリオでは、完全なマルチモーダルデータを一貫して取得することは重大な課題である。これはしばしば、特定のモダリティのデータが欠落しているモダリティの問題につながる。自己教師型共同埋め込み学習手法を用いて, パラメータ効率のよい未学習モデルの微調整を行う新しいフレームワークを提案する。
論文参考訳（メタデータ） (2024-07-17T14:44:25Z)
Multimodal Prompt Learning with Missing Modalities for Sentiment Analysis and Emotion Recognition [52.522244807811894]
本稿では,欠落したモダリティの問題に対処するために,即時学習を用いた新しいマルチモーダルトランスフォーマーフレームワークを提案する。提案手法では,生成的プロンプト,欠信号プロンプト,欠信号プロンプトの3種類のプロンプトを導入している。迅速な学習を通じて、トレーニング可能なパラメータの数を大幅に削減する。
論文参考訳（メタデータ） (2024-07-07T13:55:56Z)
Combating Missing Modalities in Egocentric Videos at Test Time [92.38662956154256]
現実のアプリケーションは、プライバシの懸念、効率性の必要性、ハードウェアの問題により、不完全なモダリティを伴う問題に直面することが多い。再トレーニングを必要とせずに,テスト時にこの問題に対処する新しい手法を提案する。 MiDlは、欠落したモダリティをテスト時にのみ扱う、自己管理型のオンラインソリューションとしては初めてのものだ。
論文参考訳（メタデータ） (2024-04-23T16:01:33Z)
Borrowing Treasures from Neighbors: In-Context Learning for Multimodal Learning with Missing Modalities and Data Scarcity [9.811378971225727]
本稿では、欠落したモダリティに関する現在の研究を低データ体制に拡張する。フルモダリティデータと十分なアノテートされたトレーニングサンプルを取得することは、しばしばコストがかかる。本稿では,この2つの重要な問題に対処するために,検索強化したテキスト内学習を提案する。
論文参考訳（メタデータ） (2024-03-14T14:19:48Z)
Multimodal Representation Learning by Alternating Unimodal Adaptation [73.15829571740866]
MLA(Multimodal Learning with Alternating Unimodal Adaptation)を提案する。 MLAは、それを交互に一助学習プロセスに変換することで、従来の共同マルチモーダル学習プロセスを再構築する。共有ヘッドを通じてモーダル間相互作用をキャプチャし、異なるモーダル間で連続的な最適化を行う。実験は5つの多様なデータセットで行われ、完全なモダリティを持つシナリオと、欠落したモダリティを持つシナリオを含む。
論文参考訳（メタデータ） (2023-11-17T18:57:40Z)
MinT: Boosting Generalization in Mathematical Reasoning via Multi-View Fine-Tuning [53.90744622542961]
数学領域における推論は、小言語モデル(LM)にとって重要な課題である。多様なアノテーションスタイルで既存の数学的問題データセットを利用する新しい手法を提案する。実験結果から,LLaMA-7Bモデルが先行手法より優れていることが示された。
論文参考訳（メタデータ） (2023-07-16T05:41:53Z)
Learning Unseen Modality Interaction [54.23533023883659]
マルチモーダル学習は、すべてのモダリティの組み合わせが訓練中に利用でき、クロスモーダル対応を学ぶことを前提としている。我々は、目に見えないモダリティ相互作用の問題を提起し、第1の解を導入する。異なるモジュラリティの多次元的特徴を、豊富な情報を保存した共通空間に投影するモジュールを利用する。
論文参考訳（メタデータ） (2023-06-22T10:53:10Z)
Noise Estimation Using Density Estimation for Self-Supervised Multimodal Learning [10.151012770913624]
マルチモーダルデータに対するノイズ推定は,マルチモーダル密度推定タスクに還元可能であることを示す。我々は,我々のノイズ推定を広範に統合し,最先端の性能に匹敵する結果が得られることを実証する。
論文参考訳（メタデータ） (2020-03-06T13:25:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。