論文の概要: AOEPT: Breaking the Implicit Modality-Reduction Bottleneck in Modality-Missing Prompt Tuning

• arxiv url: http://arxiv.org/abs/2605.24816v1
• Date: Sun, 24 May 2026 02:04:44 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-26 19:50:18.462042
• Title: AOEPT: Breaking the Implicit Modality-Reduction Bottleneck in Modality-Missing Prompt Tuning
• Title（参考訳）: AOEPT: Modality-Missing Prompt Tuningにおける不必要なModality-Reduction Bottleneckの破壊
• Authors: Jian Lang, Rongpei Hong, Ting Zhong, Fan Zhou,
• Abstract要約: トレーニングデータからグローバルなモダリティの優先順位を抽出するModal-Conized Prompts(MCPs)を紹介する。 MCPはインスタンス認識プロンプトにインスタンス化され、各サンプルの欠落モード情報を選択的に増強する。 様々なマルチモーダルベンチマークとバックボーンの実験により、AOEPTの強い性能が確認された。
• 参考スコア（独自算出の注目度）: 31.85657641403499
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Deploying multimodal systems in real-world environments often entails handling modality-missing scenarios, where one or more modalities are unavailable. While recent studies address this challenge for the general Multimodal Transformer (MT) architecture via prompt tuning, we identify a fundamental limitation in these methods: the Implicit Modality-Reduction bottleneck. By conditioning prompts solely on the observed modalities, they inadvertently restrict the reasoning scope of MTs to the modality-reduced subspace, cutting off access to the latent information sources of the missing modalities. To overcome this limitation, we propose AOEPT, which pioneers a novel modal-contextualized prompting fashion. Specifically, we introduce lightweight Modal-Contextualized Prompts (MCPs) that distill global modality-wise priors from training data, serving as latent repositories of the information sources for missing modalities. Conditioned on the remaining modalities, these MCPs are instantiated into instance-aware prompts that selectively augment missing-modality information for each sample, thereby restoring the reasoning scope of MTs beyond the observed-modality-only subspace. Experiments across various multimodal benchmarks and backbones confirm the strong performance of AOEPT, with minimal computational overhead.
• Abstract（参考訳）: 実世界の環境にマルチモーダルシステムを展開するには、1つ以上のモダリティが利用できないような、モダリティを欠くシナリオを扱う必要がある。 近年の研究では、インプットチューニングによる汎用マルチモーダルトランスフォーマー(MT)アーキテクチャの課題に対処しているが、これらの手法の基本的な制限は、Implicit Modality-Reductionのボトルネックである。 観測されたモダリティのみを条件付けすることで、MTの推論範囲を不注意にモダリティ還元部分空間に制限し、欠落したモダリティの潜伏情報ソースへのアクセスを遮断する。 この制限を克服するために,新しいモーダル・コンテクスチュアライズド・プロンプト・ファッションの先駆者であるAOEPTを提案する。 具体的には、トレーニングデータからグローバルなモダリティの優先順位を抽出する軽量なモダリティ対応プロンプト(MCP)を導入し、欠落したモダリティのための情報ソースの潜在リポジトリとして機能する。 残りのモダリティを条件に、これらのMPPはインスタンス認識プロンプトにインスタンス化され、各サンプルの欠測モダリティ情報を選択的に増強し、MTの推論範囲を観測モダリティのみのサブスペースを超えて復元する。 様々なマルチモーダルベンチマークとバックボーンの実験により、計算オーバーヘッドが最小限であるAOEPTの強い性能が確認された。

関連論文リスト

• LIMSSR: LLM-Driven Sequence-to-Score Reasoning under Training-Time Incomplete Multimodal Observations [53.20772659095155]
  本稿では、トレーニング時不完全観察において、より困難なIMLの設定に取り組む。 本稿では,この課題を条件付きシーケンス推論タスクとして再構成したLIMSSR(LLM-Driven Incomplete Multimodal Sequence-to-Score Reasoning)を提案する。
  論文  参考訳（メタデータ） (2026-05-01T06:11:42Z)
• Evaluation Before Generation: A Paradigm for Robust Multimodal Sentiment Analysis with Missing Modalities [21.767502810187477]
  モダリティの欠如は、マルチモーダルな感情分析において根本的な課題となる。 既存のアプローチは主に、素早い学習と事前訓練されたモデルを通じて堅牢性を改善する。 Promptベースのミスモダリティ適応フレームワークがこれらの問題に対処するために提案されている。
  論文  参考訳（メタデータ） (2026-04-07T07:59:06Z)
• Beyond Unimodal Shortcuts: MLLMs as Cross-Modal Reasoners for Grounded Named Entity Recognition [51.68340973140949]
  GMNER(Multimodal Named Entity Recognition)は、テキストベースのエンティティを抽出し、セマンティックカテゴリを割り当て、それらを対応する視覚領域に接地することを目的としている。 MLLMは、視覚バイアスやテキストバイアスを含む$textbfmodality bias$を示す。 本稿では,モダリティを考慮した一貫性推論(bfMCR$)を提案する。
  論文  参考訳（メタデータ） (2026-02-04T12:12:49Z)
• PROMISE: Prompt-Attentive Hierarchical Contrastive Learning for Robust Cross-Modal Representation with Missing Modalities [16.291126782001935]
  本稿では,不備なモダリティ下でのロバストなクロスモーダル表現のためのPROMISEという新しいフレームワークを提案する。 ProMISEはマルチモーダル・プロンプト・ラーニングを階層的なコントラスト・ラーニング・フレームワークに組み込んでおり、特別に設計されたプロンプト・アテンション・メカニズムを備えている。 ベンチマークデータセットを用いて行った実験は、包括的なアブレーション研究とともに、現在の最先端マルチモーダル手法と比較して、ProMISEの優れた性能を明らかに示している。
  論文  参考訳（メタデータ） (2025-11-14T06:39:24Z)
• I$^3$-MRec: Invariant Learning with Information Bottleneck for Incomplete Modality Recommendation [56.55935146424585]
  textbfIncomplete textbfModality textbfRecommendation の textbfInformation ボトルネック原理を用いて学習する textbfI$3$-MRec を紹介する。 それぞれのモダリティを異なる意味環境として扱うことで、I$3$-MRecは、優先指向の表現を学習するために不変リスク最小化(IRM)を採用する。 I$3$-MRecは、様々なモダリティ欠落シナリオにおいて、既存の最先端MSSメソッドを一貫して上回る
  論文  参考訳（メタデータ） (2025-08-06T09:29:50Z)
• Retrieval-Augmented Dynamic Prompt Tuning for Incomplete Multimodal Learning [27.867369806400834]
  本稿では,Retrieval-AuGmented Dynamic Prompt TuningフレームワークであるRAGPTを提案する。 RAGPTは、(I)マルチチャネルレトリバー、(II)モダリティ生成器、(III)コンテキスト認識プロンプトの3つのモジュールから構成される。 3つの実世界のデータセットで実施された実験によると、RAGPTは不完全なモダリティ問題に対処する際の全ての競争ベースラインを一貫して上回っている。
  論文  参考訳（メタデータ） (2025-01-02T07:39:48Z)
• Towards Modality Generalization: A Benchmark and Prospective Analysis [68.20973671493203]
  本稿では,モダリティ・ジェネリゼーション(MG)について述べる。 マルチモーダルアルゴリズムを特徴とする包括的ベンチマークを提案し,一般化に着目した既存手法を適用した。 私たちの研究は、堅牢で適応可能なマルチモーダルモデルを進化させる基盤を提供し、現実的なシナリオで目に見えないモダリティを扱えるようにします。
  論文  参考訳（メタデータ） (2024-12-24T08:38:35Z)
• Enhancing Unimodal Latent Representations in Multimodal VAEs through Iterative Amortized Inference [20.761803725098005]
  マルチモーダル変分オートエンコーダ(VAE)は、異なるデータモダリティからの情報を統合することで、共有潜在表現をキャプチャすることを目的としている。 重要な課題は、あらゆる可能なモダリティの組み合わせに対して、非現実的な数の推論ネットワークを訓練することなく、任意のモダリティのサブセットから正確に表現を推論することである。 本稿では,マルチモーダルVAEフレームワーク内での反復的改善機構であるマルチモーダル反復補正推論を導入する。
  論文  参考訳（メタデータ） (2024-10-15T08:49:38Z)
• Missing Modality Prediction for Unpaired Multimodal Learning via Joint Embedding of Unimodal Models [6.610033827647869]
  実世界のシナリオでは、完全なマルチモーダルデータを一貫して取得することは重大な課題である。 これはしばしば、特定のモダリティのデータが欠落しているモダリティの問題につながる。 自己教師型共同埋め込み学習手法を用いて, パラメータ効率のよい未学習モデルの微調整を行う新しいフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-07-17T14:44:25Z)
• Exploiting modality-invariant feature for robust multimodal emotion recognition with missing modalities [76.08541852988536]
  我々は、欠落したモダリティ・イマジネーション・ネットワーク(IF-MMIN)に不変な特徴を用いることを提案する。 提案モデルは,不確実なモダリティ条件下で,すべてのベースラインを上回り,全体の感情認識性能を不変に向上することを示す。
  論文  参考訳（メタデータ） (2022-10-27T12:16:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。