論文の概要: Reconstruct before Query: Continual Missing Modality Learning with Decomposed Prompt Collaboration

• arxiv url: http://arxiv.org/abs/2403.11373v1
• Date: Sun, 17 Mar 2024 23:44:20 GMT
• ステータス: 処理完了
• システム内更新日: 2024-03-19 17:07:30.163122
• Title: Reconstruct before Query: Continual Missing Modality Learning with Decomposed Prompt Collaboration
• Title（参考訳）: クエリ前のリコンストラクション: 分割されたプロンプトコラボレーションによる継続的欠落のモダリティ学習
• Authors: Shu Zhao, Xiaohan Zou, Tan Yu, Huijuan Xu,
• Abstract要約: 本研究では,連続的な微調整中に特定のモダリティのデータが欠落した場合にモデルがどのように一般化できるかを検討するために,CMML(Continuous Missing Modality Learning)という新しいタスクを導入する。 Reconstruct before Query(RebQ)と呼ばれるフレームワークを考案し、プロンプトをモダリティ固有のものに分解し、それらをプールに格納されたコンポーネントに分解する。 我々の枠組みは、欠落したモダリティ情報を効果的に再構築し、事前学習された知識を保持する。
• 参考スコア（独自算出の注目度）: 23.03843255928829
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Pre-trained large multi-modal models (LMMs) exploit fine-tuning to adapt diverse user applications. Nevertheless, fine-tuning may face challenges due to deactivated sensors (e.g., cameras turned off for privacy or technical issues), yielding modality-incomplete data and leading to inconsistency in training data and the data for inference. Additionally, continuous training leads to catastrophic forgetting, diluting the knowledge in pre-trained LMMs. To overcome these challenges, we introduce a novel task, Continual Missing Modality Learning (CMML), to investigate how models can generalize when data of certain modalities is missing during continual fine-tuning. Our preliminary benchmarks reveal that existing methods suffer from a significant performance drop in CMML, even with the aid of advanced continual learning techniques. Therefore, we devise a framework termed Reconstruct before Query (RebQ). It decomposes prompts into modality-specific ones and breaks them into components stored in pools accessible via a key-query mechanism, which facilitates ParameterEfficient Fine-Tuning and enhances knowledge transferability for subsequent tasks. Meanwhile, our RebQ leverages extensive multi-modal knowledge from pre-trained LMMs to reconstruct the data of missing modality. Comprehensive experiments demonstrate that RebQ effectively reconstructs the missing modality information and retains pre-trained knowledge. Specifically, compared with the baseline, RebQ improves average precision from 20.00 to 50.92 and decreases average forgetting from 75.95 to 8.56. Code and datasets are available on https://github.com/Tree-Shu-Zhao/RebQ.pytorch
• Abstract（参考訳）: 事前訓練された大型マルチモーダルモデル(LMM)は、様々なユーザーアプリケーションに適応するために微調整を利用する。 それでも、微調整は、非活性化センサー(例えば、プライバシや技術的な問題のためにカメラがオフになったり、モダリティ不完全なデータを生成したり、データと推論のためのデータの一貫性を損なう可能性がある。 さらに、継続的なトレーニングは破滅的な忘れを招き、事前訓練されたLMMにおける知識を希薄化する。 これらの課題を克服するために、連続的な微調整中に特定のモダリティのデータが欠落した場合にモデルがどのように一般化できるかを検討するために、CMML(Continuous Missing Modality Learning)という新しいタスクを導入する。 予備ベンチマークの結果,従来の手法は高度な連続学習技術を用いても,CMMLの性能低下に悩まされていることが明らかとなった。 そのため、クエリ(RebQ)の前にReconstructと呼ばれるフレームワークを考案する。 プロンプトをモダリティ固有のものに分解し、キークエリ機構を通じてアクセス可能なプールに格納されたコンポーネントに分解する。 一方、我々のRebQは、事前訓練されたLMMからの広範なマルチモーダル知識を利用して、欠落したモダリティのデータを再構築する。 総合的な実験により、RebQは欠落したモダリティ情報を効果的に再構築し、事前訓練された知識を保持することを示した。 具体的には、ベースラインと比較して、RebQは平均精度を20.00から50.92に改善し、平均忘れ度を75.95から8.56に下げる。 コードとデータセットはhttps://github.com/Tree-Shu-Zhao/RebQ.pytorchで入手できる。

関連論文リスト

• What Do Learning Dynamics Reveal About Generalization in LLM Reasoning? [83.83230167222852]
  モデルの一般化動作は,事前記憶列車の精度と呼ばれるトレーニング指標によって効果的に特徴づけられることがわかった。 モデルの学習行動と一般化を結びつけることで、トレーニング戦略に目標とする改善を導くことができる。
  論文  参考訳（メタデータ） (2024-11-12T09:52:40Z)
• Beyond Prompt Learning: Continual Adapter for Efficient Rehearsal-Free Continual Learning [22.13331870720021]
  C-ADA (Continuous Adapter) という,RFCL タスクに対する超高速学習手法を提案する。 C-ADAは、CALの特定の重みを柔軟に拡張し、各タスクの新たな知識を学び、古い重みを凍結して以前の知識を保存する。 提案手法は,現状のSOTA(State-of-the-art)法よりも優れ,性能とトレーニング速度を大幅に向上させる。
  論文  参考訳（メタデータ） (2024-07-14T17:40:40Z)
• Combating Missing Modalities in Egocentric Videos at Test Time [92.38662956154256]
  現実のアプリケーションは、プライバシの懸念、効率性の必要性、ハードウェアの問題により、不完全なモダリティを伴う問題に直面することが多い。 再トレーニングを必要とせずに,テスト時にこの問題に対処する新しい手法を提案する。 MiDlは、欠落したモダリティをテスト時にのみ扱う、自己管理型のオンラインソリューションとしては初めてのものだ。
  論文  参考訳（メタデータ） (2024-04-23T16:01:33Z)
• Enhancing Consistency and Mitigating Bias: A Data Replay Approach for Incremental Learning [100.7407460674153]
  ディープラーニングシステムは、一連のタスクから学ぶとき、破滅的な忘れがちだ。 問題を緩和するため、新しいタスクを学ぶ際に経験豊富なタスクのデータを再生する手法が提案されている。 しかし、メモリ制約やデータプライバシーの問題を考慮すると、実際には期待できない。 代替として、分類モデルからサンプルを反転させることにより、データフリーなデータ再生法を提案する。
  論文  参考訳（メタデータ） (2024-01-12T12:51:12Z)
• Zero-shot Retrieval: Augmenting Pre-trained Models with Search Engines [83.65380507372483]
  大規模で事前訓練されたモデルは、問題を解決するのに必要なタスク固有のデータの量を劇的に削減するが、多くの場合、ドメイン固有のニュアンスを箱から取り出すのに失敗する。 本稿では,NLPとマルチモーダル学習の最近の進歩を活用して,検索エンジン検索による事前学習モデルを強化する方法について述べる。
  論文  参考訳（メタデータ） (2023-11-29T05:33:28Z)
• Towards Robust Continual Learning with Bayesian Adaptive Moment Regularization [51.34904967046097]
  継続的な学習は、モデルが以前に学習した情報を忘れてしまう破滅的な忘れ込みの課題を克服しようとする。 本稿では,パラメータ成長の制約を緩和し,破滅的な忘れを減らし,新しい事前手法を提案する。 以上の結果から, BAdamは, 単頭クラスインクリメンタル実験に挑戦する先行手法に対して, 最先端の性能を達成できることが示唆された。
  論文  参考訳（メタデータ） (2023-09-15T17:10:51Z)
• Retrieval-Enhanced Contrastive Vision-Text Models [61.783728119255365]
  そこで本研究では,メモリから取得したクロスモーダルな情報を推論時に表現することで,その埋め込みを洗練できる視覚テキストモデルを提案する。 注目すべきことに、これは凍ったCLIPの上に軽量の単層核融合トランスを用いて行うことができる。 検索強化コントラスト訓練(RECO)がCLIPの性能を大幅に向上することを示す。
  論文  参考訳（メタデータ） (2023-06-12T15:52:02Z)
• Dissecting Continual Learning a Structural and Data Analysis [0.0]
  連続学習(Continuous Learning)は、生涯学習が可能なアルゴリズムを考案するための分野である。 ディープラーニングの手法は、モデル化されたデータがその後の学習セッションでかなりの分散シフトを受けていない場合、印象的な結果が得られる。 このようなシステムをこのインクリメンタルな設定に公開すると、パフォーマンスは急速に低下します。
  論文  参考訳（メタデータ） (2023-01-03T10:37:11Z)
• NeXtQSM -- A complete deep learning pipeline for data-consistent quantitative susceptibility mapping trained with hybrid data [5.269862805851265]
  現在のディープラーニングアプローチの多くは、データの一貫性がなく、インビボのトレーニングデータを必要とするか、連続的なステップでQSM問題を解くことでエラーの伝播につながる。 ここでは、これらの制限を克服し、QSM処理ステップを共同で解決するためのフレームワークを開発する。 NeXtQSMは、定量的サセプティビリティマップを計算するための新しいディープラーニングベースのパイプラインを提供し、各処理ステップをトレーニングに統合し、堅牢で高速な結果を提供する。
  論文  参考訳（メタデータ） (2021-07-16T08:07:22Z)
• Generative Feature Replay with Orthogonal Weight Modification for Continual Learning [20.8966035274874]
  生成的再生は、破滅的な忘れを和らげるために、以前のタスクの擬似データを生成し再生する有望な戦略である。 生成モデルを用いて垂直層の特徴を再現することを提案する; 2) 自己監督型補助タスクを活用して特徴の安定性をさらに向上する。 いくつかのデータセットにおける実験結果から,我々の手法は常に強力なOWMよりも大幅に改善されていることが分かる。
  論文  参考訳（メタデータ） (2020-05-07T13:56:22Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。