論文の概要: Advances in Multimodal Adaptation and Generalization: From Traditional Approaches to Foundation Models

• arxiv url: http://arxiv.org/abs/2501.18592v3
• Date: Mon, 17 Feb 2025 16:54:39 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-18 14:07:11.355505
• Title: Advances in Multimodal Adaptation and Generalization: From Traditional Approaches to Foundation Models
• Title（参考訳）: マルチモーダル適応と一般化の進歩:伝統的アプローチから基礎モデルへ
• Authors: Hao Dong, Moru Liu, Kaiyang Zhou, Eleni Chatzi, Juho Kannala, Cyrill Stachniss, Olga Fink,
• Abstract要約: この調査は、従来のアプローチから基礎モデルへの進歩に関する、初めての包括的なレビューを提供する。 1)マルチモーダルドメイン適応,(2)マルチモーダルテスト時間適応,(3)マルチモーダルドメイン一般化,(4)マルチモーダルファンデーションモデルの助けを借りたドメイン適応と一般化,(5)マルチモーダルファンデーションモデルの適応。
• 参考スコア（独自算出の注目度）: 43.5468667825864
• License:
• Abstract: In real-world scenarios, achieving domain adaptation and generalization poses significant challenges, as models must adapt to or generalize across unknown target distributions. Extending these capabilities to unseen multimodal distributions, i.e., multimodal domain adaptation and generalization, is even more challenging due to the distinct characteristics of different modalities. Significant progress has been made over the years, with applications ranging from action recognition to semantic segmentation. Besides, the recent advent of large-scale pre-trained multimodal foundation models, such as CLIP, has inspired works leveraging these models to enhance adaptation and generalization performances or adapting them to downstream tasks. This survey provides the first comprehensive review of recent advances from traditional approaches to foundation models, covering: (1) Multimodal domain adaptation; (2) Multimodal test-time adaptation; (3) Multimodal domain generalization; (4) Domain adaptation and generalization with the help of multimodal foundation models; and (5) Adaptation of multimodal foundation models. For each topic, we formally define the problem and thoroughly review existing methods. Additionally, we analyze relevant datasets and applications, highlighting open challenges and potential future research directions. We maintain an active repository that contains up-to-date literature at https://github.com/donghao51/Awesome-Multimodal-Adaptation.
• Abstract（参考訳）: 実世界のシナリオでは、モデルが未知のターゲット分布に適応または一般化する必要があるため、ドメイン適応と一般化を達成することが大きな課題となる。 これらの機能をマルチモーダル分布、すなわちマルチモーダル領域適応と一般化に拡張することは、異なるモーダルの異なる性質のためにさらに困難である。 アクション認識からセマンティックセグメンテーションまで、何年にもわたって大きな進歩を遂げてきた。 さらに、CLIPのような大規模で事前訓練されたマルチモーダル基盤モデルの出現は、これらのモデルを活用して適応性と一般化性能を高めたり、下流タスクに適応させたりする作業にインスピレーションを与えている。 本調査は,(1)多モーダルドメイン適応,(2)多モーダルテスト時間適応,(3)多モーダルドメイン一般化,(4)多モーダルファンデーションモデルの助けを借りたドメイン適応と一般化,(5)多モーダルファンデーションモデルの適応といった,従来のアプローチから基礎モデルへの最近の進歩を包括的に概観するものである。 各トピックについて、問題を正式に定義し、既存のメソッドを徹底的にレビューする。 さらに、関連するデータセットやアプリケーションを分析し、オープンな課題と今後の研究方向性を強調します。 我々は、https://github.com/donghao51/Awesome-Multimodal-Adaptation.comで最新の文献を含むアクティブリポジトリを維持しています。

関連論文リスト

• QARM: Quantitative Alignment Multi-Modal Recommendation at Kuaishou [23.818456863262494]
  異なる下流モデルに対して、専門的で訓練可能なマルチモーダル情報をカスタマイズするための定量的なマルチモーダルフレームワークを導入する。 ダウンストリームタスクの利用における2つの難題に着想を得て、異なるダウンストリームモデルに対して、専門的で訓練可能なマルチモーダル情報をカスタマイズする定量的なマルチモーダルフレームワークを導入する。
  論文  参考訳（メタデータ） (2024-11-18T17:08:35Z)
• A Practitioner's Guide to Continual Multimodal Pretraining [83.63894495064855]
  マルチモーダル・ファンデーション・モデルは視覚と言語を交わす多くのアプリケーションに役立っている。 モデルを更新し続けるために、継続事前トレーニングの研究は主に、大規模な新しいデータに対する頻度の低い、差別的な更新、あるいは頻繁に行われるサンプルレベルの更新のシナリオを探求する。 本稿では,FoMo-in-Flux(FoMo-in-Flux)について紹介する。
  論文  参考訳（メタデータ） (2024-08-26T17:59:01Z)
• HEMM: Holistic Evaluation of Multimodal Foundation Models [91.60364024897653]
  マルチモーダル・ファンデーション・モデルは、画像、ビデオ、オーディオ、その他の知覚モダリティと共にテキストをホリスティックに処理することができる。 モデリング決定、タスク、ドメインの範囲を考えると、マルチモーダル基盤モデルの進歩を特徴づけ、研究することは困難である。
  論文  参考訳（メタデータ） (2024-07-03T18:00:48Z)
• Towards Multimodal Open-Set Domain Generalization and Adaptation through Self-supervision [9.03028904066824]
  本稿では,マルチモーダルなオープンセット・ドメイン・ジェネリゼーションを実現するための新しいアプローチを提案する。 本稿では,マルチモーダルな自己教師型プリテキストタスクであるMasked Cross-modal TranslationとMultimodal Jigsaw Puzzlesを提案する。 我々は、特に対象ドメインからのラベルなしデータが利用可能なシナリオにおいて、マルチモーダルなオープンセットドメイン適応問題にも取り組みます。
  論文  参考訳（メタデータ） (2024-07-01T17:59:09Z)
• U3M: Unbiased Multiscale Modal Fusion Model for Multimodal Semantic Segmentation [63.31007867379312]
  U3M: An Unbiased Multiscale Modal Fusion Model for Multimodal Semanticsを紹介する。 我々は,グローバルな特徴とローカルな特徴の効果的な抽出と統合を保証するために,複数のスケールで機能融合を採用している。 実験により,本手法は複数のデータセットにまたがって優れた性能を発揮することが示された。
  論文  参考訳（メタデータ） (2024-05-24T08:58:48Z)
• Sequential Compositional Generalization in Multimodal Models [23.52949473093583]
  我々は,複数の一様モデルと多様モデルの総合的な評価を行う。 以上の結果から,バイモーダルモデルとトリモーダルモデルでは,テキストのみに比較して明確なエッジがみられた。
  論文  参考訳（メタデータ） (2024-04-18T09:04:15Z)
• MMA-DFER: MultiModal Adaptation of unimodal models for Dynamic Facial Expression Recognition in-the-wild [81.32127423981426]
  実世界のアプリケーションでは,音声およびビデオデータに基づくマルチモーダル感情認識が重要である。 近年の手法は、強力なマルチモーダルエンコーダの事前学習に自己教師付き学習(SSL)の進歩を活用することに重点を置いている。 SSL-pre-trained disimodal encoders を用いて,この問題に対する異なる視点とマルチモーダル DFER の性能向上について検討する。
  論文  参考訳（メタデータ） (2024-04-13T13:39:26Z)
• Few-shot Adaptation of Multi-modal Foundation Models: A Survey [9.579784268228968]
  CLIPのようなマルチモーダル(ヴィジュアル言語)モデルは、従来の教師付き事前訓練モデルを置き換える。 医療画像やリモートセンシングのような細かな領域では、マルチモーダル基盤モデルの性能が望まれることが多い。 マルチモーダルモデルのための数ショット適応法における研究の進歩を紹介し,分析する。
  論文  参考訳（メタデータ） (2024-01-03T13:19:14Z)
• SimMMDG: A Simple and Effective Framework for Multi-modal Domain Generalization [13.456240733175767]
  SimMMDGは、マルチモーダルシナリオにおけるドメインの一般化を実現する上での課題を克服するためのフレームワークである。 我々は,共同性を確保し,距離制約を課すために,モダリティ共有特徴に対する教師付きコントラスト学習を採用する。 本研究では,EPIC-KitchensデータセットとHuman-Animal-CartoonデータセットのマルチモーダルDGにおいて,理論的に支持され,高い性能を実現している。
  論文  参考訳（メタデータ） (2023-10-30T17:58:09Z)
• NormAUG: Normalization-guided Augmentation for Domain Generalization [60.159546669021346]
  ディープラーニングのためのNormAUG(Normalization-guided Augmentation)と呼ばれるシンプルで効果的な手法を提案する。 本手法は特徴レベルで多様な情報を導入し,主経路の一般化を改善する。 テスト段階では、アンサンブル戦略を利用して、モデルの補助経路からの予測を組み合わせ、さらなる性能向上を図る。
  論文  参考訳（メタデータ） (2023-07-25T13:35:45Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。