論文の概要: Dynamic Self-adaptive Multiscale Distillation from Pre-trained Multimodal Large Model for Efficient Cross-modal Representation Learning

• arxiv url: http://arxiv.org/abs/2404.10838v1
• Date: Tue, 16 Apr 2024 18:22:49 GMT
• ステータス: 処理完了
• システム内更新日: 2024-04-18 18:12:17.206922
• Title: Dynamic Self-adaptive Multiscale Distillation from Pre-trained Multimodal Large Model for Efficient Cross-modal Representation Learning
• Title（参考訳）: 効率的なクロスモーダル表現学習のための事前学習型マルチモーダル大モデルからの動的自己適応型マルチスケール蒸留
• Authors: Zhengyang Liang, Meiyu Liang, Wei Huang, Yawen Li, Zhe Xue,
• Abstract要約: 本稿では,事前学習型マルチモーダル大モデルを用いた動的自己適応型マルチスケール蒸留法を提案する。 我々の戦略は、事前訓練されたマルチモーダル大モデルから構造的知識を抽出できる、マルチスケールな視点を用いている。 提案手法は,出力特徴とオリジナル画像レベル情報のみを用いて,事前学習したマルチモーダル大規模モデルを合理化する。
• 参考スコア（独自算出の注目度）: 12.00246872965739
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In recent years, pre-trained multimodal large models have attracted widespread attention due to their outstanding performance in various multimodal applications. Nonetheless, the extensive computational resources and vast datasets required for their training present significant hurdles for deployment in environments with limited computational resources. To address this challenge, we propose a novel dynamic self-adaptive multiscale distillation from pre-trained multimodal large model for efficient cross-modal representation learning for the first time. Unlike existing distillation methods, our strategy employs a multiscale perspective, enabling the extraction structural knowledge across from the pre-trained multimodal large model. Ensuring that the student model inherits a comprehensive and nuanced understanding of the teacher knowledge. To optimize each distillation loss in a balanced and efficient manner, we propose a dynamic self-adaptive distillation loss balancer, a novel component eliminating the need for manual loss weight adjustments and dynamically balances each loss item during the distillation process. Our methodology streamlines pre-trained multimodal large models using only their output features and original image-level information, requiring minimal computational resources. This efficient approach is suited for various applications and allows the deployment of advanced multimodal technologies even in resource-limited settings. Extensive experiments has demonstrated that our method maintains high performance while significantly reducing model complexity and training costs. Moreover, our distilled student model utilizes only image-level information to achieve state-of-the-art performance on cross-modal retrieval tasks, surpassing previous methods that relied on region-level information.
• Abstract（参考訳）: 近年,様々なマルチモーダルアプリケーションの性能向上により,事前学習型マルチモーダル大型モデルが注目されている。 それでも、訓練に必要な膨大な計算リソースと膨大なデータセットは、限られた計算リソースを持つ環境に展開する上で大きなハードルとなる。 この課題に対処するため,本研究では,事前学習型マルチモーダル大規模モデルを用いた動的自己適応型マルチスケール蒸留を初めて提案する。 既存の蒸留法とは違って,本手法では,事前学習したマルチモーダル大規模モデルから構造的知識を抽出する。 生徒モデルが教師の知識の包括的かつ曖昧な理解を継承することを保証する。 本研究では, 各蒸留損失をバランスよく効率的に最適化するために, 動的自己適応型蒸留損失バランサ, 手動損失重量調整の必要性を排除し, 蒸留工程中に各損失項目を動的にバランスさせる新しい部品を提案する。 提案手法は,出力特性と画像レベルの情報のみを用いて,事前学習したマルチモーダル大規模モデルを合理化し,最小限の計算資源を必要とする。 この効率的なアプローチは様々なアプリケーションに適しており、リソース制限された設定でも高度なマルチモーダルテクノロジーをデプロイすることができる。 大規模な実験により,本手法はモデル複雑度とトレーニングコストを大幅に削減しつつ,高い性能を維持していることが示された。 さらに, 蒸留した学生モデルは, 画像レベルの情報のみを用いて, 地域レベルの情報に依存する従来の手法を超越して, クロスモーダル検索タスクにおける最先端性能を実現する。

関連論文リスト

• Modality-Balanced Learning for Multimedia Recommendation [21.772064939915214]
  本稿では,不均衡問題を解消し,全てのモダリティを最大限に活用するための対実的知識蒸留法を提案する。 また,教師からより広義の知識を習得するために,多モーダルな学生を指導するために,新たな総合的・特異な蒸留損失を設計する。 我々の手法は、遅延核融合と早期核融合の両方のバックボーンのためのプラグイン・アンド・プレイモジュールとして機能する。
  論文  参考訳（メタデータ） (2024-07-26T07:53:01Z)
• When Parameter-efficient Tuning Meets General-purpose Vision-language Models [65.19127815275307]
  PETALは、一意のモード近似技術によって達成される全パラメータの0.5%しか必要とせず、トレーニングプロセスに革命をもたらす。 実験の結果,PETALは現状の手法をほとんどのシナリオで上回るだけでなく,完全な微調整モデルよりも優れていることがわかった。
  論文  参考訳（メタデータ） (2023-12-16T17:13:08Z)
• Unified Multi-modal Unsupervised Representation Learning for Skeleton-based Action Understanding [62.70450216120704]
  教師なしの事前訓練は骨格に基づく行動理解において大きな成功を収めた。 我々はUmURLと呼ばれる統一マルチモーダル非教師なし表現学習フレームワークを提案する。 UmURLは効率的な早期融合戦略を利用して、マルチモーダル機能を単一ストリームで共同でエンコードする。
  論文  参考訳（メタデータ） (2023-11-06T13:56:57Z)
• Improving Discriminative Multi-Modal Learning with Large-Scale Pre-Trained Models [51.5543321122664]
  本稿では,大規模な事前学習型ユニモーダルモデルを用いて,識別型マルチモーダル学習を向上する方法について検討する。 MMLoRA(Multi-Modal Low-Rank Adaptation Learning)を導入する。
  論文  参考訳（メタデータ） (2023-10-08T15:01:54Z)
• VideoAdviser: Video Knowledge Distillation for Multimodal Transfer Learning [6.379202839994046]
  マルチモーダル変換学習は、様々なモーダルの事前訓練された表現を、効果的なマルチモーダル融合のための共通の領域空間に変換することを目的としている。 本稿では,マルチモーダル基本モデルから特定のモーダル基本モデルへ,マルチモーダルなプロンプトのマルチモーダルな知識を伝達するためのビデオ知識蒸留手法であるVideoAdviserを提案する。 本手法は,映像レベルの感情分析と音声視覚検索の2つの課題において評価する。
  論文  参考訳（メタデータ） (2023-09-27T08:44:04Z)
• One-stop Training of Multiple Capacity Models [74.87789190840527]
  本稿では,高容量・低容量モデルとの共同学習のためのワンストップトレーニングフレームワークを提案する。 複数のキャパシティモデルをスクラッチから個別に訓練する知識蒸留とは異なり、我々の手法は異なるキャパシティモデルからの監督を同時に統合する。
  論文  参考訳（メタデータ） (2023-05-23T13:44:09Z)
• Distilled Mid-Fusion Transformer Networks for Multi-Modal Human Activity Recognition [34.424960016807795]
  マルチモーダルなヒューマンアクティビティ認識は、補完的な情報を利用して、うまく一般化できるモデルを構築することができる。 深層学習法は有望な結果を示しており,有意な多モーダルな時空間特徴抽出の可能性は十分に検討されていない。 知識蒸留に基づくマルチモーダル・ミッドフュージョン・アプローチ(DMFT)を提案し,多モーダル・ヒューマンアクティビティ認識タスクを効率的に解決するために,情報的特徴抽出と融合を行う。
  論文  参考訳（メタデータ） (2023-05-05T19:26:06Z)
• Efficient Multimodal Fusion via Interactive Prompting [62.08292938484994]
  大規模事前学習は、コンピュータビジョンや自然言語処理のような一助的な分野を新しい時代にもたらした。 本稿では,一様事前学習型変圧器の融合に適した効率的かつ柔軟な多モード融合法PMFを提案する。
  論文  参考訳（メタデータ） (2023-04-13T07:31:51Z)
• Effective Adaptation in Multi-Task Co-Training for Unified Autonomous Driving [103.745551954983]
  本稿では,3つの下流タスクにおけるMoCoやSimCLRなど,多種多様な自己監督手法の転送性能について検討する。 彼らのパフォーマンスは、サブ最適か、あるいはシングルタスクベースラインよりもはるかに遅れていることに気付きました。 汎用マルチタスクトレーニングのための,単純かつ効果的な事前訓練-適応-ファインチューンパラダイムを提案する。
  論文  参考訳（メタデータ） (2022-09-19T12:15:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。