論文の概要: When Parameter-efficient Tuning Meets General-purpose Vision-language Models

• arxiv url: http://arxiv.org/abs/2312.12458v1
• Date: Sat, 16 Dec 2023 17:13:08 GMT
• ステータス: 処理完了
• システム内更新日: 2023-12-21 18:39:12.568177
• Title: When Parameter-efficient Tuning Meets General-purpose Vision-language Models
• Title（参考訳）: 汎用視覚言語モデルを用いたパラメータ効率チューニング
• Authors: Yihang Zhai, Haixin Wang, Jianlong Chang, Xinlong Yang, Jinan Sun, Shikun Zhang, Qi Tian
• Abstract要約: PETALは、一意のモード近似技術によって達成される全パラメータの0.5%しか必要とせず、トレーニングプロセスに革命をもたらす。 実験の結果,PETALは現状の手法をほとんどのシナリオで上回るだけでなく,完全な微調整モデルよりも優れていることがわかった。
• 参考スコア（独自算出の注目度）: 65.19127815275307
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Instruction tuning has shown promising potential for developing general-purpose AI capabilities by using large-scale pre-trained models and boosts growing research to integrate multimodal information for creative applications. However, existing works still face two main limitations: the high training costs and heavy computing resource dependence of full model fine-tuning, and the lack of semantic information in instructions, which hinders multimodal alignment. Addressing these challenges, this paper proposes a novel approach to utilize Parameter-Efficient Tuning for generAl-purpose vision-Language models, namely PETAL. PETAL revolutionizes the training process by requiring only 0.5% of the total parameters, achieved through a unique mode approximation technique, which significantly reduces the training costs and reliance on heavy computing resources. Furthermore, PETAL enhances the semantic depth of instructions in two innovative ways: 1) by introducing adaptive instruction mixture-of-experts(MOEs), and 2) by fortifying the score-based linkage between parameter-efficient tuning and mutual information. Our extensive experiments across five multimodal downstream benchmarks reveal that PETAL not only outperforms current state-of-the-art methods in most scenarios but also surpasses full fine-tuning models in effectiveness. Additionally, our approach demonstrates remarkable advantages in few-shot settings, backed by comprehensive visualization analyses. Our source code is available at: https://github. com/melonking32/PETAL.
• Abstract（参考訳）: インストラクションチューニングは、大規模な事前学習モデルを使用することで、汎用AI機能を開発する上で有望な可能性を示し、創造的なアプリケーションにマルチモーダル情報を統合するために、成長する研究を促進する。 しかし、既存の作品にはまだ2つの大きな制限がある: トレーニングコストの高さと、フルモデルの微調整の重い計算リソース依存、そして命令における意味情報の欠如であり、マルチモーダルアライメントを妨げる。 そこで本稿では,汎用視覚言語モデルであるペタルに対してパラメータ効率の良いチューニングを行うための新しい手法を提案する。 PETALは、トレーニングコストと重コンピューティングリソースへの依存を著しく低減するユニークなモード近似技術によって達成される全パラメータの0.5%しか必要とせず、トレーニングプロセスに革命をもたらす。 さらにPETALは2つの革新的な方法で命令の意味深度を高める。 1) 適応型命令混合法(moes)を導入することで 2) パラメータ効率調整と相互情報とのスコアベースリンクを強化した。 5つのマルチモーダルダウンストリームベンチマークの広範な実験により、PETALは現在の最先端の手法をほとんどのシナリオで上回るだけでなく、完全な微調整モデルよりも有効であることがわかった。 さらに本手法は,包括的可視化分析を背景として,数ショット設定で顕著な優位性を示す。 私たちのソースコードは以下の通りです。 melonking32/petal.com/melonking32/petal.comの略。

関連論文リスト

• M$^2$PT: Multimodal Prompt Tuning for Zero-shot Instruction Learning [90.75075886543404]
  MLLM(Multimodal Large Language Models)は、幅広い領域にわたる顕著なパフォーマンスを示す。 本研究では,MLLMの効率的な命令チューニングのための新しいMultimodal Prompt Tuning (M$2$PT) 手法を提案する。
  論文  参考訳（メタデータ） (2024-09-24T01:40:24Z)
• Denoising Pre-Training and Customized Prompt Learning for Efficient Multi-Behavior Sequential Recommendation [69.60321475454843]
  マルチビヘイビアシークエンシャルレコメンデーションに適した,最初の事前学習および迅速な学習パラダイムであるDPCPLを提案する。 事前学習段階において,複数の時間スケールでノイズを除去する新しい行動マイナ (EBM) を提案する。 次に,提案するCustomized Prompt Learning (CPL)モジュールを用いて,事前学習したモデルを高効率にチューニングすることを提案する。
  論文  参考訳（メタデータ） (2024-08-21T06:48:38Z)
• Dynamic Self-adaptive Multiscale Distillation from Pre-trained Multimodal Large Model for Efficient Cross-modal Representation Learning [12.00246872965739]
  本稿では,事前学習型マルチモーダル大モデルを用いた動的自己適応型マルチスケール蒸留法を提案する。 我々の戦略は、事前訓練されたマルチモーダル大モデルから構造的知識を抽出できる、マルチスケールな視点を用いている。 提案手法は,出力特徴とオリジナル画像レベル情報のみを用いて,事前学習したマルチモーダル大規模モデルを合理化する。
  論文  参考訳（メタデータ） (2024-04-16T18:22:49Z)
• Intuition-aware Mixture-of-Rank-1-Experts for Parameter Efficient Finetuning [50.73666458313015]
  大規模言語モデル(LLM)はマルチメディアアプリケーションで複数のタスクを実行する上で大きな可能性を証明している。 MoEは、効率的なタスクデカップリングのためのスパースアーキテクチャによる有望なソリューションとして登場した。 Intuition-MoR1Eは14のパブリックデータセットで優れた効率と2.15%の全体的な精度向上を実現している。
  論文  参考訳（メタデータ） (2024-04-13T12:14:58Z)
• Boosting Continual Learning of Vision-Language Models via Mixture-of-Experts Adapters [65.15700861265432]
  本稿では,視覚言語モデルを用いた漸進的学習における長期的忘れを緩和するパラメータ効率の連続学習フレームワークを提案する。 提案手法では,Mixture-of-Experts (MoE)アダプタの統合により,事前学習したCLIPモデルの動的拡張を行う。 視覚言語モデルのゼロショット認識能力を維持するために,分布判別オートセレクタを提案する。
  論文  参考訳（メタデータ） (2024-03-18T08:00:23Z)
• Learning Semantic Proxies from Visual Prompts for Parameter-Efficient Fine-Tuning in Deep Metric Learning [13.964106147449051]
  既存のソリューションは、既存の画像データセット上でトレーニング済みのモデルを微調整することに集中している。 我々は、事前学習された視覚変換器(ViT)における視覚プロンプト(VPT)の学習に基づく、新しい効果的なフレームワークを提案する。 セマンティック情報を用いた新しい近似が代表的能力よりも優れていることを示す。
  論文  参考訳（メタデータ） (2024-02-04T04:42:05Z)
• What Makes for Robust Multi-Modal Models in the Face of Missing Modalities? [35.19295402483624]
  我々は、情報理論の観点から、欠落するモダリティに遭遇するマルチモーダルモデルのシナリオをモデル化する。 UME-MMA(Uni-Modal Ensemble with Missing Modality Adaptation)を紹介する。 UME-MMAは、マルチモーダルモデルのための一様事前訓練重みを用いて特徴抽出を強化し、欠落したモダリティデータ拡張技術を用いて、モダリティのない状況に適応する。
  論文  参考訳（メタデータ） (2023-10-10T07:47:57Z)
• Scaling Pre-trained Language Models to Deeper via Parameter-efficient Architecture [68.13678918660872]
  行列積演算子(MPO)に基づくより有能なパラメータ共有アーキテクチャを設計する。 MPO分解はパラメータ行列の情報を再編成し、2つの部分に分解することができる。 私たちのアーキテクチャは、モデルのサイズを減らすために、すべてのレイヤで中央テンソルを共有しています。
  論文  参考訳（メタデータ） (2023-03-27T02:34:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。