論文の概要: MAO: Efficient Model-Agnostic Optimization of Prompt Tuning for Vision-Language Models

• arxiv url: http://arxiv.org/abs/2503.18160v1
• Date: Sun, 23 Mar 2025 17:59:33 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-25 14:34:10.353949
• Title: MAO: Efficient Model-Agnostic Optimization of Prompt Tuning for Vision-Language Models
• Title（参考訳）: MAO:視覚言語モデルのためのプロンプトチューニングの効率的なモデル非依存最適化
• Authors: Haoyang Li, Siyu Zhou, Liang Wang, Guodong Long,
• Abstract要約: 即時チューニングのためのモデル非依存最適化(MAO)を提案する。 データ駆動型拡張フレームワークを導入し、初期データの分散を最適化する。 タスク固有の機能処理パイプラインを強化するために、Alterable Regularizationモジュールを組み込んだ。
• 参考スコア（独自算出の注目度）: 37.85176585188362
• License:
• Abstract: Though CLIP-based prompt tuning significantly enhances pre-trained Vision-Language Models, existing research focuses on reconstructing the model architecture, e.g., additional loss calculation and meta-networks. These approaches generally lead to increased complexity and extended training cost. To maintain the efficiency of the tuning process, we propose plug-and-play Model-Agnostic Optimization (MAO) for prompt tuning. Without altering any components of the prompt tuning backbone, we introduce a Data-Driven Enhancement framework to optimize the distribution of the initial data, and incorporate an Alterable Regularization module to boost the task-specific feature processing pipeline, thereby improving overall performance while maintaining low computational cost. Extensive experiments on MAO demonstrate its outstanding performance and efficiency. The code of MAO is available at: https://github.com/JREion/M.A.O .
• Abstract（参考訳）: CLIPベースのプロンプトチューニングは、事前訓練されたビジョンランゲージモデルを大幅に強化するが、既存の研究はモデルアーキテクチャ、例えば、損失計算とメタネットワークの再構築に重点を置いている。 これらのアプローチは一般的に、複雑さの増大とトレーニングコストの増大につながる。 チューニングプロセスの効率を維持するため,高速チューニングのためのプラグアンドプレイモデル非依存最適化(MAO)を提案する。 即時チューニングバックボーンのコンポーネントを変更することなく、初期データの分散を最適化するData-Driven Enhancementフレームワークを導入し、タスク固有の機能処理パイプラインを増強する Alterable Regularizationモジュールを導入し、計算コストを低く抑えながら全体的なパフォーマンスを改善する。 MAOに関する大規模な実験は、その卓越した性能と効率を実証している。 MAOのコードは、https://github.com/JREion/M.A.O で公開されている。

関連論文リスト

• A New Paradigm in Tuning Learned Indexes: A Reinforcement Learning Enhanced Approach [6.454589614577438]
  本稿ではLearted Index Structuresのエンドツーエンド自動チューニングのための新しいフレームワークであるLITuneを紹介する。 LITuneは、安定的で効率的なチューニングを保証するために、テーラーメイドのDeep Reinforcement Learning (DRL)アプローチを備えた適応的なトレーニングパイプラインを使用している。 LITuneは最大98%のランタイム削減と17倍のスループット向上を実現している。
  論文  参考訳（メタデータ） (2025-02-07T15:22:15Z)
• E2ETune: End-to-End Knob Tuning via Fine-tuned Generative Language Model [22.661022020554622]
  E2ETuneは、細調整された生成言語モデルを利用したエンドツーエンドのノブチューナーである。 本稿では,大量のトレーニングデータを効率的に生成する新しいデータ生成フレームワークを提案する。 そして、これらのデータを用いて生成言語モデルを微調整し、エンドツーエンドのノブチューナーを生成する。
  論文  参考訳（メタデータ） (2024-04-17T17:28:05Z)
• Edge-Efficient Deep Learning Models for Automatic Modulation Classification: A Performance Analysis [0.7428236410246183]
  無線信号の自動変調分類(AMC)のための最適化畳み込みニューラルネットワーク(CNN)について検討した。 本稿では,これらの手法を組み合わせて最適化モデルを提案する。 実験結果から,提案手法と組み合わせ最適化手法は,複雑度が著しく低いモデルの開発に極めて有効であることが示唆された。
  論文  参考訳（メタデータ） (2024-04-11T06:08:23Z)
• Functional Graphical Models: Structure Enables Offline Data-Driven Optimization [111.28605744661638]
  構造がサンプル効率のよいデータ駆動最適化を実現する方法を示す。 また、FGM構造自体を推定するデータ駆動最適化アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2024-01-08T22:33:14Z)
• When Parameter-efficient Tuning Meets General-purpose Vision-language Models [65.19127815275307]
  PETALは、一意のモード近似技術によって達成される全パラメータの0.5%しか必要とせず、トレーニングプロセスに革命をもたらす。 実験の結果,PETALは現状の手法をほとんどのシナリオで上回るだけでなく,完全な微調整モデルよりも優れていることがわかった。
  論文  参考訳（メタデータ） (2023-12-16T17:13:08Z)
• E^2VPT: An Effective and Efficient Approach for Visual Prompt Tuning [55.50908600818483]
  新しいタスクのための微調整された大規模な事前学習型ビジョンモデルは、パラメーター集約化が進んでいる。 本稿では,大規模なトランスフォーマーモデル適応のための効果的かつ効率的なビジュアルプロンプトチューニング(E2VPT)手法を提案する。 提案手法は2つのベンチマークにおいて,最先端のベースラインを上回っている。
  論文  参考訳（メタデータ） (2023-07-25T19:03:21Z)
• Break a Lag: Triple Exponential Moving Average for Enhanced Optimization [2.0199251985015434]
  本稿では,三重指数移動平均のパワーを利用する新しい最適化手法であるFAMEを紹介する。 FAMEはデータダイナミクスに対する応答性を高め、トレンド識別ラグを緩和し、学習効率を最適化する。 包括的評価は、画像分類、オブジェクト検出、セマンティックセグメンテーションを含む様々なコンピュータビジョンタスクを含み、FAMEを30の異なるアーキテクチャに統合する。
  論文  参考訳（メタデータ） (2023-06-02T10:29:33Z)
• When to Update Your Model: Constrained Model-based Reinforcement Learning [50.74369835934703]
  モデルベースRL(MBRL)の非遅延性能保証のための新規で一般的な理論スキームを提案する。 続いて導いた境界は、モデルシフトとパフォーマンス改善の関係を明らかにします。 さらなる例では、動的に変化する探索からの学習モデルが、最終的なリターンの恩恵をもたらすことが示されている。
  論文  参考訳（メタデータ） (2022-10-15T17:57:43Z)
• Model-Agnostic Multitask Fine-tuning for Few-shot Vision-Language Transfer Learning [59.38343286807997]
  未知タスクの視覚言語モデルのためのモデル非依存型マルチタスクファインチューニング(MAMF)を提案する。 モデルに依存しないメタラーニング(MAML)と比較して、MAMFは二段階最適化を捨て、一階勾配のみを使用する。 MAMFは5つのベンチマークデータセット上で、数ショットの転送学習において古典的な微調整法よりも一貫して優れていることを示す。
  論文  参考訳（メタデータ） (2022-03-09T17:26:53Z)
• Consolidated learning -- a domain-specific model-free optimization strategy with examples for XGBoost and MIMIC-IV [4.370097023410272]
  本稿では,統合学習と呼ばれるチューニング問題の新たな定式化を提案する。 このような設定では、単一のタスクをチューニングするよりも、全体の最適化時間に関心があります。 我々は,XGBoostアルゴリズムの実証研究とMIMIC-IV医療データベースから抽出した予測タスクの収集を通じて,このアプローチの有効性を実証する。
  論文  参考訳（メタデータ） (2022-01-27T21:38:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。