論文の概要: Black-Box Tuning of Vision-Language Models with Effective Gradient
Approximation
- arxiv url: http://arxiv.org/abs/2312.15901v1
- Date: Tue, 26 Dec 2023 06:31:28 GMT
- ステータス: 処理完了
- システム内更新日: 2023-12-27 15:42:30.424395
- Title: Black-Box Tuning of Vision-Language Models with Effective Gradient
Approximation
- Title(参考訳): 効率的な勾配近似を用いた視覚言語モデルのブラックボックスチューニング
- Authors: Zixian Guo, Yuxiang Wei, Ming Liu, Zhilong Ji, Jinfeng Bai, Yiwen Guo,
Wangmeng Zuo
- Abstract要約: ブラックボックスモデルに対するテキストプロンプト最適化と出力特徴適応のための協調ブラックボックスチューニング(CBBT)を導入する。
CBBTは11のダウンストリームベンチマークで広範囲に評価され、既存のブラックボックスVL適応法と比較して顕著に改善されている。
- 参考スコア(独自算出の注目度): 71.21346469382821
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Parameter-efficient fine-tuning (PEFT) methods have provided an effective way
for adapting large vision-language models to specific tasks or scenarios.
Typically, they learn a very small scale of parameters for pre-trained models
in a white-box formulation, which assumes model architectures to be known and
parameters to be accessible. However, large models are often not open-source
due to considerations of preventing abuse or commercial factors, hence posing a
barrier to the deployment of white-box PEFT methods. To alleviate the
dependence on model accessibility, we introduce collaborative black-box tuning
(CBBT) for both textual prompt optimization and output feature adaptation for
black-box models. Specifically, considering that the backpropagation gradients
are blocked, we approximate the gradients of textual prompts by analyzing the
predictions with perturbed prompts. Secondly, a lightweight adapter is deployed
over the output feature of the inaccessible model, further facilitating the
model adaptation process. Empowered with these designs, our CBBT is extensively
evaluated on eleven downstream benchmarks and achieves remarkable improvements
compared to existing black-box VL adaptation methods. Code is released at
https://github.com/guozix/cbbt.
- Abstract(参考訳): パラメータ効率のよいファインチューニング(peft)メソッドは、大きな視覚言語モデルを特定のタスクやシナリオに適応させる効果的な方法を提供する。
通常、彼らは事前学習されたモデルの非常に小さなパラメータをホワイトボックスの定式化で学習し、モデルアーキテクチャを知っていて、パラメータがアクセス可能であると仮定する。
しかし、大きなモデルは悪用や商業的要因を防ぐためにオープンソースではないことが多いため、ホワイトボックスのpeftメソッドの展開の障壁となっている。
モデルアクセシビリティへの依存を軽減するため,ブラックボックスモデルのテキストプロンプト最適化と出力特徴適応のための協調ブラックボックスチューニング(CBBT)を導入する。
具体的には、バックプロパゲーション勾配がブロックされていることを考慮し、摂動プロパゲーションを用いて予測を分析することにより、テキストプロパゲーションの勾配を近似する。
第二に、アクセシブルモデルの出力機能の上に軽量アダプタが配置され、モデル適応プロセスがさらに容易になる。
これらの設計を取り入れたCBBTは、既存のブラックボックスVL適応法と比較して、11のダウンストリームベンチマークで広範囲に評価され、顕著に改善されている。
コードはhttps://github.com/guozix/cbbtでリリースされる。
関連論文リスト
- Mafin: Enhancing Black-Box Embeddings with Model Augmented Fine-Tuning [13.211063836237468]
マフィン(Mafin)は、トレーニング可能な埋め込みモデルで強化することで、ブラックボックスの埋め込みモデルを微調整するための新しいアプローチである。
以上の結果から,Mafinは小さな拡張モデルの訓練を必要とせず,ブラックボックス埋め込みの性能を著しく向上させることが示された。
論文 参考訳(メタデータ) (2024-02-19T14:33:24Z) - Connecting the Dots: Collaborative Fine-tuning for Black-Box
Vision-Language Models [129.8887432965761]
本稿では,下流タスクに対するブラックボックス視覚言語モデルの微調整のための textbfCraFT' アプローチを提案する。
CraFTは、2つのモジュールと、テキストプロンプトを学習するプロンプト生成モジュールと、残差スタイルの出力予測を強化する予測改善モジュールとから構成される。
15以上のデータセットに対する数ショットの分類実験は、CraFTの優位性を示している。
論文 参考訳(メタデータ) (2024-02-06T14:53:19Z) - Beyond Concept Bottleneck Models: How to Make Black Boxes Intervenable? [9.002523763052848]
本稿では,すでに訓練済みのニューラルネットワークに対して,概念に基づく介入を行う手法を提案する。
本稿では,概念に基づく介入の有効性の尺度として,モデルの介入可能性について定式化する。
微調整は介入効率を向上し、しばしばより良い校正予測をもたらすことを示す。
論文 参考訳(メタデータ) (2024-01-24T16:02:14Z) - Enhancing Black-Box Few-Shot Text Classification with Prompt-Based Data
Augmentation [42.05617728412819]
大規模言語モデルの勾配にアクセスすることなく、少数ショットのテキスト分類を最適化する方法を示す。
我々のアプローチはBT-Classifierと呼ばれ、最先端のブラックボックス学習者よりもはるかに優れています。
論文 参考訳(メタデータ) (2023-05-23T07:54:34Z) - Re-parameterizing Your Optimizers rather than Architectures [119.08740698936633]
本稿では,モデル固有の事前知識を構造学に取り入れ,汎用モデル(簡易モデル)の学習に使用する新しいパラダイムを提案する。
実装として,モデル固有のハイパーパラメータの集合に従って勾配を変更することによって,事前知識を付加する手法を提案する。
Reprでトレーニングされた単純なモデルに対しては、VGGスタイルのプレーンモデルに注目し、ReprでトレーニングされたそのようなシンプルなモデルがRep-VGGと呼ばれ、最近のよく設計されたモデルと同等に動作することを示す。
論文 参考訳(メタデータ) (2022-05-30T16:55:59Z) - BBTv2: Pure Black-Box Optimization Can Be Comparable to Gradient Descent
for Few-Shot Learning [83.26610968655815]
Black-Box Tuningは、言語モデルの入力に先立って、連続的なプロンプトトークンを最適化するためのデリバティブフリーなアプローチである。
BBTv2は、言語モデルをグラデーションベースの最適化に匹敵する結果を得るために駆動する、純粋なブラックボックス最適化手法である。
論文 参考訳(メタデータ) (2022-05-23T11:10:19Z) - How to Robustify Black-Box ML Models? A Zeroth-Order Optimization
Perspective [74.47093382436823]
入力クエリと出力フィードバックだけでブラックボックスモデルを堅牢化する方法?
我々は,ブラックボックスモデルに適用可能な防御操作の一般的な概念を提案し,それを復号化スムーシング(DS)のレンズを通して設計する。
我々は,ZO-AE-DSが既存のベースラインよりも精度,堅牢性,クエリの複雑さを向上できることを実証的に示す。
論文 参考訳(メタデータ) (2022-03-27T03:23:32Z) - Query-Efficient Black-box Adversarial Attacks Guided by a Transfer-based
Prior [50.393092185611536]
対象モデルの勾配にアクセスできることなく、敵が敵の例を作らなければならないブラックボックスの敵設定を考える。
従来の手法では、代用ホワイトボックスモデルの転送勾配を用いたり、モデルクエリのフィードバックに基づいて真の勾配を近似しようとした。
偏りサンプリングと勾配平均化に基づく2つの事前誘導型ランダム勾配フリー(PRGF)アルゴリズムを提案する。
論文 参考訳(メタデータ) (2022-03-13T04:06:27Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。