論文の概要: Diversity-Aware Meta Visual Prompting

• arxiv url: http://arxiv.org/abs/2303.08138v1
• Date: Tue, 14 Mar 2023 17:59:59 GMT
• ステータス: 処理完了
• システム内更新日: 2023-03-15 13:41:36.407254
• Title: Diversity-Aware Meta Visual Prompting
• Title（参考訳）: 多様性を意識したメタビジュアルプロンプティング
• Authors: Qidong Huang and Xiaoyi Dong and Dongdong Chen and Weiming Zhang and Feifei Wang and Gang Hua and Nenghai Yu
• Abstract要約: DAM-VP(Diversity-Aware Meta Visual Prompting)は、学習済みのモデルを凍結したバックボーンで下流のタスクに転送する効率的なプロンプト手法である。 下流のデータセットを、多様性に富んだ方法で小さなサブセットにクラスタ化し、それぞれのサブセットがそれぞれ独自のプロンプトを持っている。 すべてのプロンプトはメタプロンプトで最適化され、複数のデータセットで学習される。
• 参考スコア（独自算出の注目度）: 111.75306320834629
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We present Diversity-Aware Meta Visual Prompting~(DAM-VP), an efficient and effective prompting method for transferring pre-trained models to downstream tasks with frozen backbone. A challenging issue in visual prompting is that image datasets sometimes have a large data diversity whereas a per-dataset generic prompt can hardly handle the complex distribution shift toward the original pretraining data distribution properly. To address this issue, we propose a dataset Diversity-Aware prompting strategy whose initialization is realized by a Meta-prompt. Specifically, we cluster the downstream dataset into small homogeneity subsets in a diversity-adaptive way, with each subset has its own prompt optimized separately. Such a divide-and-conquer design reduces the optimization difficulty greatly and significantly boosts the prompting performance. Furthermore, all the prompts are initialized with a meta-prompt, which is learned across several datasets. It is a bootstrapped paradigm, with the key observation that the prompting knowledge learned from previous datasets could help the prompt to converge faster and perform better on a new dataset. During inference, we dynamically select a proper prompt for each input, based on the feature distance between the input and each subset. Through extensive experiments, our DAM-VP demonstrates superior efficiency and effectiveness, clearly surpassing previous prompting methods in a series of downstream datasets for different pretraining models. Our code is available at: \url{https://github.com/shikiw/DAM-VP}.
• Abstract（参考訳）: DAM-VP(Diversity-Aware Meta Visual Prompting~)は、学習済みのモデルを凍結したバックボーンで下流のタスクに転送するための効率的かつ効果的なプロンプト手法である。 ビジュアルプロンプトの課題は、画像データセットが大規模なデータ多様性を持つ場合があり、データセット毎のジェネリックプロンプトは、元のプリトレーニングデータ分散への複雑な分散シフトを適切に処理できないことである。 この問題に対処するために,メタプロンプトによって初期化を実現したデータセットの多様性認識促進戦略を提案する。 具体的には、下流データセットを多様性適応的な方法で小さな均一なサブセットにクラスタ化し、各サブセットは独自のプロンプトを個別に最適化する。 このような分割・分散設計は最適化の難しさを大幅に減らし、プロンプト性能を大幅に向上させる。 さらに、すべてのプロンプトはmeta-promptで初期化され、複数のデータセットで学習される。 これはブートストラップされたパラダイムであり、以前のデータセットから学習した知識がプロンプトがより早く収束し、新しいデータセットでより良いパフォーマンスを発揮するのに役立つという重要な観察がある。 推論中、入力と各サブセット間の特徴距離に基づいて、各入力に対して適切なプロンプトを動的に選択する。 dam-vpは,様々な事前学習モデルに対する一連のダウンストリームデータセットにおいて,従来のプロンプト手法を明らかに上回って,優れた効率性と有効性を実証する。 私たちのコードは、 \url{https://github.com/shikiw/dam-vp} で利用可能です。

関連論文リスト

• Unified Vision and Language Prompt Learning [86.1530128487077]
  本稿では,テキストプロンプトチューニングと視覚的プロンプトチューニングという,2つの代表的プロンプトチューニング手法に関する体系的研究を行う。 主要な発見は、テキストプロンプトチューニングは、高いクラス内の視覚的ばらつきを持つデータでは失敗する一方で、視覚的プロンプトチューニングはクラス間のばらつきを低く扱えないことである。 両世界から最高のものを組み合わせるために、我々はUnified Prompt Tuning (UPT)と呼ばれる単純なアプローチを提案する。
  論文  参考訳（メタデータ） (2022-10-13T17:50:24Z)
• LPT: Long-tailed Prompt Tuning for Image Classification [178.52948452353834]
  凍結事前訓練モデルに複数のトレーニング可能なプロンプトを導入し、長い尾を持つデータに適用する。 フェーズ1では、教師付きプロンプトチューニングを通じて共有プロンプトをトレーニングし、事前訓練されたモデルを所望の長尾領域に適応させる。 フェーズ2では、学習した共有プロンプトをクエリとして使用し、類似したサンプルのグループに対して、マッチした小さなベストセットを選択する。
  論文  参考訳（メタデータ） (2022-10-03T15:47:02Z)
• Guided Exploration of Data Summaries [24.16170440895994]
  有用な要約は k 個の単体一様集合を含み、それらは集合的に多様であり、代表的である。 このような要約を見つけることは、データが非常に多様で大規模な場合、難しい作業である。 本研究では,データ要約への探索データ解析(EDA)の適用性について検討し,Eda4Sumを定式化する。
  論文  参考訳（メタデータ） (2022-05-27T13:06:27Z)
• Adaptive Prompt Learning-based Few-Shot Sentiment Analysis [6.134988345135517]
  本稿では,Seq2seqアテンション構造を用いた適応的プロンプト(AP)構築戦略を提案する。 FewCLUEデータセットを用いた実験結果から,提案手法のAPは適切な適応的プロンプトを効果的に構築できることを示した。
  論文  参考訳（メタデータ） (2022-05-15T08:34:48Z)
• Multi-view Information Bottleneck Without Variational Approximation [34.877573432746246]
  情報ボトルネックの原理を教師付き多視点学習シナリオに拡張する。 我々は、最近提案された行列ベースのR'enyiの$alpha$-order entropy関数を用いて、結果の目的を最適化する。 合成と実世界の両方のデータセットにおける実験結果から,各ビューにおけるノイズや冗長な情報に対するロバスト性の向上が期待できる。
  論文  参考訳（メタデータ） (2022-04-22T06:48:04Z)
• Towards General and Efficient Active Learning [20.888364610175987]
  アクティブラーニングは、限られたアノテーション予算を利用するために最も有益なサンプルを選択することを目的としている。 本稿では,新しい汎用能動学習法(GEAL)を提案する。 提案手法は,同一モデルの単一パス推定を用いて,異なるデータセット上でデータ選択処理を行うことができる。
  論文  参考訳（メタデータ） (2021-12-15T08:35:28Z)
• Automated Concatenation of Embeddings for Structured Prediction [75.44925576268052]
  本稿では, 埋め込みの自動結合(ACE)を提案し, 構造予測タスクにおける埋め込みのより優れた結合を見つけるプロセスを自動化する。 我々は、強化学習の戦略に従い、制御器のパラメータを最適化し、タスクモデルの精度に基づいて報酬を計算する。
  論文  参考訳（メタデータ） (2020-10-10T14:03:20Z)
• Omni-supervised Facial Expression Recognition via Distilled Data [120.11782405714234]
  ネットワークトレーニングにおいて,信頼度の高いサンプルを多量のラベルのないデータで活用するためのオムニ教師付き学習を提案する。 我々は,新しいデータセットが学習したFERモデルの能力を大幅に向上させることができることを実験的に検証した。 そこで本研究では,生成したデータセットを複数のクラスワイド画像に圧縮するために,データセット蒸留戦略を適用することを提案する。
  論文  参考訳（メタデータ） (2020-05-18T09:36:51Z)
• Unshuffling Data for Improved Generalization [65.57124325257409]
  トレーニングディストリビューションを越えた一般化は、マシンラーニングにおける中核的な課題である。 本研究では,複数の学習環境として扱われる非d.d.サブセットにデータを分割することで,アウト・オブ・ディストリビューションの一般化を向上したモデル学習を導出できることを示す。
  論文  参考訳（メタデータ） (2020-02-27T03:07:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。