論文の概要: Neural Prompt Search

• arxiv url: http://arxiv.org/abs/2206.04673v1
• Date: Thu, 9 Jun 2022 17:59:58 GMT
• ステータス: 処理完了
• システム内更新日: 2022-06-10 13:59:34.136353
• Title: Neural Prompt Search
• Title（参考訳）: ニューラルプロンプトサーチ
• Authors: Yuanhan Zhang, Kaiyang Zhou, Ziwei Liu
• Abstract要約: 本稿では,大規模視覚モデルのための新しいアプローチであるNeural prOmpt seArcHを提案する。 NOAHは、大きな視覚モデルに対して、ニューラルネットワーク探索アルゴリズムを通じてプロンプトモジュールの最適設計を学ぶ。
• 参考スコア（独自算出の注目度）: 38.68910532066619
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The size of vision models has grown exponentially over the last few years, especially after the emergence of Vision Transformer. This has motivated the development of parameter-efficient tuning methods, such as learning adapter layers or visual prompt tokens, which allow a tiny portion of model parameters to be trained whereas the vast majority obtained from pre-training are frozen. However, designing a proper tuning method is non-trivial: one might need to try out a lengthy list of design choices, not to mention that each downstream dataset often requires custom designs. In this paper, we view the existing parameter-efficient tuning methods as "prompt modules" and propose Neural prOmpt seArcH (NOAH), a novel approach that learns, for large vision models, the optimal design of prompt modules through a neural architecture search algorithm, specifically for each downstream dataset. By conducting extensive experiments on over 20 vision datasets, we demonstrate that NOAH (i) is superior to individual prompt modules, (ii) has a good few-shot learning ability, and (iii) is domain-generalizable. The code and models are available at https://github.com/Davidzhangyuanhan/NOAH.
• Abstract（参考訳）: ビジョンモデルのサイズは、特にビジョントランスフォーマーの出現以降、ここ数年で指数関数的に増加している。 これは、適応層や視覚的プロンプトトークンなどのパラメータ効率のよいチューニング手法の開発を動機付け、モデルのパラメータのごく一部をトレーニングできる一方で、事前学習で得られた大多数は凍結する。 しかし、適切なチューニング方法を設計するのは簡単ではない: 各ダウンストリームデータセットがカスタム設計を必要とすることは言うまでもなく、設計選択の長いリストを試す必要があるかもしれない。 本稿では,既存のパラメータ効率の高いチューニング手法を "prompt modules" と捉え,大規模な視覚モデルに対して,ニューラルネットワーク探索アルゴリズムによるプロンプトモジュールの最適設計,特に下流データセット毎に学習する新しいアプローチであるneural prompt search (noah)を提案する。 20以上の視覚データセットを広範囲に実験することで、noahは i)個々のプロンプトモジュールよりも優れている。 (二)優れた数発の学習能力があり、 (iii)ドメイン一般化可能。 コードとモデルはhttps://github.com/davidzhangyuanhan/noahで入手できる。

関連論文リスト

• On the Steganographic Capacity of Selected Learning Models [1.0640226829362012]
  本稿では,学習モデルの聴取能力について考察する。 幅広いモデルに対して、上書き可能な低次ビットの数を決定する。 テスト対象モデルのうち, LR実験では7.04KB, InceptionV3では44.74MBであった。
  論文  参考訳（メタデータ） (2023-08-29T10:41:34Z)
• Visual Tuning [143.43997336384126]
  微調整ビジュアルモデルは、多くの下流視覚タスクにおいて有望なパフォーマンスを示すことが広く示されている。 最近の進歩は、事前訓練されたパラメータ全体をフルチューニングするよりも優れたパフォーマンスを達成することができる。 この調査は、最近の作品の大規模かつ思慮深い選択を特徴付け、作業とモデルの体系的かつ包括的な概要を提供する。
  論文  参考訳（メタデータ） (2023-05-10T11:26:36Z)
• NAR-Former: Neural Architecture Representation Learning towards Holistic Attributes Prediction [37.357949900603295]
  本稿では,属性の全体的推定に使用できるニューラルネットワーク表現モデルを提案する。 実験の結果,提案するフレームワークは,セルアーキテクチャとディープニューラルネットワーク全体の遅延特性と精度特性を予測できることがわかった。
  論文  参考訳（メタデータ） (2022-11-15T10:15:21Z)
• Unified Vision and Language Prompt Learning [86.1530128487077]
  本稿では,テキストプロンプトチューニングと視覚的プロンプトチューニングという,2つの代表的プロンプトチューニング手法に関する体系的研究を行う。 主要な発見は、テキストプロンプトチューニングは、高いクラス内の視覚的ばらつきを持つデータでは失敗する一方で、視覚的プロンプトチューニングはクラス間のばらつきを低く扱えないことである。 両世界から最高のものを組み合わせるために、我々はUnified Prompt Tuning (UPT)と呼ばれる単純なアプローチを提案する。
  論文  参考訳（メタデータ） (2022-10-13T17:50:24Z)
• Learning to Learn with Generative Models of Neural Network Checkpoints [71.06722933442956]
  ニューラルネットワークのチェックポイントのデータセットを構築し,パラメータの生成モデルをトレーニングする。 提案手法は,幅広い損失プロンプトに対するパラメータの生成に成功している。 我々は、教師付きおよび強化学習における異なるニューラルネットワークアーキテクチャとタスクに本手法を適用した。
  論文  参考訳（メタデータ） (2022-09-26T17:59:58Z)
• Pro-tuning: Unified Prompt Tuning for Vision Tasks [133.12978197265596]
  ファインチューニングは、トレーニング済みの視覚モデルを利用して下流タスクを実行するデファクトアプローチである。 本研究では,様々な下流視覚タスクに凍結視覚モデルを適用するために,パラメータ効率のよいプロンプトチューニング(Pro-tuning)を提案する。
  論文  参考訳（メタデータ） (2022-07-28T21:09:31Z)
• Re-parameterizing Your Optimizers rather than Architectures [119.08740698936633]
  本稿では,モデル固有の事前知識を構造学に取り入れ,汎用モデル(簡易モデル)の学習に使用する新しいパラダイムを提案する。 実装として,モデル固有のハイパーパラメータの集合に従って勾配を変更することによって,事前知識を付加する手法を提案する。 Reprでトレーニングされた単純なモデルに対しては、VGGスタイルのプレーンモデルに注目し、ReprでトレーニングされたそのようなシンプルなモデルがRep-VGGと呼ばれ、最近のよく設計されたモデルと同等に動作することを示す。
  論文  参考訳（メタデータ） (2022-05-30T16:55:59Z)
• Towards Disentangling Information Paths with Coded ResNeXt [11.884259630414515]
  ネットワーク全体の機能の透明性を高めるために,我々は新しいアプローチを採っている。 分類のためのニューラルネットワークアーキテクチャを提案し、各クラスに関連する情報が特定の経路を流れる。
  論文  参考訳（メタデータ） (2022-02-10T21:45:49Z)
• Tidying Deep Saliency Prediction Architectures [6.613005108411055]
  本稿では,入力特徴,マルチレベル統合,読み出しアーキテクチャ,損失関数の4つの主成分を同定する。 我々はSimpleNet と MDNSal という2つの新しいエンドツーエンドアーキテクチャを提案する。
  論文  参考訳（メタデータ） (2020-03-10T19:34:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。