論文の概要: Black-box Prompt Tuning with Subspace Learning

• arxiv url: http://arxiv.org/abs/2305.03518v2
• Date: Mon, 17 Jun 2024 03:26:59 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-19 13:10:19.072104
• Title: Black-box Prompt Tuning with Subspace Learning
• Title（参考訳）: サブスペース学習によるブラックボックスプロンプトチューニング
• Authors: Yuanhang Zheng, Zhixing Tan, Peng Li, Yang Liu,
• Abstract要約: ブラックボックスプロンプトチューニングでは、低次元部分空間内でのプロンプトの学習にデリバティブフリー最適化アルゴリズムを採用している。 最近の研究によると、ブラックボックス・プロンプト・チューニングはタスクとLarge Language Models (LLM)間の汎用性を欠いている。 サブスペース学習(BSL)を用いたブラックボックスプロンプトチューニングを導入し、ブラックボックスプロンプトチューニングの汎用性を高める。
• 参考スコア（独自算出の注目度）: 17.310874690694263
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Black-box prompt tuning employs derivative-free optimization algorithms to learn prompts within low-dimensional subspaces rather than back-propagating through the network of Large Language Models (LLMs). Recent studies reveal that black-box prompt tuning lacks versatility across tasks and LLMs, which we believe is related to the suboptimal choice of subspaces. In this paper, we introduce Black-box prompt tuning with Subspace Learning (BSL) to enhance the versatility of black-box prompt tuning. Based on the assumption that nearly optimal prompts for similar tasks reside in a common subspace, we propose identifying such subspaces through meta-learning on a collection of similar source tasks. Consequently, for a target task that shares similarities with the source tasks, we expect that optimizing within the identified subspace can yield a prompt that performs well on the target task. Experimental results confirm that our BSL framework consistently achieves competitive performance across various downstream tasks and LLMs.
• Abstract（参考訳）: ブラックボックスプロンプトチューニングは、大言語モデル(LLM)のネットワークをバックプロパゲートするのではなく、低次元のサブ空間内でプロンプトを学習するためにデリバティブフリー最適化アルゴリズムを用いる。 近年の研究では、ブラックボックスのプロンプトチューニングはタスクやLLM間の汎用性に欠けており、これは部分空間の最適下選択に関係していると考えられている。 本稿では,サブスペース・ラーニング(BSL)を用いたブラックボックス・プロンプト・チューニングを導入し,ブラックボックス・プロンプト・チューニングの汎用性を高める。 類似したタスクのほぼ最適なプロンプトが共通部分空間に存在するという仮定に基づいて、類似したタスクのコレクション上でメタラーニングによってそのようなサブスペースを特定することを提案する。 したがって、ソースタスクと類似性を共有するターゲットタスクに対しては、特定したサブスペース内での最適化により、ターゲットタスクに対して良好に動作するプロンプトが得られることを期待する。 実験の結果,BSL フレームワークは様々な下流タスクや LLM の競合性能を一貫して達成していることがわかった。

関連論文リスト

• MAPO: Boosting Large Language Model Performance with Model-Adaptive Prompt Optimization [73.7779735046424]
  異なるプロンプトを異なるLarge Language Models (LLM) に適応させることで,NLP の様々な下流タスクにまたがる機能の向上が期待できる。 次に、下流タスクにおける各LLMに対して、元のプロンプトを最適化するモデル適応プロンプト(MAPO)手法を提案する。
  論文  参考訳（メタデータ） (2024-07-04T18:39:59Z)
• Unveiling the Lexical Sensitivity of LLMs: Combinatorial Optimization for Prompt Enhancement [11.363521189714504]
  大規模言語モデル(LLM)は,タスク命令の語彙変化に対して過敏であることを示す。 プロンプト語彙強調(COPLE)のためのブラックボックス組合せ最適化フレームワークを提案する。
  論文  参考訳（メタデータ） (2024-05-31T08:53:59Z)
• Prompt Highlighter: Interactive Control for Multi-Modal LLMs [50.830448437285355]
  本研究では,マルチモーダル LLM (LLMs&VLMs) 推論における重要な側面として,明示的な制御可能なテキスト生成を目標とする。 本稿では,新しい推論手法であるPrompt Highlighterを導入し,ユーザが特定のプロンプトスパンをハイライトし,生成中のフォーカスをインタラクティブに制御できるようにする。 推論中、注意重みを通して強調されたトークンでモデルを導くことで、より望ましい出力が得られます。
  論文  参考訳（メタデータ） (2023-12-07T13:53:29Z)
• Survival of the Most Influential Prompts: Efficient Black-Box Prompt Search via Clustering and Pruning [77.61565726647784]
  本稿では,まず検索空間をクラスタ化してプルークするブラックボックス探索手法を提案する。 検索空間設計と最適化は,ブラックボックス・プロンプトに基づく学習の有用性と効率性を両立させる上で重要な役割を担っている。
  論文  参考訳（メタデータ） (2023-10-19T14:25:06Z)
• Distribution-Aware Prompt Tuning for Vision-Language Models [20.02599087680773]
  プロンプトチューニングの鍵は、モデルパラメータを固定した学習可能なベクトルを介して、2つのモード間の特徴空間アライメントである。 この観測に触発されて、視覚言語モデルのための分布認識プロンプトチューニング(DAPT)を提案する。 11のベンチマークデータセットに対する実験により,本手法が一般化可能性を大幅に向上することが示された。
  論文  参考訳（メタデータ） (2023-09-06T23:49:11Z)
• PromptBoosting: Black-Box Text Classification with Ten Forward Passes [61.38341243907045]
  PromptBoostingは、LMのパラメータ、勾配、隠された表現にアクセスすることなく、ニューラルネットワークモデル(LM)からテキスト分類器を構築するためのクエリ効率のよい手順である。 実験によると、PromptBoostingは複数のブラックボックスのいくつかのショット分類タスクで最先端のパフォーマンスを達成し、既存のブラックボックスメソッドよりも10倍速くトレーニングしながら、少数ショットと標準学習のパラダイムの両方で完全な微調整をマッチまたは上回っている。
  論文  参考訳（メタデータ） (2022-12-19T06:04:54Z)
• Attentional Mixtures of Soft Prompt Tuning for Parameter-efficient Multi-task Knowledge Sharing [53.399742232323895]
  ATTEMPTは、新しいモジュラー、マルチタスク、パラメータ効率の言語モデル(LM)チューニングアプローチである。 異なるタスク間で伝達される知識をソフトプロンプトの混合によって組み合わせ、元のLMをそのまま維持する。 パラメータ効率(例えば、微調整よりも1,600倍少ないパラメータを更新)であり、マルチタスク学習と柔軟な拡張を可能にする。
  論文  参考訳（メタデータ） (2022-05-24T10:48:33Z)
• Exploring Low-dimensional Intrinsic Task Subspace via Prompt Tuning [70.76016793057283]
  本研究では,事前学習型言語モデル(PLM)が普遍表現を学習し,異なる幅広いNLPタスクに効果的に適用する方法について検討する。 実験では,100個のランダムタスクを持つ5次元部分空間において,5つの自由パラメータをチューニングするだけで,全プロンプトチューニング性能の87%と65%を回復できることがわかった。
  論文  参考訳（メタデータ） (2021-10-15T05:43:59Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。