論文の概要: Black-box Prompt Tuning with Subspace Learning

• arxiv url: http://arxiv.org/abs/2305.03518v1
• Date: Thu, 4 May 2023 01:04:25 GMT
• ステータス: 処理完了
• システム内更新日: 2023-05-08 13:51:34.564797
• Title: Black-box Prompt Tuning with Subspace Learning
• Title（参考訳）: サブスペース学習によるブラックボックスプロンプトチューニング
• Authors: Yuanhang Zheng, Zhixing Tan, Peng Li and Yang Liu
• Abstract要約: ブラックボックスプロンプトチューニングは、低次元部分空間におけるプロンプトの学習にデリバティブフリー最適化アルゴリズムを使用する。 最近の研究によると、ブラックボックス・プロンプト・チューニングはタスクとLarge Language Models (LLMs)間の汎用性を欠いている。 我々は,サブスペース学習(BSL)を用いたブラックボックスプロンプトチューニングを提案し,ブラックボックスプロンプトチューニングの汎用性を向上させる。
• 参考スコア（独自算出の注目度）: 20.192959398545018
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Black-box prompt tuning uses derivative-free optimization algorithms to learn prompts in low-dimensional subspaces instead of back-propagating through the network of Large Language Models (LLMs). Recent studies have found that black-box prompt tuning lacks versatility across tasks and LLMs, which we believe is related to the inappropriate choice of subspaces. In this paper, we propose Black-box prompt tuning with Subspace Learning (BSL) to improve the versatility of black-box prompt tuning. Based on the assumption that nearly optimal prompts for similar tasks exist in a common subspace, we propose identifying such subspaces by meta-learning on a set of similar source tasks. Therefore, for a target task that shares similarities with source tasks, we guarantee that optimizing in the subspace can find a prompt that performs well on the target task. Experiments confirm that our BSL framework consistently achieves competitive performance regardless of downstream tasks and LLMs.
• Abstract（参考訳）: black-box prompt tuningはデリバティブフリーな最適化アルゴリズムを使用して、大言語モデル(llm)のネットワークをバックプロパゲーションするのではなく、低次元部分空間でプロンプトを学習する。 近年の研究では、ブラックボックスのプロンプトチューニングはタスクやLLM間の汎用性を欠いていることが判明している。 本稿では,ブラックボックスプロンプトチューニングの汎用性を向上させるために,サブスペース学習(bsl)を用いたブラックボックスプロンプトチューニングを提案する。 類似するタスクに対するほぼ最適プロンプトが共通の部分空間に存在するという仮定に基づいて、類似したソースタスクのセットでメタラーニングすることで、そのような部分空間を識別することを提案する。 したがって、ソースタスクと類似性を共有するターゲットタスクに対して、サブスペースの最適化は、ターゲットタスクでよく動作するプロンプトを見つけることができることを保証します。 実験により,我々のBSLフレームワークは,下流タスクやLLMに関わらず,常に競争性能を達成できることを確認した。

関連論文リスト

• QPO: Query-dependent Prompt Optimization via Multi-Loop Offline Reinforcement Learning [58.767866109043055]
  クエリ依存型プロンプト最適化(QPO)を導入し、入力クエリに合わせて最適なプロンプトを生成するために、小さな事前訓練された言語モデルを反復的に微調整する。 我々は、オープンソースのタスクに様々なプロンプトをベンチマークする副産物として、すでに大量に存在するオフラインのプロンプトデータから洞察を得る。 様々なLLMスケールと多様なNLPおよび数学タスクの実験は、ゼロショットと少数ショットの両方のシナリオにおいて、我々の手法の有効性とコスト効率を実証している。
  論文  参考訳（メタデータ） (2024-08-20T03:06:48Z)
• MAPO: Boosting Large Language Model Performance with Model-Adaptive Prompt Optimization [73.7779735046424]
  異なるプロンプトを異なるLarge Language Models (LLM) に適応させることで,NLP の様々な下流タスクにまたがる機能の向上が期待できる。 次に、下流タスクにおける各LLMに対して、元のプロンプトを最適化するモデル適応プロンプト(MAPO)手法を提案する。
  論文  参考訳（メタデータ） (2024-07-04T18:39:59Z)
• Unveiling the Lexical Sensitivity of LLMs: Combinatorial Optimization for Prompt Enhancement [11.363521189714504]
  大規模言語モデル(LLM)は,タスク命令の語彙変化に対して過敏であることを示す。 プロンプト語彙強調(COPLE)のためのブラックボックス組合せ最適化フレームワークを提案する。
  論文  参考訳（メタデータ） (2024-05-31T08:53:59Z)
• Prompt Highlighter: Interactive Control for Multi-Modal LLMs [50.830448437285355]
  本研究では,マルチモーダル LLM (LLMs&VLMs) 推論における重要な側面として,明示的な制御可能なテキスト生成を目標とする。 本稿では,新しい推論手法であるPrompt Highlighterを導入し,ユーザが特定のプロンプトスパンをハイライトし,生成中のフォーカスをインタラクティブに制御できるようにする。 推論中、注意重みを通して強調されたトークンでモデルを導くことで、より望ましい出力が得られます。
  論文  参考訳（メタデータ） (2023-12-07T13:53:29Z)
• Survival of the Most Influential Prompts: Efficient Black-Box Prompt Search via Clustering and Pruning [77.61565726647784]
  本稿では,まず検索空間をクラスタ化してプルークするブラックボックス探索手法を提案する。 検索空間設計と最適化は,ブラックボックス・プロンプトに基づく学習の有用性と効率性を両立させる上で重要な役割を担っている。
  論文  参考訳（メタデータ） (2023-10-19T14:25:06Z)
• Distribution-Aware Prompt Tuning for Vision-Language Models [20.02599087680773]
  プロンプトチューニングの鍵は、モデルパラメータを固定した学習可能なベクトルを介して、2つのモード間の特徴空間アライメントである。 この観測に触発されて、視覚言語モデルのための分布認識プロンプトチューニング(DAPT)を提案する。 11のベンチマークデータセットに対する実験により,本手法が一般化可能性を大幅に向上することが示された。
  論文  参考訳（メタデータ） (2023-09-06T23:49:11Z)
• PromptBoosting: Black-Box Text Classification with Ten Forward Passes [61.38341243907045]
  PromptBoostingは、LMのパラメータ、勾配、隠された表現にアクセスすることなく、ニューラルネットワークモデル(LM)からテキスト分類器を構築するためのクエリ効率のよい手順である。 実験によると、PromptBoostingは複数のブラックボックスのいくつかのショット分類タスクで最先端のパフォーマンスを達成し、既存のブラックボックスメソッドよりも10倍速くトレーニングしながら、少数ショットと標準学習のパラダイムの両方で完全な微調整をマッチまたは上回っている。
  論文  参考訳（メタデータ） (2022-12-19T06:04:54Z)
• Exploring Low-dimensional Intrinsic Task Subspace via Prompt Tuning [70.76016793057283]
  本研究では,事前学習型言語モデル(PLM)が普遍表現を学習し,異なる幅広いNLPタスクに効果的に適用する方法について検討する。 実験では,100個のランダムタスクを持つ5次元部分空間において,5つの自由パラメータをチューニングするだけで,全プロンプトチューニング性能の87%と65%を回復できることがわかった。
  論文  参考訳（メタデータ） (2021-10-15T05:43:59Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。