論文の概要: Survival of the Most Influential Prompts: Efficient Black-Box Prompt Search via Clustering and Pruning

• arxiv url: http://arxiv.org/abs/2310.12774v1
• Date: Thu, 19 Oct 2023 14:25:06 GMT
• ステータス: 処理完了
• システム内更新日: 2023-10-20 14:53:31.843977
• Title: Survival of the Most Influential Prompts: Efficient Black-Box Prompt Search via Clustering and Pruning
• Title（参考訳）: 最も影響力のあるプロンプトの生存:クラスタリングとpruningによる効率的なブラックボックスプロンプト検索
• Authors: Han Zhou, Xingchen Wan, Ivan Vuli\'c, Anna Korhonen
• Abstract要約: 本稿では,まず検索空間をクラスタ化してプルークするブラックボックス探索手法を提案する。 検索空間設計と最適化は,ブラックボックス・プロンプトに基づく学習の有用性と効率性を両立させる上で重要な役割を担っている。
• 参考スコア（独自算出の注目度）: 77.61565726647784
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Prompt-based learning has been an effective paradigm for large pretrained language models (LLM), enabling few-shot or even zero-shot learning. Black-box prompt search has received growing interest recently for its distinctive properties of gradient-free optimization, proven particularly useful and powerful for model-as-a-service usage. However, the discrete nature and the complexity of combinatorial optimization hinder the efficiency of modern black-box approaches. Despite extensive research on search algorithms, the crucial aspect of search space design and optimization has been largely overlooked. In this paper, we first conduct a sensitivity analysis by prompting LLM, revealing that only a small number of tokens exert a disproportionate amount of influence on LLM predictions. Leveraging this insight, we propose the Clustering and Pruning for Efficient Black-box Prompt Search (ClaPS), a simple black-box search method that first clusters and prunes the search space to focus exclusively on influential prompt tokens. By employing even simple search methods within the pruned search space, ClaPS achieves state-of-the-art performance across various tasks and LLMs, surpassing the performance of complex approaches while significantly reducing search costs. Our findings underscore the critical role of search space design and optimization in enhancing both the usefulness and the efficiency of black-box prompt-based learning.
• Abstract（参考訳）: プロンプトベースの学習は、大規模な事前学習された言語モデル(llm)にとって効果的なパラダイムであり、少数またはゼロショットの学習を可能にする。 ブラックボックスのプロンプト検索は、特にモデル・アズ・ア・サービスの使用において有用で強力であることが証明された勾配のない最適化の特徴から、近年注目されている。 しかし、離散的性質と組合せ最適化の複雑さは、現代のブラックボックスアプローチの効率を阻害する。 検索アルゴリズムに関する広範な研究にもかかわらず、検索空間設計と最適化の重要な側面は見過ごされてきた。 本稿では,LSM予測に不均等な影響を及ぼすトークンはごく少数しかないことを明らかにするとともに,LSMの感度解析を行う。 この知見を生かしたクラスタリングとプルーニング(Clustering and Pruning for Efficient Black-box Prompt Search, ClaPS)を提案する。 プルーニングされた検索空間内でも単純な検索手法を採用することで、ClaPSは様々なタスクやLLMにわたる最先端のパフォーマンスを達成し、複雑なアプローチのパフォーマンスを上回り、検索コストを大幅に削減する。 本研究は,ブラックボックスプロンプトベース学習の有用性と効率を高める上で,検索空間設計と最適化が重要な役割を担っている。

関連論文リスト

• Discovering Preference Optimization Algorithms with and for Large Language Models [50.843710797024805]
  オフライン優先最適化は、LLM(Large Language Model)出力の品質を向上・制御するための重要な手法である。 我々は、人間の介入なしに、新しい最先端の選好最適化アルゴリズムを自動で発見する客観的発見を行う。 実験は、ロジスティックと指数的損失を適応的にブレンドする新しいアルゴリズムであるDiscoPOPの最先端性能を示す。
  論文  参考訳（メタデータ） (2024-06-12T16:58:41Z)
• Efficient Prompting Methods for Large Language Models: A Survey [50.171011917404485]
  プロンプティングは、特定の自然言語処理タスクに大規模言語モデル(LLM)を適用するための主流パラダイムとなっている。 このアプローチは、LLMの振る舞いをガイドし、制御するために、モデル推論と人間の努力のさらなる計算負担をもたらす。 本稿では, 今後の研究の方向性を明らかにするため, 促進, 効率的な促進のための進歩を概説する。
  論文  参考訳（メタデータ） (2024-04-01T12:19:08Z)
• PhaseEvo: Towards Unified In-Context Prompt Optimization for Large Language Models [9.362082187605356]
  本稿では、LLMの生成能力と進化アルゴリズムのグローバル検索能力を組み合わせた効率的な自動プロンプト最適化フレームワークであるPhaseEvoについて述べる。 PhaseEvoは、優れた効率を維持しながら、最先端のベースライン手法を大きなマージンで大幅に上回っている。
  論文  参考訳（メタデータ） (2024-02-17T17:47:10Z)
• Query-Dependent Prompt Evaluation and Optimization with Offline Inverse RL [62.824464372594576]
  ゼロショットプロンプト最適化により,Large Language Models (LLM) の算術的推論能力を向上させることを目的とする。 このような最適化では、以前見過ごされたクエリ依存の目的を特定します。 本稿では、オフライン逆強化学習を利用して、実演データから洞察を引き出すPrompt-OIRLを紹介する。
  論文  参考訳（メタデータ） (2023-09-13T01:12:52Z)
• PromptBoosting: Black-Box Text Classification with Ten Forward Passes [61.38341243907045]
  PromptBoostingは、LMのパラメータ、勾配、隠された表現にアクセスすることなく、ニューラルネットワークモデル(LM)からテキスト分類器を構築するためのクエリ効率のよい手順である。 実験によると、PromptBoostingは複数のブラックボックスのいくつかのショット分類タスクで最先端のパフォーマンスを達成し、既存のブラックボックスメソッドよりも10倍速くトレーニングしながら、少数ショットと標準学習のパラダイムの両方で完全な微調整をマッチまたは上回っている。
  論文  参考訳（メタデータ） (2022-12-19T06:04:54Z)
• Monte Carlo Tree Descent for Black-Box Optimization [10.698553177585973]
  我々は、より高速な最適化のためにサンプルベース降下をさらに統合する方法を研究する。 我々は,モンテカルロ探索木の拡張手法を,頂点における新しい降下法を用いて設計する。 提案アルゴリズムは,多くの挑戦的ベンチマーク問題において,最先端の手法より優れていることを示す。
  論文  参考訳（メタデータ） (2022-11-01T22:45:10Z)
• Efficient Non-Parametric Optimizer Search for Diverse Tasks [93.64739408827604]
  興味のあるタスクを直接検索できる,スケーラブルで汎用的なフレームワークを初めて提示する。 基礎となる数学表現の自然木構造に着想を得て、空間を超木に再配置する。 我々は,モンテカルロ法を木探索に適用し,レジェクションサンプリングと等価形状検出を備える。
  論文  参考訳（メタデータ） (2022-09-27T17:51:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。