論文の概要: Towards Interpretable Soft Prompts

• arxiv url: http://arxiv.org/abs/2504.02144v1
• Date: Wed, 02 Apr 2025 21:42:09 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-04-04 12:58:43.077347
• Title: Towards Interpretable Soft Prompts
• Title（参考訳）: ソフトプロンプトの解釈に向けて
• Authors: Oam Patel, Jason Wang, Nikhil Shivakumar Nayak, Suraj Srinivas, Himabindu Lakkaraju,
• Abstract要約: 本研究では,2つのデシラタに基づいて,訓練可能なプロンプトの解釈可能性を評価する。 GPT-2を用いた実験は、解釈可能性と訓練可能なプロンプトのタスク性能の基本的なトレードオフを示す。
• 参考スコア（独自算出の注目度）: 24.304585350085315
• License:
• Abstract: Soft prompts have been popularized as a cheap and easy way to improve task-specific LLM performance beyond few-shot prompts. Despite their origin as an automated prompting method, however, soft prompts and other trainable prompts remain a black-box method with no immediately interpretable connections to prompting. We create a novel theoretical framework for evaluating the interpretability of trainable prompts based on two desiderata: faithfulness and scrutability. We find that existing methods do not naturally satisfy our proposed interpretability criterion. Instead, our framework inspires a new direction of trainable prompting methods that explicitly optimizes for interpretability. To this end, we formulate and test new interpretability-oriented objective functions for two state-of-the-art prompt tuners: Hard Prompts Made Easy (PEZ) and RLPrompt. Our experiments with GPT-2 demonstrate a fundamental trade-off between interpretability and the task-performance of the trainable prompt, explicating the hardness of the soft prompt interpretability problem and revealing odd behavior that arises when one optimizes for an interpretability proxy.
• Abstract（参考訳）: ソフトプロンプトは、数発のプロンプトを超えてタスク固有のLLMパフォーマンスを改善するための安価で簡単な方法として普及している。 しかし、ソフトプロンプトや他の訓練可能なプロンプトは自動プロンプト法として起源があるにもかかわらず、すぐに解釈可能な接続がないブラックボックス方式のままである。 我々は2つのデシダラタに基づく訓練可能なプロンプトの解釈可能性を評価するための新しい理論的枠組みを構築した。 既存の手法は,提案した解釈可能性基準を自然に満たさないことがわかった。 代わりに、我々のフレームワークは、解釈可能性のために明示的に最適化するトレーニング可能なプロンプトメソッドの新しい方向性を刺激します。 この目的のために、我々は2つの最先端プロンプトチューナー、Hard Prompts Made Easy (PEZ) と RL Prompt に対して、新しい解釈可能性指向の目的関数を定式化し、検証する。 GPT-2を用いて行った実験は,解釈可能性と訓練可能なプロンプトのタスク性能の基本的なトレードオフを示し,ソフトプロンプト解釈可能性問題の硬さを解明し,解釈可能性プロキシの最適化時に生じる奇妙な挙動を明らかにする。

関連論文リスト

• Towards bandit-based prompt-tuning for in-the-wild foundation agents [2.6731152954002924]
  本稿では,タスク性能を向上させるための推論時間帯域幅に基づくプロンプトチューニングフレームワークを提案する。 実験の結果,バンディットに基づくプロンプトチューニングによる性能向上だけでなく,サンプルの複雑さ,拡張性,空間探索の迅速化などが示唆された。
  論文  参考訳（メタデータ） (2025-02-10T11:20:10Z)
• Eliciting Textual Descriptions from Representations of Continuous Prompts [11.489611613744724]
  本稿では,モデル推論における表現からテキスト記述を抽出する連続的プロンプトの解釈手法を提案する。 本稿では,タスク性能が向上するにつれて,タスク記述の正確さが向上することを示す。 InSPEcTは、望ましくないプロパティを継続的なプロンプトでデバッグし、開発者がそれを緩和する方法を通知するために利用することができる。
  論文  参考訳（メタデータ） (2024-10-15T14:46:11Z)
• Hard Prompts Made Interpretable: Sparse Entropy Regularization for Prompt Tuning with RL [29.01858866450715]
  ソフトQ-ラーニングを利用した最適なプロンプトを見つけることを目的としたRLPromptを提案する。 結果は有望な結果を示す一方で,プロンプトが不自然に現れることがしばしばあり,その解釈可能性を妨げることが確認されている。 この制限をスパルス・ツァリスエントロピー正規化(英語版)を用いて解決する。
  論文  参考訳（メタデータ） (2024-07-20T03:10:19Z)
• On Meta-Prompting [17.34602431188454]
  本稿では,カテゴリ理論に基づく理論的枠組みを提案し,プロンプトの一般化と記述を行う。 私たちは、モデル研究の2つの領域、創造性と思考でフレームワークをテストします。
  論文  参考訳（メタデータ） (2023-12-11T17:46:44Z)
• Self-regulating Prompts: Foundational Model Adaptation without Forgetting [112.66832145320434]
  本稿では,PromptSRCと呼ばれる自己正規化フレームワークを提案する。 PromptSRCはタスク固有の汎用表現とタスクに依存しない汎用表現の両方に最適化するプロンプトを導く。
  論文  参考訳（メタデータ） (2023-07-13T17:59:35Z)
• On the Role of Attention in Prompt-tuning [90.97555030446563]
  本研究では,一層アテンションアーキテクチャのプロンプトチューニングについて検討し,文脈混合モデルについて検討する。 ソフトマックス・プロンプト・アテンションは, ソフトマックス・自己アテンションやリニア・プロンプト・アテンションよりも明らかに表現力が高いことを示す。 また、実際のデータセットに関する理論的洞察を検証し、モデルが文脈関連情報にどのように対応できるかを示す実験も提供する。
  論文  参考訳（メタデータ） (2023-06-06T06:23:38Z)
• Demystifying Prompts in Language Models via Perplexity Estimation [109.59105230163041]
  プロンプトのパフォーマンスは、モデルが含んでいる言語に精通している範囲と結合している。 プロンプトの難易度が低ければ低いほど、プロンプトがタスクを実行することができることを示す。
  論文  参考訳（メタデータ） (2022-12-08T02:21:47Z)
• Bayesian Prompt Learning for Image-Language Model Generalization [64.50204877434878]
  我々はベイズ法の正規化能力を用いて、変分推論問題としてプロンプト学習をフレーム化する。 提案手法は,プロンプト空間を正規化し,目に見えないプロンプトへの過剰適合を低減し,目に見えないプロンプトのプロンプト一般化を改善する。 ベイジアン・プロンプト学習がプロンプト空間の適切なカバレッジを提供する15のベンチマークを実証的に示す。
  論文  参考訳（メタデータ） (2022-10-05T17:05:56Z)
• MetaPrompting: Learning to Learn Better Prompts [52.914694884515534]
  本稿では,メタプロンプトと呼ばれるソフトプロンプト手法を提案する。 大規模な実験は、MetaPromptingが4つの異なるデータセットに大きな改善をもたらすことを示している。
  論文  参考訳（メタデータ） (2022-09-23T09:01:05Z)
• RLPrompt: Optimizing Discrete Text Prompts With Reinforcement Learning [84.75064077323098]
  本稿では、強化学習(RL)を用いた離散的高速最適化手法RLPromptを提案する。 RLPromptは、マスク付きジベリッシュ(例:grammaBERT)や左から右へのモデル(例:GPT)など、様々な種類のLMに柔軟に適用可能である。 少数ショット分類と教師なしテキストスタイル転送の実験は、既存のファインタニングやプロンプト手法よりも優れた性能を示す。
  論文  参考訳（メタデータ） (2022-05-25T07:50:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。