論文の概要: Eliciting Textual Descriptions from Representations of Continuous Prompts

• arxiv url: http://arxiv.org/abs/2410.11660v1
• Date: Tue, 15 Oct 2024 14:46:11 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-16 14:02:35.929693
• Title: Eliciting Textual Descriptions from Representations of Continuous Prompts
• Title（参考訳）: 連続したプロンプトの表現から文章記述を引用する
• Authors: Dana Ramati, Daniela Gottesman, Mor Geva,
• Abstract要約: 本稿では,モデル推論における表現からテキスト記述を抽出する連続的プロンプトの解釈手法を提案する。 本稿では,タスク性能が向上するにつれて,タスク記述の正確さが向上することを示す。 InSPEcTは、望ましくないプロパティを継続的なプロンプトでデバッグし、開発者がそれを緩和する方法を通知するために利用することができる。
• 参考スコア（独自算出の注目度）: 11.489611613744724
• License:
• Abstract: Continuous prompts, or "soft prompts", are a widely-adopted parameter-efficient tuning strategy for large language models, but are often less favorable due to their opaque nature. Prior attempts to interpret continuous prompts relied on projecting individual prompt tokens onto the vocabulary space. However, this approach is problematic as performant prompts can yield arbitrary or contradictory text, and it interprets prompt tokens individually. In this work, we propose a new approach to interpret continuous prompts that elicits textual descriptions from their representations during model inference. Using a Patchscopes variant (Ghandeharioun et al., 2024) called InSPEcT over various tasks, we show our method often yields accurate task descriptions which become more faithful as task performance increases. Moreover, an elaborated version of InSPEcT reveals biased features in continuous prompts, whose presence correlates with biased model predictions. Providing an effective interpretability solution, InSPEcT can be leveraged to debug unwanted properties in continuous prompts and inform developers on ways to mitigate them.
• Abstract（参考訳）: 連続プロンプト(英: continuous prompts)または「ソフトプロンプト(英: soft prompts)」は、大きな言語モデルにおいて広く採用されているパラメータ効率のチューニング戦略であるが、不透明な性質のため、しばしば好ましくない。 連続的なプロンプトを解釈しようとする以前の試みは、個々のプロンプトトークンを語彙空間に投影することに依存していた。 しかし、命令プロンプトが任意のあるいは矛盾したテキストを生成でき、プロンプトトークンを個別に解釈できるため、このアプローチは問題となる。 本研究では,モデル推論中の表現からテキスト記述を抽出する連続的プロンプトを解釈する新しい手法を提案する。 様々なタスクに対してPatchscopes variant (Ghandeharioun et al , 2024) の InSPEcT を用いて, タスク性能が向上するにつれて, タスク記述がより忠実になることを示す。 さらに、InSPEcTの精巧なバージョンでは、連続的なプロンプトにおけるバイアスのある特徴が示され、その存在はバイアス付きモデル予測と相関する。 効果的な解釈可能性ソリューションを提供するため、InSPEcTは、不要なプロパティを継続的なプロンプトでデバッグし、開発者がそれを緩和する方法を通知するために利用することができる。

関連論文リスト

• Hard Prompts Made Interpretable: Sparse Entropy Regularization for Prompt Tuning with RL [29.01858866450715]
  ソフトQ-ラーニングを利用した最適なプロンプトを見つけることを目的としたRLPromptを提案する。 結果は有望な結果を示す一方で,プロンプトが不自然に現れることがしばしばあり,その解釈可能性を妨げることが確認されている。 この制限をスパルス・ツァリスエントロピー正規化(英語版)を用いて解決する。
  論文  参考訳（メタデータ） (2024-07-20T03:10:19Z)
• Continuous Prompt Generation from Linear Combination of Discrete Prompt Embeddings [0.0]
  本稿では、離散的なプロンプト埋め込みによる連続的プロンプト構築手法を提案し、連続的プロンプト解釈可能性および推論精度の向上を評価する。 手動で設計した離散プロンプトのセット $mathcalD$ に対して、各プロンプトをテンソル形式にトークン化し埋め込み、これらのプロンプトの線形結合が自然言語理解タスクのより高いパフォーマンスに対応するような重みを予測できるようにモデルを訓練する。
  論文  参考訳（メタデータ） (2023-12-16T05:02:06Z)
• Self-regulating Prompts: Foundational Model Adaptation without Forgetting [112.66832145320434]
  本稿では,PromptSRCと呼ばれる自己正規化フレームワークを提案する。 PromptSRCはタスク固有の汎用表現とタスクに依存しない汎用表現の両方に最適化するプロンプトを導く。
  論文  参考訳（メタデータ） (2023-07-13T17:59:35Z)
• On the Role of Attention in Prompt-tuning [90.97555030446563]
  本研究では,一層アテンションアーキテクチャのプロンプトチューニングについて検討し,文脈混合モデルについて検討する。 ソフトマックス・プロンプト・アテンションは, ソフトマックス・自己アテンションやリニア・プロンプト・アテンションよりも明らかに表現力が高いことを示す。 また、実際のデータセットに関する理論的洞察を検証し、モデルが文脈関連情報にどのように対応できるかを示す実験も提供する。
  論文  参考訳（メタデータ） (2023-06-06T06:23:38Z)
• Attend-and-Excite: Attention-Based Semantic Guidance for Text-to-Image Diffusion Models [103.61066310897928]
  最近のテキスト・ツー・イメージ生成モデルは、ターゲットのテキスト・プロンプトによって導かれる多様な創造的な画像を生成する非例外的な能力を実証している。 革命的ではあるが、現在の最先端拡散モデルは、与えられたテキストプロンプトのセマンティクスを完全に伝達するイメージの生成に失敗する可能性がある。 本研究では, 一般に公開されている安定拡散モデルを分析し, 破滅的無視の有無を評価し, そのモデルが入力プロンプトから1つ以上の被写体を生成するのに失敗した場合について検討する。 提案するジェネレーティブ・セマンティック・ナーシング(GSN)の概念は、推論時間中にハエの生殖過程に介入し、忠実性を改善するものである。
  論文  参考訳（メタデータ） (2023-01-31T18:10:38Z)
• Generative Prompt Tuning for Relation Classification [21.027631157115135]
  本稿では,関係分類を埋め込み問題として再構成する新しい生成的プロンプトチューニング手法を提案する。 さらに,エンティティ誘導型復号化と識別的関係スコアリングを設計し,推論中の関係を効果的かつ効率的に生成・調整する。
  論文  参考訳（メタデータ） (2022-10-22T12:40:23Z)
• Bayesian Prompt Learning for Image-Language Model Generalization [64.50204877434878]
  我々はベイズ法の正規化能力を用いて、変分推論問題としてプロンプト学習をフレーム化する。 提案手法は,プロンプト空間を正規化し,目に見えないプロンプトへの過剰適合を低減し,目に見えないプロンプトのプロンプト一般化を改善する。 ベイジアン・プロンプト学習がプロンプト空間の適切なカバレッジを提供する15のベンチマークを実証的に示す。
  論文  参考訳（メタデータ） (2022-10-05T17:05:56Z)
• RLPrompt: Optimizing Discrete Text Prompts With Reinforcement Learning [84.75064077323098]
  本稿では、強化学習(RL)を用いた離散的高速最適化手法RLPromptを提案する。 RLPromptは、マスク付きジベリッシュ(例:grammaBERT)や左から右へのモデル(例:GPT)など、様々な種類のLMに柔軟に適用可能である。 少数ショット分類と教師なしテキストスタイル転送の実験は、既存のファインタニングやプロンプト手法よりも優れた性能を示す。
  論文  参考訳（メタデータ） (2022-05-25T07:50:31Z)
• PROMPT WAYWARDNESS: The Curious Case of Discretized Interpretation of Continuous Prompts [99.03864962014431]
  目標タスクの微調整連続プロンプトは、フルモデルの微調整に代わるコンパクトな代替品として登場した。 実際には、連続的なプロンプトによって解決されたタスクと、最も近い隣人との間の「方向」の挙動を観察する。
  論文  参考訳（メタデータ） (2021-12-15T18:55:05Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。