論文の概要: Continuous Prompt Generation from Linear Combination of Discrete Prompt Embeddings

• arxiv url: http://arxiv.org/abs/2312.10323v2
• Date: Wed, 14 Feb 2024 18:57:20 GMT
• ステータス: 処理完了
• システム内更新日: 2024-02-15 18:56:32.386842
• Title: Continuous Prompt Generation from Linear Combination of Discrete Prompt Embeddings
• Title（参考訳）: 離散的プロンプトの線形結合による連続的プロンプト生成
• Authors: Pascal Passigan, Kidus Yohannes, Joshua Pereira
• Abstract要約: 本稿では、離散的なプロンプト埋め込みによる連続的プロンプト構築手法を提案し、連続的プロンプト解釈可能性および推論精度の向上を評価する。 手動で設計した離散プロンプトのセット $mathcalD$ に対して、各プロンプトをテンソル形式にトークン化し埋め込み、これらのプロンプトの線形結合が自然言語理解タスクのより高いパフォーマンスに対応するような重みを予測できるようにモデルを訓練する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: The wayward quality of continuous prompts stresses the importance of their interpretability as unexpected and unpredictable behaviors appear following training, especially in the context of large language models automating people-sensitive tasks such as resume screening. In this paper we present a novel method of constructing continuous prompts via discrete prompt embeddings and evaluate improvements to continuous prompt interpretability and inference accuracy. For a set of manually designed discrete prompts $\mathcal{D}$, which we tokenize and embed each into tensor form, we train a model to predict the weights such that the linear combinations of those prompts correspond to higher performance on natural language understanding tasks.
• Abstract（参考訳）: 継続的プロンプトの経時的品質は、予想外の予測不可能な振る舞いがトレーニング後に現れるため、その解釈可能性の重要性を強調している。 本稿では,離散的プロンプト埋め込みによる連続的プロンプトの構築方法を提案し,連続的プロンプト解釈可能性と推論精度の改善を評価する。 手動で設計した離散プロンプトのセット $\mathcal{D}$ に対して、各プロンプトをテンソル形式にトークン化し埋め込み、これらのプロンプトの線形結合が自然言語理解タスクのより高い性能に対応するような重みを予測するモデルを訓練する。

関連論文リスト

• Eliciting Textual Descriptions from Representations of Continuous Prompts [11.489611613744724]
  本稿では,モデル推論における表現からテキスト記述を抽出する連続的プロンプトの解釈手法を提案する。 本稿では,タスク性能が向上するにつれて,タスク記述の正確さが向上することを示す。 InSPEcTは、望ましくないプロパティを継続的なプロンプトでデバッグし、開発者がそれを緩和する方法を通知するために利用することができる。
  論文  参考訳（メタデータ） (2024-10-15T14:46:11Z)
• Consistent Prompting for Rehearsal-Free Continual Learning [5.166083532861163]
  継続的な学習は、古い知識を忘れずに、モデルが絶えず変化する環境やデータストリームに自律的に適応することを可能にする。 既存のプロンプトベースの手法は、トレーニングとテストの間に不整合であり、その効果を制限している。 より整合性のあるトレーニングとテストのための新しいプロンプトベースの手法であるConsistent Prompting(CPrompt)を提案する。
  論文  参考訳（メタデータ） (2024-03-13T14:24:09Z)
• Instruction Position Matters in Sequence Generation with Large Language Models [67.87516654892343]
  大規模言語モデル(LLM)は、翻訳や要約といった条件付きシーケンス生成タスクを実行することができる。 入力文の後にタスク命令の位置をシフトさせることにより,LLMの指示追従能力を向上させることを提案する。
  論文  参考訳（メタデータ） (2023-08-23T12:36:57Z)
• Self-regulating Prompts: Foundational Model Adaptation without Forgetting [112.66832145320434]
  本稿では,PromptSRCと呼ばれる自己正規化フレームワークを提案する。 PromptSRCはタスク固有の汎用表現とタスクに依存しない汎用表現の両方に最適化するプロンプトを導く。
  論文  参考訳（メタデータ） (2023-07-13T17:59:35Z)
• On Conditional and Compositional Language Model Differentiable Prompting [75.76546041094436]
  プロンプトは、下流タスクでうまく機能するために、凍結した事前訓練言語モデル(PLM)を適応するための効果的な方法であることが示されている。 タスク命令や入力メタデータを連続的なプロンプトに変換することを学習する新しいモデル Prompt Production System (PRopS) を提案する。
  論文  参考訳（メタデータ） (2023-07-04T02:47:42Z)
• Evaluating the Robustness of Discrete Prompts [27.919548466481583]
  我々は離散的なプロンプトの堅牢性について体系的な研究を行う。 2つの自然言語推論(NLI)データセットでそれらの性能を測定する。 提案手法は,NLI入力に対する摂動に対して比較的頑健であるが,シャッフルやプロンプトの削除といった他の種類の摂動に対して非常に敏感である。
  論文  参考訳（メタデータ） (2023-02-11T07:01:53Z)
• Generative Prompt Tuning for Relation Classification [21.027631157115135]
  本稿では,関係分類を埋め込み問題として再構成する新しい生成的プロンプトチューニング手法を提案する。 さらに,エンティティ誘導型復号化と識別的関係スコアリングを設計し,推論中の関係を効果的かつ効率的に生成・調整する。
  論文  参考訳（メタデータ） (2022-10-22T12:40:23Z)
• PROMPT WAYWARDNESS: The Curious Case of Discretized Interpretation of Continuous Prompts [99.03864962014431]
  目標タスクの微調整連続プロンプトは、フルモデルの微調整に代わるコンパクトな代替品として登場した。 実際には、連続的なプロンプトによって解決されたタスクと、最も近い隣人との間の「方向」の挙動を観察する。
  論文  参考訳（メタデータ） (2021-12-15T18:55:05Z)
• Probing as Quantifying the Inductive Bias of Pre-trained Representations [99.93552997506438]
  本稿では,特定のタスクに対する表現の帰納的バイアスを評価することを目的とした,探索のための新しいフレームワークを提案する。 トークン、アーク、文レベルの一連のタスクに我々のフレームワークを適用します。
  論文  参考訳（メタデータ） (2021-10-15T22:01:16Z)
• Automated Concatenation of Embeddings for Structured Prediction [75.44925576268052]
  本稿では, 埋め込みの自動結合(ACE)を提案し, 構造予測タスクにおける埋め込みのより優れた結合を見つけるプロセスを自動化する。 我々は、強化学習の戦略に従い、制御器のパラメータを最適化し、タスクモデルの精度に基づいて報酬を計算する。
  論文  参考訳（メタデータ） (2020-10-10T14:03:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。