論文の概要: Zero-Shot Continuous Prompt Transfer: Generalizing Task Semantics Across
Language Models
- arxiv url: http://arxiv.org/abs/2310.01691v1
- Date: Mon, 2 Oct 2023 23:12:21 GMT
- ステータス: 処理完了
- システム内更新日: 2023-10-04 18:15:06.675540
- Title: Zero-Shot Continuous Prompt Transfer: Generalizing Task Semantics Across
Language Models
- Title(参考訳): ゼロショット連続プロンプト転送:言語モデル間のタスクセマンティクスの一般化
- Authors: Zijun Wu, Yongkang Wu, Lili Mou
- Abstract要約: 提案手法は,ソースプロンプトを相対空間に符号化し,対応するターゲットプロンプトを探索して対象モデルに転送するゼロショット連続プロンプト転送手法である。
実験により提案手法の有効性を確認し, 連続的プロンプトにおける「タスク意味論」が様々な言語モデルにまたがって一般化可能であることを示す。
- 参考スコア(独自算出の注目度): 27.1022647808318
- License: http://creativecommons.org/publicdomain/zero/1.0/
- Abstract: Prompt tuning in natural language processing (NLP) has become an increasingly
popular method for adapting large language models to specific tasks. However,
the transferability of these prompts, especially continuous prompts, between
different models remains a challenge. In this work, we propose a zero-shot
continuous prompt transfer method, where source prompts are encoded into
relative space and the corresponding target prompts are searched for
transferring to target models. Experimental results confirm the effectiveness
of our method, showing that 'task semantics' in continuous prompts can be
generalized across various language models. Moreover, we find that combining
'task semantics' from multiple source models can further enhance the
generalizability of transfer.
- Abstract(参考訳): 自然言語処理(NLP)におけるプロンプトチューニングは、大規模言語モデルを特定のタスクに適応させる手法として、ますます人気が高まっている。
しかし、これらのプロンプト、特に連続的なプロンプトの異なるモデル間の転送性は依然として課題である。
本研究では,ソースプロンプトを相対空間にエンコードし,対応するターゲットプロンプトを探索して対象モデルに転送するゼロショット連続プロンプト転送法を提案する。
実験の結果,連続的なプロンプトにおける「タスクセマンティクス」が様々な言語モデルで一般化できることを示した。
さらに、複数のソースモデルから「タスクセマンティクス」を組み合わせることで、転送の一般化性をさらに高めることができる。
関連論文リスト
- Meta-Task Prompting Elicits Embedding from Large Language Models [57.50329659098592]
本稿では,新しい教師なし埋め込み手法であるMeta-Task Prompting with Explicit One-Word Limitationを提案する。
モデル微調整やタスク固有のエンジニアリングを必要とせずに、大規模言語モデルから高品質な文の埋め込みを生成する。
実験により, 各種メタタスクから平均化された埋め込みは, セマンティックテキスト類似度ベンチマーク上での競合性能を示すことを示した。
本研究は, 埋込抽出のための多用途, 資源効率のよい手法を提供する, 埋込生成のための新しいスケーリング法則を示唆する。
論文 参考訳(メタデータ) (2024-02-28T16:35:52Z) - UniverSLU: Universal Spoken Language Understanding for Diverse
Classification and Sequence Generation Tasks with a Single Network [57.94075999363722]
我々は様々な音声言語理解タスクを共同で行うモデルを構築した。
個別のプロンプトとして様々なタスクやデータセットの仕様化を行う。
その結果、UniverSLUは競争性能を達成し、タスク固有のモデルを超えていることがわかった。
論文 参考訳(メタデータ) (2023-10-04T17:10:23Z) - On Conditional and Compositional Language Model Differentiable Prompting [75.76546041094436]
プロンプトは、下流タスクでうまく機能するために、凍結した事前訓練言語モデル(PLM)を適応するための効果的な方法であることが示されている。
タスク命令や入力メタデータを連続的なプロンプトに変換することを学習する新しいモデル Prompt Production System (PRopS) を提案する。
論文 参考訳(メタデータ) (2023-07-04T02:47:42Z) - DiTTO: A Feature Representation Imitation Approach for Improving
Cross-Lingual Transfer [15.062937537799005]
ゼロショット転送を改善するためのドメインとしての言語。
我々のアプローチであるDiTTOは、標準のゼロショット微調整法よりも大幅に優れていることを示す。
我々のモデルは、数ショット設定であっても、標準的な微調整法よりも言語間移動がより良くできる。
論文 参考訳(メタデータ) (2023-03-04T08:42:50Z) - On the cross-lingual transferability of multilingual prototypical models
across NLU tasks [2.44288434255221]
教師付きディープラーニングベースのアプローチはタスク指向のダイアログに適用され、限られたドメインや言語アプリケーションに有効であることが証明されている。
実際には、これらのアプローチはドメイン駆動設計とアンダーリソース言語の欠点に悩まされている。
本稿では,原型ニューラルネットワークと多言語トランスフォーマーモデルを用いた相乗的少数ショット学習の言語間変換可能性について検討する。
論文 参考訳(メタデータ) (2022-07-19T09:55:04Z) - An Exploration of Prompt Tuning on Generative Spoken Language Model for
Speech Processing Tasks [112.1942546460814]
生成音声言語モデル(GSLM)に基づく音声処理タスクの即時チューニングパラダイムの最初の検討について報告する。
実験結果から, 学習可能なパラメータが少ない音声分類タスクにおいて, 高精度なダウンストリームモデルよりも, 即時チューニング手法が競合性能を達成できることが示唆された。
論文 参考訳(メタデータ) (2022-03-31T03:26:55Z) - Zero-shot Cross-lingual Transfer of Prompt-based Tuning with a Unified
Multilingual Prompt [98.26682501616024]
我々はUniPromptと呼ばれるすべての言語に対して統一的なプロンプトを使用する新しいモデルを提案する。
統一的なプロンプトは多言語 PLM による計算であり、言語に依存しない表現を生成する。
提案手法は、異なる言語間で強いベースラインを著しく上回ることができる。
論文 参考訳(メタデータ) (2022-02-23T11:57:52Z) - SPoT: Better Frozen Model Adaptation through Soft Prompt Transfer [7.2462572989580405]
本稿では,SPoT: Soft Prompt Transferと呼ばれる新しいプロンプトベーストランスファー学習手法を提案する。
SPoTは多くのタスクでPromptTuningの性能を大幅に向上させることを示す。
また,26のNLPタスクと160のソース・ターゲットタスクを組み合わせたタスク転送性についても大規模に検討した。
論文 参考訳(メタデータ) (2021-10-15T07:35:58Z) - On the Importance of Word Order Information in Cross-lingual Sequence
Labeling [80.65425412067464]
ソース言語の単語順に適合する言語間モデルでは、ターゲット言語を処理できない可能性がある。
本研究では,ソース言語の単語順序に敏感なモデルを作成することで,対象言語の適応性能が向上するかどうかを検討する。
論文 参考訳(メタデータ) (2020-01-30T03:35:44Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。