論文の概要: Input-Tuning: Adapting Unfamiliar Inputs to Frozen Pretrained Models

• arxiv url: http://arxiv.org/abs/2203.03131v1
• Date: Mon, 7 Mar 2022 05:04:32 GMT
• ステータス: 処理完了
• システム内更新日: 2022-03-08 14:35:55.621312
• Title: Input-Tuning: Adapting Unfamiliar Inputs to Frozen Pretrained Models
• Title（参考訳）: 入力チューニング: 未慣れな入力を凍結事前学習モデルに適用する
• Authors: Shengnan An, Yifei Li, Zeqi Lin, Qian Liu, Bei Chen, Qiang Fu, Weizhu Chen, Nanning Zheng and Jian-Guang Lou
• Abstract要約: NLGタスクの即時チューニングの発達を妨げる要因の1つは、馴染みの無い入力である、と我々は主張する。 これは、連続的なプロンプトと入力表現の両方を微調整する入力チューニングを提案する動機である。 提案する入力チューニングは概念的にシンプルで,実証的に強力である。
• 参考スコア（独自算出の注目度）: 82.75572875007755
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recently the prompt-tuning paradigm has attracted significant attention. By only tuning continuous prompts with a frozen pre-trained language model (PLM), prompt-tuning takes a step towards deploying a shared frozen PLM to serve numerous downstream tasks. Although prompt-tuning shows good performance on certain natural language understanding (NLU) tasks, its effectiveness on natural language generation (NLG) tasks is still under-explored. In this paper, we argue that one of the factors hindering the development of prompt-tuning on NLG tasks is the unfamiliar inputs (i.e., inputs are linguistically different from the pretraining corpus). For example, our preliminary exploration reveals a large performance gap between prompt-tuning and fine-tuning when unfamiliar inputs occur frequently in NLG tasks. This motivates us to propose input-tuning, which fine-tunes both the continuous prompts and the input representations, leading to a more effective way to adapt unfamiliar inputs to frozen PLMs. Our proposed input-tuning is conceptually simple and empirically powerful. Experimental results on seven NLG tasks demonstrate that input-tuning is significantly and consistently better than prompt-tuning. Furthermore, on three of these tasks, input-tuning can achieve a comparable or even better performance than fine-tuning.
• Abstract（参考訳）: 近年,プロンプトチューニングパラダイムが注目されている。 凍った事前学習された言語モデル(plm)で連続的なプロンプトをチューニングするだけで、プロンプトチューニングは、多数のダウンストリームタスクを提供するために共有凍結plmをデプロイするステップを踏む。 プロンプトチューニングは、特定の自然言語理解(NLU)タスクにおいて優れた性能を示すが、自然言語生成(NLG)タスクに対する効果はまだ未定である。 本稿では,nlgタスクにおけるプロンプトチューニングの発達を妨げる要因の一つとして,不慣れな入力(つまり,入力が事前学習コーパスと言語的に異なる)があると主張する。 例えば,NLGタスクにおいて不慣れな入力が頻繁に発生する場合に,プロンプトチューニングと微調整の間に大きなパフォーマンスギャップが生じる。 これにより、連続的なプロンプトと入力表現の両方を微調整し、不慣れな入力を凍結したPLMに適応させるより効果的な方法が提案される。 提案する入力チューニングは概念上シンプルかつ経験的に強力である。 7つのNLGタスクの実験結果から,インプットチューニングはプロンプトチューニングよりも有意に,一貫して優れていることが示された。 さらに、これらの3つのタスクにおいて、インプットチューニングは微調整よりも同等またはそれ以上のパフォーマンスを達成することができる。

関連論文リスト

• Generative Input: Towards Next-Generation Input Methods Paradigm [49.98958865125018]
  我々はGeneInputという新しい生成入力パラダイムを提案する。 すべての入力シナリオと他のインテリジェントな補助入力関数を処理するためにプロンプトを使用し、ユーザーフィードバックでモデルを最適化し、パーソナライズされた結果を提供する。 その結果,FK2C(Full-mode Key-sequence to Characters)タスクにおいて,最先端のパフォーマンスを初めて達成したことを示す。
  論文  参考訳（メタデータ） (2023-11-02T12:01:29Z)
• On the Role of Attention in Prompt-tuning [90.97555030446563]
  本研究では,一層アテンションアーキテクチャのプロンプトチューニングについて検討し,文脈混合モデルについて検討する。 ソフトマックス・プロンプト・アテンションは, ソフトマックス・自己アテンションやリニア・プロンプト・アテンションよりも明らかに表現力が高いことを示す。 また、実際のデータセットに関する理論的洞察を検証し、モデルが文脈関連情報にどのように対応できるかを示す実験も提供する。
  論文  参考訳（メタデータ） (2023-06-06T06:23:38Z)
• Dynamic Prompting: A Unified Framework for Prompt Tuning [33.175097465669374]
  本稿では、特定のタスクやインスタンスに基づいて、異なるプロンプトの要因を動的に決定する統合動的プロンプト(DP)チューニング戦略を提案する。 実験結果は、幅広いタスクにわたる動的プロンプトチューニングによって達成された顕著なパフォーマンス改善を裏付けるものである。 我々は、全データ、少数ショット、マルチタスクのシナリオの下で、我々のアプローチの普遍的な適用性を確立する。
  論文  参考訳（メタデータ） (2023-03-06T06:04:46Z)
• XPrompt: Exploring the Extreme of Prompt Tuning [31.242680485717447]
  本稿では,宝くじの仮説の下で,eXtremely small scale (XPrompt) を用いた新しいPromptチューニングモデルを提案する。 XPromptは階層的な構造化プルーニングによって異なるレベルの負のプロンプトトークンを排除し、よりパラメータ効率のよいプロンプトを競合性能で得る。
  論文  参考訳（メタデータ） (2022-10-10T06:57:19Z)
• Instance-wise Prompt Tuning for Pretrained Language Models [72.74916121511662]
  インスタンスワイドのPrompt Tuning(IPT)は、入力データインスタンスからプロンプトに知識を注入する最初のプロンプト学習パラダイムである。 IPTはタスクベースのプロンプト学習法を著しく上回り、調律パラメータのわずか0.5%から1.5%で従来の微調整に匹敵する性能を達成している。
  論文  参考訳（メタデータ） (2022-06-04T10:08:50Z)
• IDPG: An Instance-Dependent Prompt Generation Method [58.45110542003139]
  Prompt tuningは、モデルトレーニング段階で各入力インスタンスにタスク固有のプロンプトを追加する、新しい、効率的なNLP転送学習パラダイムである。 本稿では,各入力インスタンスのプロンプトを生成する条件付きプロンプト生成手法を提案する。
  論文  参考訳（メタデータ） (2022-04-09T15:45:27Z)
• Making Pre-trained Language Models End-to-end Few-shot Learners with Contrastive Prompt Tuning [41.15017636192417]
  CP-Tuning(CP-Tuning)は、言語モデルのための最初のエンドツーエンドのPrompt Tuningフレームワークである。 完全にトレーニング可能なプロンプトパラメータを持つタスク不変の連続プロンプトエンコーディング技術と統合されている。 IRシステムや異なるPLMで使用される様々な言語理解タスクの実験は、CP-Tuningが最先端の手法より優れていることを示している。
  論文  参考訳（メタデータ） (2022-04-01T02:24:24Z)
• AdaPrompt: Adaptive Model Training for Prompt-based NLP [77.12071707955889]
  PLMの継続事前学習のための外部データを適応的に検索するAdaPromptを提案する。 5つのNLPベンチマークの実験結果から、AdaPromptは数ショット設定で標準PLMよりも改善可能であることが示された。 ゼロショット設定では、標準のプロンプトベースの手法を26.35%の相対誤差削減で上回ります。
  論文  参考訳（メタデータ） (2022-02-10T04:04:57Z)
• GPT Understands, Too [42.701765107498346]
  本稿では,個別のプロンプトと組み合わせたトレーニング可能な連続プロンプト埋め込みを用いた新しいP-Tuning法を提案する。 P-Tuningは一般的に、完全に教師された設定と少数の設定の両方の下で、凍結された言語モデルとチューニングされた言語モデルの両方に有効である。
  論文  参考訳（メタデータ） (2021-03-18T17:13:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。