論文の概要: Automatic Label Sequence Generation for Prompting Sequence-to-sequence Models

• arxiv url: http://arxiv.org/abs/2209.09401v1
• Date: Tue, 20 Sep 2022 01:35:04 GMT
• ステータス: 処理完了
• システム内更新日: 2022-09-21 17:33:39.837815
• Title: Automatic Label Sequence Generation for Prompting Sequence-to-sequence Models
• Title（参考訳）: シーケンシャル・ツー・シーケンスモデルプロンプトのためのラベルシーケンスの自動生成
• Authors: Zichun Yu, Tianyu Gao, Zhengyan Zhang, Yankai Lin, Zhiyuan Liu, Maosong Sun and Jie Zhou
• Abstract要約: 完全自動プロンプト方式であるAutoSeqを提案する。 我々はシーケンス・ツー・シーケンス・モデルに自然言語プロンプトを採用する。 本手法は,数ショット学習におけるシーケンス・ツー・シーケンスモデルの可能性を明らかにする。
• 参考スコア（独自算出の注目度）: 105.4590533269863
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Prompting, which casts downstream applications as language modeling tasks, has shown to be sample efficient compared to standard fine-tuning with pre-trained models. However, one pitfall of prompting is the need of manually-designed patterns, whose outcome can be unintuitive and requires large validation sets to tune. To tackle the challenge, we propose AutoSeq, a fully automatic prompting method: (1) We adopt natural language prompts on sequence-to-sequence models, enabling free-form generation and larger label search space; (2) We propose label sequences -- phrases with indefinite lengths to verbalize the labels -- which eliminate the need of manual templates and are more expressive than single label words; (3) We use beam search to automatically generate a large amount of label sequence candidates and propose contrastive re-ranking to get the best combinations. AutoSeq significantly outperforms other no-manual-design methods, such as soft prompt tuning, adapter tuning, and automatic search on single label words; the generated label sequences are even better than curated manual ones on a variety of tasks. Our method reveals the potential of sequence-to-sequence models in few-shot learning and sheds light on a path to generic and automatic prompting. The source code of this paper can be obtained from https://github.com/thunlp/Seq2Seq-Prompt.
• Abstract（参考訳）: 下流のアプリケーションを言語モデリングタスクとして活用するPromptingは、事前訓練されたモデルによる標準的な微調整に比べて、サンプル効率が良い。 しかしながら、プロンプトの落とし穴のひとつは、手動で設計したパターンの必要性である。 To tackle the challenge, we propose AutoSeq, a fully automatic prompting method: (1) We adopt natural language prompts on sequence-to-sequence models, enabling free-form generation and larger label search space; (2) We propose label sequences -- phrases with indefinite lengths to verbalize the labels -- which eliminate the need of manual templates and are more expressive than single label words; (3) We use beam search to automatically generate a large amount of label sequence candidates and propose contrastive re-ranking to get the best combinations. AutoSeqは、ソフトプロンプトチューニング、アダプタチューニング、シングルラベル語の自動検索など、他の非マニュアル設計手法よりも優れている。 提案手法は,数点学習におけるシーケンス列モデルの可能性を明らかにし,汎用的かつ自動的なプロンプトへの経路に光を当てる。 本論文のソースコードはhttps://github.com/thunlp/Seq2Seq-Promptから取得できる。

関連論文リスト

• Automated Black-box Prompt Engineering for Personalized Text-to-Image Generation [150.57983348059528]
  PRISMは人間の解釈可能なプロンプトと転送可能なプロンプトを自動的に識別するアルゴリズムである。 T2Iモデルへのブラックボックスアクセスのみを前提として、望まれる概念を効果的に生成できる。 本実験は,オブジェクト,スタイル,画像の正確なプロンプト生成におけるPRISMの有効性と有効性を示す。
  論文  参考訳（メタデータ） (2024-03-28T02:35:53Z)
• OTSeq2Set: An Optimal Transport Enhanced Sequence-to-Set Model for Extreme Multi-label Text Classification [9.990725102725916]
  XMTC (Extreme Multi-label text classification) は、大規模ラベルコレクションから最も関連性の高いサブセットラベルを見つけるタスクである。 OTSeq2Set という名前の XMTC タスクに対する自己回帰シーケンス・ツー・セットモデルを提案する。 本モデルは,学生強制スキームにおける予測を生成し,両部マッチングに基づく損失関数を用いて学習する。
  論文  参考訳（メタデータ） (2022-10-26T07:25:18Z)
• Modeling sequential annotations for sequence labeling with crowds [8.239028141030621]
  クラウドシーケンシャルアノテーションは、シーケンスラベリングのための大規模なデータセットを構築する上で、効率的でコスト効率のよい方法である。 群集を用いたシーケンスラベリングのための逐次アノテーションのモデル化(SA-SLC)を提案する。 提案手法は,クラウド・シーケンシャル・アノテーションから有効な基底トラス・ラベル・シーケンスを導出するために有効なラベル・シーケンス・推論(VLSE)手法を提案する。
  論文  参考訳（メタデータ） (2022-09-20T02:51:23Z)
• Conditional set generation using Seq2seq models [52.516563721766445]
  条件セット生成は、トークンの入力シーケンスからセットへのマッピングを学習する。 シーケンス・ツー・シーケンス(Seq2seq)モデルは、モデルセット生成において一般的な選択である。 本稿では,ラベル順序空間上の情報的順序を効果的に抽出する新しいアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2022-05-25T04:17:50Z)
• Automatic Multi-Label Prompting: Simple and Interpretable Few-Shot Classification [15.575483080819563]
  本稿では,自動マルチラベルプロンプト(AMuLaP)を提案する。 提案手法は,1対多のラベルマッピングと統計に基づくアルゴリズムを用いて,プロンプトテンプレートを付与したラベルマッピングを選択する。 実験の結果,AMuLaPは人的労力や外部リソースを使わずにGLUEベンチマーク上での競合性能を実証した。
  論文  参考訳（メタデータ） (2022-04-13T11:15:52Z)
• Plug-Tagger: A Pluggable Sequence Labeling Framework Using Language Models [46.59447116255979]
  本稿では,シーケンスラベリングタスクの分類に代えてラベル単語の予測手法を提案する。 我々の手法は、プラグ・アンド・プレイ法よりも最大70倍高速である。
  論文  参考訳（メタデータ） (2021-10-14T13:05:06Z)
• Accelerating BERT Inference for Sequence Labeling via Early-Exit [65.7292767360083]
  我々は最近成功した早期退避機構を拡張し、シークエンスラベリングタスクに対するPTMの推論を高速化する。 また、異なる層で部分トークンを早期に退避させるトークンレベルの早期退避機構も提案する。 当社のアプローチでは,パフォーマンスの低下を最小限に抑えながら,最大66%～75%の推論コストを削減できる。
  論文  参考訳（メタデータ） (2021-05-28T14:39:26Z)
• SeqMix: Augmenting Active Sequence Labeling via Sequence Mixup [11.606681893887604]
  本稿では,アクティブなシーケンスラベリングのラベル効率を向上させるため,単純だが効果的なデータ拡張手法を提案する。 提案手法であるSeqMixは,反復毎にラベル付き配列を付加することで,クエリされたサンプルを増大させる。 SeqMixでは、クエリされたサンプルのシーケンスとトークンレベルのラベルをミックスアップすることで、この問題に対処する。
  論文  参考訳（メタデータ） (2020-10-05T20:27:14Z)
• Interaction Matching for Long-Tail Multi-Label Classification [57.262792333593644]
  既存のマルチラベル分類モデルにおいて,制約に対処するためのエレガントで効果的なアプローチを提案する。 ソフトなn-gram相互作用マッチングを実行することで、ラベルと自然言語記述をマッチングする。
  論文  参考訳（メタデータ） (2020-05-18T15:27:55Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。