論文の概要: Inverse is Better! Fast and Accurate Prompt for Few-shot Slot Tagging

• arxiv url: http://arxiv.org/abs/2204.00885v1
• Date: Sat, 2 Apr 2022 15:41:19 GMT
• ステータス: 処理完了
• システム内更新日: 2022-04-05 13:10:29.238324
• Title: Inverse is Better! Fast and Accurate Prompt for Few-shot Slot Tagging
• Title（参考訳）: Inverse is Better! Few-shot Slot Taggingのための高速かつ高精度なプロンプト
• Authors: Yutai Hou, Cheng Chen, Xianzhen Luo, Bohan Li, Wanxiang Che
• Abstract要約: 古典的なプロンプトのトークンをラベルにマッピングするのと異なり、スロットタイプが与えられた場合のスロット値を逆に予測する。 やや驚くべきことに、提案手法はより高速に予測できるだけでなく、効果を著しく改善する(10ショット設定で6.1F1スコア以上)。
• 参考スコア（独自算出の注目度）: 54.557406779183495
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Prompting methods recently achieve impressive success in few-shot learning. These methods modify input samples with prompt sentence pieces, and decode label tokens to map samples to corresponding labels. However, such a paradigm is very inefficient for the task of slot tagging. Since slot tagging samples are multiple consecutive words in a sentence, the prompting methods have to enumerate all n-grams token spans to find all the possible slots, which greatly slows down the prediction. To tackle this, we introduce an inverse paradigm for prompting. Different from the classic prompts mapping tokens to labels, we reversely predict slot values given slot types. Such inverse prompting only requires a one-turn prediction for each slot type and greatly speeds up the prediction. Besides, we propose a novel Iterative Prediction Strategy, from which the model learns to refine predictions by considering the relations between different slot types. We find, somewhat surprisingly, the proposed method not only predicts faster but also significantly improves the effect (improve over 6.1 F1-scores on 10-shot setting) and achieves new state-of-the-art performance.
• Abstract（参考訳）: プロンプティング手法は最近、数発の学習で驚くべき成功を収めた。 これらの方法は入力サンプルをプロンプト文で修正し、サンプルを対応するラベルにマップするためにラベルトークンをデコードする。 しかし、そのようなパラダイムはスロットタギングのタスクでは非効率である。 スロットタグ付けサンプルは文中の複数の連続した単語であるため、すべてのn-gramsトークンスパンを列挙して可能なスロットを見つける必要があるため、予測が大幅に遅くなる。 これに対処するために,プロンプトのための逆パラダイムを導入する。 ラベルにトークンをマッピングする古典的なプロンプトと異なり、スロット型が与えられたスロット値を逆向きに予測する。 このような逆プロンプトはスロットタイプごとに1ターンの予測しか必要とせず、予測を大幅に高速化する。 さらに,異なるスロットタイプ間の関係を考慮し,モデルが予測を洗練させることを学習する,新しい反復予測戦略を提案する。 驚くべきことに,提案手法はより高速に予測できるだけでなく,効果(10ショットで6.1F1スコア以上)を大幅に改善し,新たな最先端性能を実現する。

関連論文リスト

• Improving Next Tokens via Second-Last Predictions with Generate and Refine [1.8592384822257952]
  トークン列の最後の2番目のトークンを予測するために、デコーダのみのアーキテクチャをトレーニングします。 提案手法により,BERTモデルよりも高い計算訓練効率が得られる。
  論文  参考訳（メタデータ） (2024-11-23T22:09:58Z)
• Object Recognition as Next Token Prediction [99.40793702627396]
  オブジェクト認識を次のトークン予測として提案する。 その考え方は、画像埋め込みからフォームラベルへのテキストトークンの自動回帰予測を行う言語デコーダを適用することである。
  論文  参考訳（メタデータ） (2023-12-04T18:58:40Z)
• Embroid: Unsupervised Prediction Smoothing Can Improve Few-Shot Classification [20.85088711770188]
  ラベル付きデータを追加せずに即時学習を改善することができることを示す。 組込み関数の異なるデータセットの複数の表現を演算するEmbroidを提案する。 Embroidはオリジナルのプロンプトよりも性能が大幅に向上することがわかった。
  論文  参考訳（メタデータ） (2023-07-20T17:07:28Z)
• Generative Zero-Shot Prompt Learning for Cross-Domain Slot Filling with Inverse Prompting [27.186526104248696]
  クロスドメインスロットフィリングは、ラベル付きドメインからラベルなしのターゲットドメインに知識を転送することを目的としている。 クロスドメインスロットフィリングのための生成ゼロショットプロンプト学習フレームワークを提案する。 実験と分析により,提案手法の有効性が示された。
  論文  参考訳（メタデータ） (2023-07-06T07:53:46Z)
• TypeT5: Seq2seq Type Inference using Static Analysis [51.153089609654174]
  本稿では,型予測をコード入力タスクとして扱う新しい型推論手法を提案する。 本手法では静的解析を用いて,型シグネチャがモデルによって予測されるコード要素毎に動的コンテキストを構築する。 また,モデルの入力コンテキストに事前の型予測を組み込んだ反復復号方式を提案する。
  論文  参考訳（メタデータ） (2023-03-16T23:48:00Z)
• M-Tuning: Prompt Tuning with Mitigated Label Bias in Open-Set Scenarios [103.6153593636399]
  緩和ラベルバイアス(M-Tuning)を用いた視覚言語プロンプトチューニング手法を提案する。 これはWordNetからのオープンワードを導入し、クローズドセットラベルワードのみからもっと多くのプロンプトテキストを形成する単語の範囲を広げ、シミュレートされたオープンセットシナリオでプロンプトをチューニングする。 提案手法は,様々なスケールのデータセット上で最高の性能を達成し,広範囲にわたるアブレーション研究もその有効性を検証した。
  論文  参考訳（メタデータ） (2023-03-09T09:05:47Z)
• WR-ONE2SET: Towards Well-Calibrated Keyphrase Generation [57.11538133231843]
  キーワード生成は、入力文書を要約する短いフレーズを自動的に生成することを目的としている。 最近登場したONE2SETパラダイムは、キーフレーズをセットとして生成し、競争性能を達成した。 本稿では, ONE2SET を拡張した WR-ONE2SET を提案する。
  論文  参考訳（メタデータ） (2022-11-13T09:56:24Z)
• Mask-combine Decoding and Classification Approach for Punctuation Prediction with real-time Inference Constraints [10.75980867987981]
  1つのフレームワークで句読点予測のための既存のデコード戦略を統一する。 モデルをトレーニングした後、これらの戦略を最適化することで、大幅な改善が達成できることを示す。 我々は,タグ付けと分類手法の最初の比較にデコード・ストラテジー・フレームワークを使用し,リアルタイムに句読解予測を行う。
  論文  参考訳（メタデータ） (2021-12-15T13:14:36Z)
• One-bit Supervision for Image Classification [121.87598671087494]
  1ビットの監視は、不完全なアノテーションから学ぶための新しい設定である。 負ラベル抑圧を既成の半教師付き学習アルゴリズムに組み込んだ多段階学習パラダイムを提案する。
  論文  参考訳（メタデータ） (2020-09-14T03:06:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。