論文の概要: Plug-Tagger: A Pluggable Sequence Labeling Framework Using Language Models

• arxiv url: http://arxiv.org/abs/2110.07331v1
• Date: Thu, 14 Oct 2021 13:05:06 GMT
• ステータス: 処理完了
• システム内更新日: 2021-10-15 12:58:58.765157
• Title: Plug-Tagger: A Pluggable Sequence Labeling Framework Using Language Models
• Title（参考訳）: Plug-Tagger: 言語モデルを用いたプラグイン可能なシーケンスラベルフレームワーク
• Authors: Xin Zhou, Ruotian Ma, Tao Gui, Yiding Tan, Qi Zhang, Xuanjing Huang
• Abstract要約: 本稿では,シーケンスラベリングタスクの分類に代えてラベル単語の予測手法を提案する。 我々の手法は、プラグ・アンド・プレイ法よりも最大70倍高速である。
• 参考スコア（独自算出の注目度）: 46.59447116255979
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Plug-and-play functionality allows deep learning models to adapt well to different tasks without requiring any parameters modified. Recently, prefix-tuning was shown to be a plug-and-play method on various text generation tasks by simply inserting corresponding continuous vectors into the inputs. However, sequence labeling tasks invalidate existing plug-and-play methods since different label sets demand changes to the architecture of the model classifier. In this work, we propose the use of label word prediction instead of classification to totally reuse the architecture of pre-trained models for sequence labeling tasks. Specifically, for each task, a label word set is first constructed by selecting a high-frequency word for each class respectively, and then, task-specific vectors are inserted into the inputs and optimized to manipulate the model predictions towards the corresponding label words. As a result, by simply switching the plugin vectors on the input, a frozen pre-trained language model is allowed to perform different tasks. Experimental results on three sequence labeling tasks show that the performance of the proposed method can achieve comparable performance with standard fine-tuning with only 0.1\% task-specific parameters. In addition, our method is up to 70 times faster than non-plug-and-play methods while switching different tasks under the resource-constrained scenario.
• Abstract（参考訳）: プラグイン・アンド・プレイ機能により、ディープラーニングモデルはパラメータを変更することなく、異なるタスクに順応することができる。 近年、プレフィックスチューニングは、入力に対応する連続ベクトルを挿入するだけで、様々なテキスト生成タスクのプラグアンドプレイ方式であることが示されている。 しかし、シーケンスラベリングタスクは、異なるラベルセットがモデル分類器のアーキテクチャの変更を要求するため、既存のプラグアンドプレイメソッドを無効にする。 そこで本研究では,学習済みモデルのアーキテクチャを完全に再利用するために,分類ではなくラベル単語の予測手法を提案する。 具体的には、まず、各クラス毎に高周波ワードを選択してラベルワードセットを構築し、次いで、入力にタスク固有ベクトルを挿入して、対応するラベルワードに対してモデル予測を操作するように最適化する。 その結果、単に入力のプラグインベクトルを切り替えることによって、凍結事前訓練された言語モデルが異なるタスクを実行できる。 3つのシーケンスラベリングタスクにおける実験結果から,提案手法の性能は0.1\%のタスク固有パラメータで,標準的な微調整と同等の性能が得られることがわかった。 さらに,本手法は資源制約シナリオ下で異なるタスクを切り替えながら,非プラグアンドプレイ方式よりも最大70倍高速である。

関連論文リスト

• ToPro: Token-Level Prompt Decomposition for Cross-Lingual Sequence Labeling Tasks [12.700783525558721]
  ToProメソッドは入力文を1つのトークンに分解し、各トークンに1つのプロンプトテンプレートを適用する。 マルチリンガルNERおよびPOSタグ付けデータセットの実験により,ToProをベースとしたファインチューニングは,ゼロショットのクロスリンガル転送において,VanillaファインチューニングとPrompt-Tuningに優れることが示された。
  論文  参考訳（メタデータ） (2024-01-29T21:44:27Z)
• Substituting Data Annotation with Balanced Updates and Collective Loss in Multi-label Text Classification [19.592985329023733]
  MLTC(Multi-label text classification)は、あるテキストに複数のラベルを割り当てるタスクである。 本報告では,MLTCの問題点を,ラベル数に比例して,利用可能な監視信号の大きさが線形であるアノテーションフリーおよび希少アノテーション設定で検討する。 提案手法は,(1)事前学習した言語モデルを用いて,入力テキストを事前ラベル候補の集合にマッピングし,(2)ラベル記述による署名付きラベル依存グラフの計算,(3)ラベル依存グラフに沿ったメッセージパスによる事前ラベル候補の更新を行う。
  論文  参考訳（メタデータ） (2023-09-24T04:12:52Z)
• MetricPrompt: Prompting Model as a Relevance Metric for Few-shot Text Classification [65.51149771074944]
  MetricPromptは、数発のテキスト分類タスクをテキストペア関連性推定タスクに書き換えることで、言語設計の難易度を緩和する。 広範に使われている3つのテキスト分類データセットを4つのショット・セッティングで実験する。 結果から,MetricPromptは,手動弁証法や自動弁証法よりも優れた性能を示した。
  論文  参考訳（メタデータ） (2023-06-15T06:51:35Z)
• PIEClass: Weakly-Supervised Text Classification with Prompting and Noise-Robust Iterative Ensemble Training [42.013879670590214]
  弱教師付きテキスト分類は、ターゲットクラスのラベル名を使用した分類器を唯一の監督として訓練する。 2つのモジュールからなるPIEClassを提案する。 PIEClassは、既存の7つのベンチマークデータセットの強いベースラインよりも全体的なパフォーマンスが向上している。
  論文  参考訳（メタデータ） (2023-05-23T06:19:14Z)
• SepLL: Separating Latent Class Labels from Weak Supervision Noise [4.730767228515796]
  弱い教師付き学習では、ラベル付け機能は自動的にデータサンプルにラベルを割り当て、しばしばうるさい。 本研究では,2種類の補完情報を分離し,弱いラベルから学習する手法を提案する。 我々のモデルは最先端技術と競合し、新しい最高の平均性能をもたらす。
  論文  参考訳（メタデータ） (2022-10-25T10:33:45Z)
• Automatic Label Sequence Generation for Prompting Sequence-to-sequence Models [105.4590533269863]
  完全自動プロンプト方式であるAutoSeqを提案する。 我々はシーケンス・ツー・シーケンス・モデルに自然言語プロンプトを採用する。 本手法は,数ショット学習におけるシーケンス・ツー・シーケンスモデルの可能性を明らかにする。
  論文  参考訳（メタデータ） (2022-09-20T01:35:04Z)
• Improving Multi-task Generalization Ability for Neural Text Matching via Prompt Learning [54.66399120084227]
  最近の最先端のニューラルテキストマッチングモデル(PLM)は、様々なタスクに一般化することが難しい。 我々は、特殊化一般化訓練戦略を採用し、それをMatch-Promptと呼ぶ。 特殊化段階では、異なるマッチングタスクの記述はいくつかのプロンプトトークンにマッピングされる。 一般化段階において、テキストマッチングモデルは、多種多様なマッチングタスクを訓練することにより、本質的なマッチング信号を探索する。
  論文  参考訳（メタデータ） (2022-04-06T11:01:08Z)
• Few-shot Sequence Learning with Transformers [79.87875859408955]
  少数のトレーニング例で提供される新しいタスクの学習を目的とした少数のショットアルゴリズム。 本研究では,データポイントがトークンのシーケンスである設定において,少数ショット学習を行う。 トランスフォーマーに基づく効率的な学習アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2020-12-17T12:30:38Z)
• Adaptive Self-training for Few-shot Neural Sequence Labeling [55.43109437200101]
  ニューラルシークエンスラベリングモデルにおけるラベル不足問題に対処する手法を開発した。 自己学習は、大量のラベルのないデータから学ぶための効果的なメカニズムとして機能する。 メタラーニングは、適応的なサンプル再重み付けにおいて、ノイズのある擬似ラベルからのエラー伝播を軽減するのに役立つ。
  論文  参考訳（メタデータ） (2020-10-07T22:29:05Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。