論文の概要: Augmented Natural Language for Generative Sequence Labeling

• arxiv url: http://arxiv.org/abs/2009.13272v1
• Date: Tue, 15 Sep 2020 19:23:53 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-18 05:23:26.746339
• Title: Augmented Natural Language for Generative Sequence Labeling
• Title（参考訳）: 生成配列ラベリングのための拡張自然言語
• Authors: Ben Athiwaratkun, Cicero Nogueira dos Santos, Jason Krone, Bing Xiang
• Abstract要約: 本稿では,共同シーケンスラベリングと文レベルの分類のための生成フレームワークを提案する。 本モデルは,1つの共有自然言語出力空間を用いて,複数のシーケンスラベリングタスクを同時に実行する。 一般的な名前付きエンティティ認識、スロットラベリング、インテント分類ベンチマークにおいて、これらの利点を実証する。
• 参考スコア（独自算出の注目度）: 17.36190954354384
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We propose a generative framework for joint sequence labeling and sentence-level classification. Our model performs multiple sequence labeling tasks at once using a single, shared natural language output space. Unlike prior discriminative methods, our model naturally incorporates label semantics and shares knowledge across tasks. Our framework is general purpose, performing well on few-shot, low-resource, and high-resource tasks. We demonstrate these advantages on popular named entity recognition, slot labeling, and intent classification benchmarks. We set a new state-of-the-art for few-shot slot labeling, improving substantially upon the previous 5-shot ($75.0\% \rightarrow 90.9\%$) and 1-shot ($70.4\% \rightarrow 81.0\%$) state-of-the-art results. Furthermore, our model generates large improvements ($46.27\% \rightarrow 63.83\%$) in low-resource slot labeling over a BERT baseline by incorporating label semantics. We also maintain competitive results on high-resource tasks, performing within two points of the state-of-the-art on all tasks and setting a new state-of-the-art on the SNIPS dataset.
• Abstract（参考訳）: 共同シーケンスラベリングと文レベルの分類のための生成フレームワークを提案する。 本モデルは,1つの共有自然言語出力空間を用いて,複数のシーケンスラベリングタスクを同時に実行する。 従来の判別手法とは異なり、我々のモデルは自然にラベルセマンティクスを取り入れ、タスク間で知識を共有する。 私たちのフレームワークは汎用的で、少数、低リソース、高リソースのタスクでうまく動作します。 一般的な名前付きエンティティ認識、スロットラベリング、意図分類ベンチマークにおいてこれらの利点を実証する。 従来の5ショット (75.0\% \rightarrow 90.9\%$) と1ショット (70.4\% \rightarrow 81.0\%$) で大幅に改善した。 さらに,BERTベースライン上での低リソーススロットラベリングにおいて,ラベルセマンティクスを組み込むことにより,大きな改善(46.27\% \rightarrow 63.83\%$)を生んでいる。 また、高リソースタスクの競合結果も維持し、すべてのタスクで最先端の2ポイント以内に実行し、SNIPSデータセットに新たな最先端のデータセットを設定します。

関連論文リスト

• IDAS: Intent Discovery with Abstractive Summarization [16.731183915325584]
  目的発見における近年の競合手法は,抽象的な要約に基づく発話のクラスタリングによってより優れることを示す。 我々は、大規模言語モデルに促すことで、記述的発話ラベルの集合を収集するIDASアプローチに貢献する。 発話とそのノイズラベルは、凍結した事前訓練されたエンコーダによって符号化され、その後クラスタ化され、潜伏した意図を回復する。
  論文  参考訳（メタデータ） (2023-05-31T12:19:40Z)
• Binary Classification with Positive Labeling Sources [71.37692084951355]
  WEAPOは、負のラベル付け源を使わずにトレーニングラベルを作成するための、シンプルで競争力のあるWS手法である。 We show WEAPO achieve the highest averaged performance on 10 benchmark datasets。
  論文  参考訳（メタデータ） (2022-08-02T19:32:08Z)
• Towards Few-shot Entity Recognition in Document Images: A Label-aware Sequence-to-Sequence Framework [28.898240725099782]
  アノテーション付き文書画像のほんの数ショットしか必要としないエンティティ認識モデルを構築します。 ラベルを意識したSeq2seqフレームワーク LASER を開発した。 2つのベンチマークデータセットの実験は、数ショット設定下でのLASERの優位性を示している。
  論文  参考訳（メタデータ） (2022-03-30T18:30:42Z)
• Label Semantics for Few Shot Named Entity Recognition [68.01364012546402]
  名前付きエンティティ認識におけるショットラーニングの問題について検討する。 我々は,ラベル名中の意味情報を,モデルに付加的な信号を与え,よりリッチな事前情報を与える手段として活用する。 本モデルは,第1エンコーダによって計算された名前付きエンティティの表現と,第2エンコーダによって計算されたラベル表現とを一致させることを学習する。
  論文  参考訳（メタデータ） (2022-03-16T23:21:05Z)
• Novel Class Discovery in Semantic Segmentation [104.30729847367104]
  セマンティックにおける新しいクラス発見(NCDSS)について紹介する。 ラベル付き非結合クラスの集合から事前の知識を与えられた新しいクラスを含むラベル付きイメージのセグメンテーションを目的としている。 NCDSSでは、オブジェクトと背景を区別し、画像内の複数のクラスの存在を処理する必要があります。 本稿では,エントロピーに基づく不確実性モデリングと自己学習(EUMS)フレームワークを提案し,ノイズの多い擬似ラベルを克服する。
  論文  参考訳（メタデータ） (2021-12-03T13:31:59Z)
• Generate, Annotate, and Learn: Generative Models Advance Self-Training and Knowledge Distillation [58.64720318755764]
  Semi-Supervised Learning (SSL)は多くのアプリケーションドメインで成功している。 知識蒸留(KD)により、深層ネットワークとアンサンブルの圧縮が可能となり、新しいタスク固有の未ラベルの例について知識を蒸留する際に最良の結果が得られる。 我々は、非条件生成モデルを用いて、ドメイン内の未ラベルデータを合成する「生成、注釈、学習(GAL)」と呼ばれる一般的なフレームワークを提案する。
  論文  参考訳（メタデータ） (2021-06-11T05:01:24Z)
• Low-Resource Task-Oriented Semantic Parsing via Intrinsic Modeling [65.51280121472146]
  私たちは本質的にオントロジーラベルについて知っているものを利用して、効率的なセマンティック解析モデルを構築します。 我々のモデルはTOPv2から派生した低リソースのベンチマークを用いて高効率である。
  論文  参考訳（メタデータ） (2021-04-15T04:01:02Z)
• Structured Prediction as Translation between Augmented Natural Languages [109.50236248762877]
  本研究では,構造化予測言語の課題を解決するために,新しいフレームワークであるTANL(Translation between Augmented Natural Languages)を提案する。 タスク固有の差別を訓練することで問題に取り組む代わりに、拡張自然言語間の翻訳タスクとして位置づける。 提案手法は, タスク固有のモデルに適合するか, 性能に優れ, 特に, 共同エンティティと関係抽出に関する新たな最先端結果が得られる。
  論文  参考訳（メタデータ） (2021-01-14T18:32:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。