論文の概要: Locally-Contextual Nonlinear CRFs for Sequence Labeling

• arxiv url: http://arxiv.org/abs/2103.16210v1
• Date: Tue, 30 Mar 2021 09:43:25 GMT
• ステータス: 処理完了
• システム内更新日: 2021-03-31 22:32:13.057774
• Title: Locally-Contextual Nonlinear CRFs for Sequence Labeling
• Title（参考訳）: シーケンスラベリングのための局所文脈非線形CRF
• Authors: Harshil Shah, Tim Xiao, David Barber
• Abstract要約: シーケンスラベリングのための局所コンテキスト非線形CRFを提案する。 提案手法は,単語のラベルを予測する際に,隣接する埋め込み情報を直接組み込む。 私達の結果は最もよい出版された方法のそれらと競争です。
• 参考スコア（独自算出の注目度）: 20.06731729062238
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Linear chain conditional random fields (CRFs) combined with contextual word embeddings have achieved state of the art performance on sequence labeling tasks. In many of these tasks, the identity of the neighboring words is often the most useful contextual information when predicting the label of a given word. However, contextual embeddings are usually trained in a task-agnostic manner. This means that although they may encode information about the neighboring words, it is not guaranteed. It can therefore be beneficial to design the sequence labeling architecture to directly extract this information from the embeddings. We propose locally-contextual nonlinear CRFs for sequence labeling. Our approach directly incorporates information from the neighboring embeddings when predicting the label for a given word, and parametrizes the potential functions using deep neural networks. Our model serves as a drop-in replacement for the linear chain CRF, consistently outperforming it in our ablation study. On a variety of tasks, our results are competitive with those of the best published methods. In particular, we outperform the previous state of the art on chunking on CoNLL 2000 and named entity recognition on OntoNotes 5.0 English.
• Abstract（参考訳）: 線形鎖条件付きランダムフィールド (CRF) と文脈語埋め込みを組み合わせることで, シーケンシャルラベリングタスクにおける技術性能が向上した。 これらのタスクの多くにおいて、隣接する単語のアイデンティティは、与えられた単語のラベルを予測する際に最も有用な文脈情報であることが多い。 しかしながら、コンテキスト埋め込みは通常、タスクに依存しない方法でトレーニングされる。 これは、近隣の単語に関する情報をエンコードできるが、保証されないことを意味する。 したがって、埋め込みから直接情報を抽出するためにシーケンスラベリングアーキテクチャを設計することは有益である。 シーケンスラベリングのための局所コンテキスト非線形CRFを提案する。 提案手法は,単語のラベルを予測する際に隣接する埋め込みからの情報を直接組み込んで,深層ニューラルネットワークを用いてポテンシャル関数をパラメータ化する。 我々のモデルは線形鎖CRFの代替として機能し、アブレーション研究において一貫して優れています。 様々なタスクにおいて、我々の結果は最も優れたメソッドと競合する。 特に,CoNLL 2000におけるチャンキングに関する先行技術よりも優れており,OntoNotes 5.0 のエンティティ認識も優れている。

関連論文リスト

• Description-Enhanced Label Embedding Contrastive Learning for Text Classification [65.01077813330559]
  モデル学習プロセスにおける自己監督型学習(SSL)と新しい自己監督型関係関係(R2)分類タスクの設計 テキスト分類とR2分類を最適化対象として扱うテキスト分類のための関係学習ネットワーク(R2-Net)の関係について検討する。 ラベルセマンティックラーニングのためのマルチアスペクト記述を得るためのWordNetからの外部知識。
  論文  参考訳（メタデータ） (2023-06-15T02:19:34Z)
• Exploring Structured Semantic Prior for Multi Label Recognition with Incomplete Labels [60.675714333081466]
  不完全なラベルを持つマルチラベル認識(MLR)は非常に難しい。 最近の研究は、視覚言語モデルであるCLIPにおける画像とラベルの対応を探り、不十分なアノテーションを補うことを目指している。 我々は,MLRにおけるラベル管理の欠如を,構造化されたセマンティクスを導出することにより,不完全なラベルで修復することを提唱する。
  論文  参考訳（メタデータ） (2023-03-23T12:39:20Z)
• M-Tuning: Prompt Tuning with Mitigated Label Bias in Open-Set Scenarios [103.6153593636399]
  緩和ラベルバイアス(M-Tuning)を用いた視覚言語プロンプトチューニング手法を提案する。 これはWordNetからのオープンワードを導入し、クローズドセットラベルワードのみからもっと多くのプロンプトテキストを形成する単語の範囲を広げ、シミュレートされたオープンセットシナリオでプロンプトをチューニングする。 提案手法は,様々なスケールのデータセット上で最高の性能を達成し,広範囲にわたるアブレーション研究もその有効性を検証した。
  論文  参考訳（メタデータ） (2023-03-09T09:05:47Z)
• Weakly-supervised Text Classification Based on Keyword Graph [30.57722085686241]
  GNN によるキーワードグラフ上のキーワードキーワード相関を探索する ClassKG という新しいフレームワークを提案する。 フレームワークは反復的なプロセスであり、各イテレーションでまずキーワードグラフを構築し、擬似ラベルをアサインするタスクをキーワードサブグラフに変換する。 サブグラフアノテータによって生成された擬似ラベルを用いて、未ラベルのテキストを分類するためにテキスト分類器を訓練する。
  論文  参考訳（メタデータ） (2021-10-06T08:58:02Z)
• DyLex: Incorporating Dynamic Lexicons into BERT for Sequence Labeling [49.3379730319246]
  BERTに基づくシーケンスラベリングタスクのためのプラグインレキシコンの組込み手法であるDyLexを提案する。 語彙を更新しながら表現を再学習しないように,単語に依存しないタグ埋め込みを採用する。 最後に,提案フレームワークのプラグイン性を保証するために,協調的注意に基づく知識融合機構を導入する。
  論文  参考訳（メタデータ） (2021-09-18T03:15:49Z)
• Joining datasets via data augmentation in the label space for neural networks [6.036150783745836]
  ラベル空間におけるデータセットの結合を成功させるために,人工的に作成した知識グラフ,繰り返しニューラルネットワーク,ポリシー勾配を活用する新しい手法を提案する。 画像とテキストの分類における実験結果は,我々のアプローチの有効性を正当化するものである。
  論文  参考訳（メタデータ） (2021-06-17T06:08:11Z)
• UCPhrase: Unsupervised Context-aware Quality Phrase Tagging [63.86606855524567]
  UCPhraseは、教師なしの文脈対応のフレーズタグである。 我々は,一貫した単語列から,高品質なフレーズを銀のラベルとして表現する。 我々の設計は、最先端の事前訓練、教師なし、遠隔管理の手法よりも優れていることを示す。
  論文  参考訳（メタデータ） (2021-05-28T19:44:24Z)
• R$^2$-Net: Relation of Relation Learning Network for Sentence Semantic Matching [58.72111690643359]
  文意味マッチングのための関係学習ネットワーク(R2-Net)を提案する。 最初にBERTを使用して、グローバルな視点から入力文をエンコードします。 次に、cnnベースのエンコーダは、ローカルな視点からキーワードやフレーズ情報をキャプチャするように設計されている。 関係情報抽出にラベルを十分に活用するために,関係分類タスクの自己教師付き関係性を導入する。
  論文  参考訳（メタデータ） (2020-12-16T13:11:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。