論文の概要: DyLex: Incorporating Dynamic Lexicons into BERT for Sequence Labeling

• arxiv url: http://arxiv.org/abs/2109.08818v2
• Date: Wed, 22 Sep 2021 04:19:04 GMT
• ステータス: 処理完了
• システム内更新日: 2021-09-23 10:37:22.803398
• Title: DyLex: Incorporating Dynamic Lexicons into BERT for Sequence Labeling
• Title（参考訳）: DyLex: 動的レキシコンをBERTに組み込んだシーケンスラベリング
• Authors: Baojun Wang, Zhao Zhang, Kun Xu, Guang-Yuan Hao, Yuyang Zhang, Lifeng Shang, Linlin Li, Xiao Chen, Xin Jiang and Qun Liu
• Abstract要約: BERTに基づくシーケンスラベリングタスクのためのプラグインレキシコンの組込み手法であるDyLexを提案する。 語彙を更新しながら表現を再学習しないように,単語に依存しないタグ埋め込みを採用する。 最後に,提案フレームワークのプラグイン性を保証するために,協調的注意に基づく知識融合機構を導入する。
• 参考スコア（独自算出の注目度）: 49.3379730319246
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Incorporating lexical knowledge into deep learning models has been proved to be very effective for sequence labeling tasks. However, previous works commonly have difficulty dealing with large-scale dynamic lexicons which often cause excessive matching noise and problems of frequent updates. In this paper, we propose DyLex, a plug-in lexicon incorporation approach for BERT based sequence labeling tasks. Instead of leveraging embeddings of words in the lexicon as in conventional methods, we adopt word-agnostic tag embeddings to avoid re-training the representation while updating the lexicon. Moreover, we employ an effective supervised lexical knowledge denoising method to smooth out matching noise. Finally, we introduce a col-wise attention based knowledge fusion mechanism to guarantee the pluggability of the proposed framework. Experiments on ten datasets of three tasks show that the proposed framework achieves new SOTA, even with very large scale lexicons.
• Abstract（参考訳）: ディープラーニングモデルに語彙知識を組み込むことは、シーケンスラベリングタスクに非常に有効であることが証明されている。 しかし、従来の研究は、しばしば過度に一致したノイズや頻繁な更新の問題を引き起こす大規模な動的レキシコンを扱うのが困難であった。 本稿では,BERTに基づくシーケンスラベリングタスクのためのプラグイン辞書の組込み手法であるDyLexを提案する。 従来の方法のように語彙への単語の埋め込みを活用する代わりに、単語に依存しないタグ埋め込みを採用し、語彙を更新しながら表現の再学習を避ける。 さらに,マッチングノイズを円滑に除去するために,効率的な教師付き語彙知識復調手法を用いる。 最後に,提案フレームワークのプラグイン性を保証するために,協調注意に基づく知識融合機構を導入する。 3つのタスクからなる10のデータセットの実験により、非常に大規模な語彙であっても、提案するフレームワークが新しいSOTAを実現することが示された。

関連論文リスト

• Incorporating Lexical and Syntactic Knowledge for Unsupervised Cross-Lingual Transfer [4.944761231728674]
  我々は"Lexicon-Syntax Enhanced Multilingual BERT"と呼ばれる新しいフレームワークを提案する。 我々は、ベースモデルとしてMultilingual BERTを使用し、学習能力を高めるために2つの手法を用いています。 実験の結果、このフレームワークはゼロショット・クロスランガル転送のすべてのベースラインを一貫して上回ることを示した。
  論文  参考訳（メタデータ） (2024-04-25T14:10:52Z)
• ERASE: Error-Resilient Representation Learning on Graphs for Label Noise Tolerance [53.73316938815873]
  本稿では, ERASE (Error-Resilient representation learning on graphs for lAbel noiSe tolerancE) という手法を提案する。 ERASEは、プロトタイプの擬似ラベルとプロパゲーションされた識別ラベルを組み合わせて、表現をエラーレジリエンスで更新する。 提案手法は, 広い雑音レベルにおいて, 複数のベースラインをクリアマージンで上回り, 高いスケーラビリティを享受できる。
  論文  参考訳（メタデータ） (2023-12-13T17:59:07Z)
• Enhancing Contrastive Learning with Noise-Guided Attack: Towards Continual Relation Extraction in the Wild [57.468184469589744]
  我々はtextbfContrative textbfLearning(NaCL) における textbfNoise-guided textbf attack という名前の耐雑音性コントラストフレームワークを開発する。 直接雑音除去や到達不能雑音回避と比較して,攻撃により与えられた雑音ラベルに一致するように特徴空間を変更する。
  論文  参考訳（メタデータ） (2023-05-11T18:48:18Z)
• Exploring Structured Semantic Prior for Multi Label Recognition with Incomplete Labels [60.675714333081466]
  不完全なラベルを持つマルチラベル認識(MLR)は非常に難しい。 最近の研究は、視覚言語モデルであるCLIPにおける画像とラベルの対応を探り、不十分なアノテーションを補うことを目指している。 我々は,MLRにおけるラベル管理の欠如を,構造化されたセマンティクスを導出することにより,不完全なラベルで修復することを提唱する。
  論文  参考訳（メタデータ） (2023-03-23T12:39:20Z)
• Generative Prompt Tuning for Relation Classification [21.027631157115135]
  本稿では,関係分類を埋め込み問題として再構成する新しい生成的プロンプトチューニング手法を提案する。 さらに,エンティティ誘導型復号化と識別的関係スコアリングを設計し,推論中の関係を効果的かつ効率的に生成・調整する。
  論文  参考訳（メタデータ） (2022-10-22T12:40:23Z)
• Lexicon Enhanced Chinese Sequence Labelling Using BERT Adapter [15.336753753889035]
  既存のメソッドは、浅いランダムなシーケンス層を介してレキシコン機能を融合するだけで、BERTの下位層に統合しない。 本稿では,中国語シーケンスラベリングのためのLexicon Enhanced BERT (LEBERT)を提案する。 既存の手法と比較して, bert の下位層において, 深いレキシコン知識の融合を実現する。
  論文  参考訳（メタデータ） (2021-05-15T06:13:39Z)
• Learn from Syntax: Improving Pair-wise Aspect and Opinion Terms Extractionwith Rich Syntactic Knowledge [17.100366742363803]
  豊富な構文知識を取り入れ、ペアワイズなアスペクトとオピニオン用語抽出(PAOTE)タスクを強化することを提案する。 まず,依存エッジやラベルをモデル化するためのlagcn( label-aware graph convolutional network)を含む構文特徴をエンコードする構文融合エンコーダを構築した。 ペアリングでは、高次アスペクト-オピニオン項のペアリングにBiaffineとTriaffineスコアを採用し、一方、構文認識スコアにLAGCNの構文強化表現を修復する。
  論文  参考訳（メタデータ） (2021-05-06T08:45:40Z)
• KnowPrompt: Knowledge-aware Prompt-tuning with Synergistic Optimization for Relation Extraction [111.74812895391672]
  シナジスティック最適化(KnowPrompt)を用いた知識認識型Promptチューニング手法を提案する。 関係ラベルに含まれる潜在知識をインジェクトして,学習可能な仮想型語と解答語で構築する。
  論文  参考訳（メタデータ） (2021-04-15T17:57:43Z)
• Enhanced word embeddings using multi-semantic representation through lexical chains [1.8199326045904998]
  フレキシブル・レキシカル・チェーンIIと固定レキシカル・チェーンIIという2つの新しいアルゴリズムを提案する。 これらのアルゴリズムは、語彙連鎖から派生した意味関係、語彙データベースからの以前の知識、および単一のシステムを形成するビルディングブロックとしての単語埋め込みにおける分布仮説の堅牢性を組み合わせている。 その結果、語彙チェーンと単語埋め込み表現の統合は、より複雑なシステムに対しても、最先端の結果を維持します。
  論文  参考訳（メタデータ） (2021-01-22T09:43:33Z)
• Learning Not to Learn in the Presence of Noisy Labels [104.7655376309784]
  ギャンブラーの損失と呼ばれる新しい種類の損失関数は、様々なレベルの汚職にまたがってノイズをラベル付けするのに強い堅牢性をもたらすことを示す。 この損失関数によるトレーニングは、ノイズのあるラベルを持つデータポイントでの学習を"維持"することをモデルに促すことを示す。
  論文  参考訳（メタデータ） (2020-02-16T09:12:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。