論文の概要: Enhanced Language Representation with Label Knowledge for Span Extraction

• arxiv url: http://arxiv.org/abs/2111.00884v1
• Date: Mon, 1 Nov 2021 12:21:05 GMT
• ステータス: 処理完了
• システム内更新日: 2021-11-02 14:57:01.587571
• Title: Enhanced Language Representation with Label Knowledge for Span Extraction
• Title（参考訳）: スパン抽出のためのラベル知識を用いた拡張言語表現
• Authors: Pan Yang, Xin Cong, Zhenyun Sun, Xingwu Liu
• Abstract要約: ラベル知識を統合するための新しいパラダイムを導入し、ラベル知識をテキスト表現に明示的にかつ効率的に統合する新しいモデルを提案する。 具体的には、テキストとラベルアノテーションを独立してエンコードし、ラベル知識をテキスト表現と精巧に設計されたセマンティックス融合モジュールに統合する。 我々は,フラットNER,ネストNER,イベント検出の3つの典型的なスパン抽出タスクについて広範な実験を行った。 提案手法は4つのベンチマークで最先端性能を実現し,2)QA形式化パラダイムと比較して,トレーニング時間と推論時間を平均で76%,77%削減する。
• 参考スコア（独自算出の注目度）: 2.4909170697740963
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Span extraction, aiming to extract text spans (such as words or phrases) from plain texts, is a fundamental process in Information Extraction. Recent works introduce the label knowledge to enhance the text representation by formalizing the span extraction task into a question answering problem (QA Formalization), which achieves state-of-the-art performance. However, QA Formalization does not fully exploit the label knowledge and suffers from low efficiency in training/inference. To address those problems, we introduce a new paradigm to integrate label knowledge and further propose a novel model to explicitly and efficiently integrate label knowledge into text representations. Specifically, it encodes texts and label annotations independently and then integrates label knowledge into text representation with an elaborate-designed semantics fusion module. We conduct extensive experiments on three typical span extraction tasks: flat NER, nested NER, and event detection. The empirical results show that 1) our method achieves state-of-the-art performance on four benchmarks, and 2) reduces training time and inference time by 76% and 77% on average, respectively, compared with the QA Formalization paradigm. Our code and data are available at https://github.com/Akeepers/LEAR.
• Abstract（参考訳）: プレーンテキストからテキストスパン(単語やフレーズなど)を抽出することを目的としたスパン抽出は、インフォメーション抽出の基本的なプロセスである。 近年の研究では,スパン抽出タスクを質問応答問題(QA形式化)に形式化し,最先端のパフォーマンスを実現することで,テキスト表現を強化するラベル知識を導入している。 しかし、QA形式化はラベルの知識を完全に活用せず、トレーニング/推論の効率が低い。 これらの問題に対処するために,ラベル知識を統合する新しいパラダイムを導入し,ラベル知識をテキスト表現に明示的に効率的に統合する新しいモデルを提案する。 具体的には、テキストとラベルアノテーションを独立してエンコードし、ラベルの知識をテキスト表現に統合する。 我々は,フラットNER,ネストNER,イベント検出の3つの典型的なスパン抽出タスクについて広範な実験を行った。 経験的な結果は 1) 提案手法は4つのベンチマークで最先端の性能を実現する。 2) トレーニング時間と推論時間は,qa形式化パラダイムと比較して,平均で76%,77%削減されている。 コードとデータはhttps://github.com/akeepers/lear.comから入手できます。

関連論文リスト

• Leveraging Label Information for Multimodal Emotion Recognition [22.318092635089464]
  マルチモーダル感情認識(MER)は、音声とテキスト情報を組み合わせることで、与えられた表現の感情状態を検出することを目的としている。 ラベル情報を利用した新しいMER手法を提案する。 我々は,ラベルを意識したテキストと音声表現を融合して感情分類を行うための新しいラベル誘導注意融合モジュールを考案した。
  論文  参考訳（メタデータ） (2023-09-05T10:26:32Z)
• KETM:A Knowledge-Enhanced Text Matching method [0.0]
  知識強化テキストマッチングモデル(KETM)と呼ばれるテキストマッチングの新しいモデルを提案する。 テキストワード定義を外部知識として検索するために、Wiktionaryを使用します。 我々は、ゲーティング機構を用いてテキストと知識を融合させ、テキストと知識融合の比率を学習する。
  論文  参考訳（メタデータ） (2023-08-11T17:08:14Z)
• Description-Enhanced Label Embedding Contrastive Learning for Text Classification [65.01077813330559]
  モデル学習プロセスにおける自己監督型学習(SSL)と新しい自己監督型関係関係(R2)分類タスクの設計 テキスト分類とR2分類を最適化対象として扱うテキスト分類のための関係学習ネットワーク(R2-Net)の関係について検討する。 ラベルセマンティックラーニングのためのマルチアスペクト記述を得るためのWordNetからの外部知識。
  論文  参考訳（メタデータ） (2023-06-15T02:19:34Z)
• Exploring Structured Semantic Prior for Multi Label Recognition with Incomplete Labels [60.675714333081466]
  不完全なラベルを持つマルチラベル認識(MLR)は非常に難しい。 最近の研究は、視覚言語モデルであるCLIPにおける画像とラベルの対応を探り、不十分なアノテーションを補うことを目指している。 我々は,MLRにおけるラベル管理の欠如を,構造化されたセマンティクスを導出することにより,不完全なラベルで修復することを提唱する。
  論文  参考訳（メタデータ） (2023-03-23T12:39:20Z)
• Improving Model Training via Self-learned Label Representations [5.969349640156469]
  より洗練されたラベル表現は、通常のワンホット符号化よりも分類に適していることが示される。 分類タスクの学習中にラベル表現を同時に学習する適応ラベル付き学習(LwAL)アルゴリズムを提案する。 我々のアルゴリズムは無視可能な追加パラメータを導入し、計算オーバーヘッドを最小限に抑える。
  論文  参考訳（メタデータ） (2022-09-09T21:10:43Z)
• Open-Vocabulary Multi-Label Classification via Multi-modal Knowledge Transfer [55.885555581039895]
  マルチラベルゼロショット学習(ML-ZSL)は、事前訓練されたテキストラベル埋め込みによる知識の伝達に焦点を当てている。 マルチラベル分類のためのMKT(Multimodal Knowledge Transfer)と呼ばれる新しいオープン語彙フレームワークを提案する。
  論文  参考訳（メタデータ） (2022-07-05T08:32:18Z)
• Supporting Vision-Language Model Inference with Confounder-pruning Knowledge Prompt [71.77504700496004]
  視覚言語モデルは、オープンセットの視覚概念を扱うために、画像とテキストのペアを共通の空間に整列させることで事前訓練される。 事前訓練されたモデルの転送可能性を高めるため、最近の研究では、固定または学習可能なプロンプトが採用されている。 しかし、どのようにして、どのプロンプトが推論性能を改善するのかは、まだ不明である。
  論文  参考訳（メタデータ） (2022-05-23T07:51:15Z)
• Prompt-Learning for Short Text Classification [30.53216712864025]
  短文では、極端に短い長さ、特徴の空間性、高いあいまいさは、分類タスクに大きな課題をもたらす。 本稿では,知識拡張に基づく素早い学習を生かした簡易な短文分類手法を提案する。
  論文  参考訳（メタデータ） (2022-02-23T08:07:06Z)
• KnowPrompt: Knowledge-aware Prompt-tuning with Synergistic Optimization for Relation Extraction [111.74812895391672]
  シナジスティック最適化(KnowPrompt)を用いた知識認識型Promptチューニング手法を提案する。 関係ラベルに含まれる潜在知識をインジェクトして,学習可能な仮想型語と解答語で構築する。
  論文  参考訳（メタデータ） (2021-04-15T17:57:43Z)
• R$^2$-Net: Relation of Relation Learning Network for Sentence Semantic Matching [58.72111690643359]
  文意味マッチングのための関係学習ネットワーク(R2-Net)を提案する。 最初にBERTを使用して、グローバルな視点から入力文をエンコードします。 次に、cnnベースのエンコーダは、ローカルな視点からキーワードやフレーズ情報をキャプチャするように設計されている。 関係情報抽出にラベルを十分に活用するために,関係分類タスクの自己教師付き関係性を導入する。
  論文  参考訳（メタデータ） (2020-12-16T13:11:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。