論文の概要: Informed Named Entity Recognition Decoding for Generative Language
Models
- arxiv url: http://arxiv.org/abs/2308.07791v1
- Date: Tue, 15 Aug 2023 14:16:29 GMT
- ステータス: 処理完了
- システム内更新日: 2023-08-16 12:29:38.947487
- Title: Informed Named Entity Recognition Decoding for Generative Language
Models
- Title(参考訳): 生成言語モデルのためのインフォームド名前付きエンティティ認識デコーディング
- Authors: Tobias Deu{\ss}er, Lars Hillebrand, Christian Bauckhage, Rafet Sifa
- Abstract要約: Informed Named Entity Recognition Decoding (iNERD) を提案する。
8つの名前付きエンティティ認識データセット上で5つの生成言語モデルを評価し、優れた結果を得るため、統合されたエンティティコーパス上でモデルを粗いチューニングを行い、その性能を向上させる。
- 参考スコア(独自算出の注目度): 3.5323691899538128
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Ever-larger language models with ever-increasing capabilities are by now
well-established text processing tools. Alas, information extraction tasks such
as named entity recognition are still largely unaffected by this progress as
they are primarily based on the previous generation of encoder-only transformer
models. Here, we propose a simple yet effective approach, Informed Named Entity
Recognition Decoding (iNERD), which treats named entity recognition as a
generative process. It leverages the language understanding capabilities of
recent generative models in a future-proof manner and employs an informed
decoding scheme incorporating the restricted nature of information extraction
into open-ended text generation, improving performance and eliminating any risk
of hallucinations. We coarse-tune our model on a merged named entity corpus to
strengthen its performance, evaluate five generative language models on eight
named entity recognition datasets, and achieve remarkable results, especially
in an environment with an unknown entity class set, demonstrating the
adaptability of the approach.
- Abstract(参考訳): 絶え間ない言語モデルは、今や確立されたテキスト処理ツールである。
残念なことに、名前付きエンティティ認識のような情報抽出タスクは、主に前世代のエンコーダのみのトランスフォーマーモデルに基づいているため、この進歩にほとんど影響を受けていない。
本稿では、名前付きエンティティ認識を生成プロセスとして扱う、シンプルかつ効果的なエンティティ認識復号(inerd)手法を提案する。
情報抽出の制限された性質をオープンエンドテキスト生成に取り入れ、性能を改善し、幻覚のリスクを排除した情報復号方式を用いて、最近の生成モデルの言語理解能力を将来的な方法で活用する。
我々は、その性能を高めるために、統合されたエンティティコーパス上でモデルを粗く調整し、8つの名前付きエンティティ認識データセット上で5つの生成言語モデルを評価し、特に未知のエンティティクラスを持つ環境において、そのアプローチの適応性を示す驚くべき結果を得る。
関連論文リスト
- Retrieval-Enhanced Named Entity Recognition [1.2187048691454239]
RENERは、In-Context Learningと情報検索技術に基づく自己回帰言語モデルを用いたエンティティ認識手法である。
実験の結果,CrossNERコレクションでは,提案手法を用いて最先端の性能を実現することができた。
論文 参考訳(メタデータ) (2024-10-17T01:12:48Z) - ProgGen: Generating Named Entity Recognition Datasets Step-by-step with Self-Reflexive Large Language Models [25.68491572293656]
大規模言語モデルは、名前付きエンティティ認識のような構造化された知識抽出タスクにおいて不足する。
本稿では,より優れたNERデータセットを生成するため,LCMを質素なNER能力で活用するための革新的で費用効率のよい戦略について検討する。
論文 参考訳(メタデータ) (2024-03-17T06:12:43Z) - Enhancing Retrieval-Augmented Large Language Models with Iterative
Retrieval-Generation Synergy [164.83371924650294]
検索と生成を反復的に同期させるIter-RetGenと呼ばれる手法により,高い性能が得られることを示す。
モデル出力は、タスクを完了するために必要なものを示し、より関連する知識を取得するための情報的コンテキストを提供する。
Iter-RetGenプロセスは、すべての知識を全体として取得し、構造的な制約なしに生成時の柔軟性をほとんど保持します。
論文 参考訳(メタデータ) (2023-05-24T16:17:36Z) - GanLM: Encoder-Decoder Pre-training with an Auxiliary Discriminator [114.8954615026781]
本稿では,補助判別器を導入して,エンコーダ・デコーダ事前学習のためのGANスタイルのモデルを提案する。
GanLMは2つのトレーニング済みの目標 – トークン検出の置き換えとトークン記述の置き換え – でトレーニングされている。
言語生成ベンチマークの実験では、強力な言語理解能力を持つ GanLM が、様々な強力な事前学習言語モデルより優れていることが示されている。
論文 参考訳(メタデータ) (2022-12-20T12:51:11Z) - Schema-aware Reference as Prompt Improves Data-Efficient Knowledge Graph
Construction [57.854498238624366]
本稿では,データ効率のよい知識グラフ構築のためのRAP(Schema-Aware Reference As Prompt)の検索手法を提案する。
RAPは、人間の注釈付きおよび弱教師付きデータから受け継いだスキーマと知識を、各サンプルのプロンプトとして動的に活用することができる。
論文 参考訳(メタデータ) (2022-10-19T16:40:28Z) - End-to-End Entity Detection with Proposer and Regressor [6.25916397918329]
ネストされた実体認識は ネストシナリオの存在に対して 広範囲に注意を払っている
本稿では,提案手法と回帰器を用いたエンドツーエンドのエンティティ検出手法を提案する。
WeboNER データセットでは GENIA データセットでは 80.74 ,WeiboNER データセットでは 72.38 という,最先端の F1 スコアが得られた。
論文 参考訳(メタデータ) (2022-10-19T02:42:46Z) - Efficient and Interpretable Neural Models for Entity Tracking [3.1985066117432934]
この論文は、エンティティ追跡モデルの使用を促進するための2つの重要な問題に焦点を当てている。
我々は、リッチな固定次元ベクトル表現を持つエンティティを表現することによって、計算効率の良いエンティティ追跡モデルを開発することができると論じる。
i) NLPアプリケーションで現在ユビキタスに使われている事前学習言語モデルを考えると、より広い範囲のアプリケーションです。
論文 参考訳(メタデータ) (2022-08-30T13:25:27Z) - Distantly-Supervised Named Entity Recognition with Noise-Robust Learning
and Language Model Augmented Self-Training [66.80558875393565]
遠距離ラベル付きデータのみを用いて、名前付きエンティティ認識(NER)モデルを訓練する際の課題について検討する。
本稿では,新しい損失関数と雑音ラベル除去ステップからなるノイズロスバスト学習手法を提案する。
提案手法は,既存の遠隔教師付きNERモデルよりも優れた性能を実現する。
論文 参考訳(メタデータ) (2021-09-10T17:19:56Z) - Interpretable Entity Representations through Large-Scale Typing [61.4277527871572]
本稿では,人間の読みやすいエンティティ表現を作成し,箱から高パフォーマンスを実現する手法を提案する。
我々の表現は、微粒な実体型に対する後続確率に対応するベクトルである。
特定のドメインに対して,学習に基づく方法で,型セットのサイズを縮小できることを示す。
論文 参考訳(メタデータ) (2020-04-30T23:58:03Z) - Exploiting Structured Knowledge in Text via Graph-Guided Representation
Learning [73.0598186896953]
本稿では、知識グラフからのガイダンスを用いて、生テキスト上で学習する2つの自己教師型タスクを提案する。
エンティティレベルのマスキング言語モデルに基づいて、最初のコントリビューションはエンティティマスキングスキームです。
既存のパラダイムとは対照的に,本手法では事前学習時にのみ,知識グラフを暗黙的に使用する。
論文 参考訳(メタデータ) (2020-04-29T14:22:42Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。