論文の概要: GRIT: Generative Role-filler Transformers for Document-level Event Entity Extraction

• arxiv url: http://arxiv.org/abs/2008.09249v2
• Date: Thu, 28 Jan 2021 19:51:07 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-26 21:38:44.262522
• Title: GRIT: Generative Role-filler Transformers for Document-level Event Entity Extraction
• Title（参考訳）: GRIT: ドキュメントレベルのイベントエンティティ抽出のための生成ロールフィラー変換器
• Authors: Xinya Du, Alexander M. Rush, Claire Cardie
• Abstract要約: 本稿では、文書レベルでコンテキストをモデル化するための生成トランスフォーマーベースのエンコーダデコーダフレームワーク(GRIT)を紹介する。 我々は,MUC-4データセットに対する我々のアプローチを評価し,我々のモデルが先行作業よりもかなり優れていることを示す。
• 参考スコア（独自算出の注目度）: 134.5580003327839
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We revisit the classic problem of document-level role-filler entity extraction (REE) for template filling. We argue that sentence-level approaches are ill-suited to the task and introduce a generative transformer-based encoder-decoder framework (GRIT) that is designed to model context at the document level: it can make extraction decisions across sentence boundaries; is implicitly aware of noun phrase coreference structure, and has the capacity to respect cross-role dependencies in the template structure. We evaluate our approach on the MUC-4 dataset, and show that our model performs substantially better than prior work. We also show that our modeling choices contribute to model performance, e.g., by implicitly capturing linguistic knowledge such as recognizing coreferent entity mentions.
• Abstract（参考訳）: テンプレートフィリングのための文書レベルのロールフィラーエンティティ抽出(REE)の古典的問題を再考する。 文レベルのアプローチはタスクに不適合であり、文書レベルでコンテキストをモデル化するように設計された生成トランスフォーマベースのエンコーダ-デコーダフレームワーク(grit)を導入する。 我々は,MUC-4データセットに対する我々のアプローチを評価し,我々のモデルが先行作業よりもかなり優れていることを示す。 また、コアフェレントエンティティの言及を認識するなどの言語知識を暗黙的に捉えることによって、モデリング選択がモデル性能に寄与することを示す。

関連論文リスト

• Learning to Extract Structured Entities Using Language Models [52.281701191329]
  機械学習の最近の進歩は、情報抽出の分野に大きな影響を与えている。 タスクをエンティティ中心にすることで、さまざまなメトリクスの使用を可能にします。 我々は、Structured Entity extractを導入し、Adroximate Entity Set OverlaPメトリックを提案し、この分野にコントリビュートします。
  論文  参考訳（メタデータ） (2024-02-06T22:15:09Z)
• Contextualization Distillation from Large Language Model for Knowledge Graph Completion [51.126166442122546]
  我々は、差別的かつ生成的なKGCフレームワークと互換性のあるプラグイン・アンド・プレイ方式であるContextualization Distillation戦略を導入する。 提案手法は,大規模言語モデルに対して,コンパクトで構造的な三重項を文脈に富んだセグメントに変換するように指示することから始まる。 多様なデータセットとKGC技術にわたる総合的な評価は、我々のアプローチの有効性と適応性を強調している。
  論文  参考訳（メタデータ） (2024-01-28T08:56:49Z)
• From Dialogue to Diagram: Task and Relationship Extraction from Natural Language for Accelerated Business Process Prototyping [0.0]
  本稿では、依存性解析と名前付きエンティティ認識(NER)の利用を、我々のアプローチの中心とする現代的ソリューションを紹介します。 我々は,行動関係の同定にSVO(Subject-Verb-Object)構造を用い,コンテキスト理解のためのWordNetなどの意味分析ツールを統合する。 このシステムはデータ変換と視覚化を十分に処理し、冗長に抽出された情報をBPMN(Business Process Model and Notation)ダイアグラムに変換する。
  論文  参考訳（メタデータ） (2023-12-16T12:35:28Z)
• Model Criticism for Long-Form Text Generation [113.13900836015122]
  我々は,テキストの高レベル構造を評価するために,潜在空間におけるモデル批判という統計ツールを適用した。 我々は,コヒーレンス,コア,トピックスという,ハイレベルな談話の3つの代表的な側面について実験を行った。 トランスフォーマーベースの言語モデルでは、トピック構造をキャプチャできるが、構造コヒーレンスやモデリングコアスを維持するのが難しくなる。
  論文  参考訳（メタデータ） (2022-10-16T04:35:58Z)
• Transformer Grammars: Augmenting Transformer Language Models with Syntactic Inductive Biases at Scale [31.293175512404172]
  Transformer Grammarsは、Transformerの表現力、スケーラビリティ、強力なパフォーマンスを組み合わせたTransformer言語モデルのクラスです。 また, Transformer Grammars は, 構文に敏感な言語モデリング評価指標において, 各種の強力なベースラインを上回ります。
  論文  参考訳（メタデータ） (2022-03-01T17:22:31Z)
• Document-level Entity-based Extraction as Template Generation [13.110360825201044]
  本稿では2つの文書レベルEEタスクのための生成フレームワークを提案する: 役割充足者エンティティ抽出(REE)と関係抽出(RE)である。 まず、テンプレート生成問題として定式化し、モデルが依存性を効率的にキャプチャできるようにする。 キー情報の識別能力を高めるために、新しいクロスアテンションガイド付きコピー機構であるTopK Copyを事前訓練されたシーケンス・ツー・シーケンスモデルに組み込む。
  論文  参考訳（メタデータ） (2021-09-10T14:18:22Z)
• Transformer Models for Text Coherence Assessment [14.132559978971377]
  コヒーレンス(coherence)は、テキストの品質の重要な側面であり、その可読性を保証するために不可欠である。 これまでの研究は、エンティティベースの手法、構文パターン、談話関係、最近ではテキストコヒーレンスアセスメントのための従来のディープラーニングアーキテクチャを活用してきた。 バニラ変換器,階層変換器,マルチタスク学習モデル,ファクトベース入力表現モデルという4つの異なるトランスフォーマーアーキテクチャを提案する。
  論文  参考訳（メタデータ） (2021-09-05T22:27:17Z)
• Enriching Transformers with Structured Tensor-Product Representations for Abstractive Summarization [131.23966358405767]
  抽象的な要約のタスクに対して,明示的に構成された製品表現(TPR)をTP-TRANSFORMERに適用する。 モデルの主な特徴は、トークンごとに2つの別々の表現を符号化することで導入する構造バイアスである。 本稿では,TP-TRANSFORMER が Transformer と TP-TRANSFORMER より優れていることを示す。
  論文  参考訳（メタデータ） (2021-06-02T17:32:33Z)
• Interpretable Entity Representations through Large-Scale Typing [61.4277527871572]
  本稿では,人間の読みやすいエンティティ表現を作成し,箱から高パフォーマンスを実現する手法を提案する。 我々の表現は、微粒な実体型に対する後続確率に対応するベクトルである。 特定のドメインに対して,学習に基づく方法で,型セットのサイズを縮小できることを示す。
  論文  参考訳（メタデータ） (2020-04-30T23:58:03Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。