論文の概要: An End-to-End Document-Level Neural Discourse Parser Exploiting Multi-Granularity Representations

• arxiv url: http://arxiv.org/abs/2012.11169v1
• Date: Mon, 21 Dec 2020 08:01:04 GMT
• ステータス: 処理完了
• システム内更新日: 2021-04-27 06:38:48.982443
• Title: An End-to-End Document-Level Neural Discourse Parser Exploiting Multi-Granularity Representations
• Title（参考訳）: 複数粒度表現を出力する文書終端レベルニューラルディスコースパーザ
• Authors: Ke Shi, Zhengyuan Liu, Nancy F. Chen
• Abstract要約: 構文とセマンティクスにまたがる複数のレベルの粒度から派生した堅牢な表現を利用します。 このような表現をエンドツーエンドのエンコーダデコーダニューラルアーキテクチャに組み込んで、よりリソース豊富な対話処理を行います。
• 参考スコア（独自算出の注目度）: 24.986030179701405
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Document-level discourse parsing, in accordance with the Rhetorical Structure Theory (RST), remains notoriously challenging. Challenges include the deep structure of document-level discourse trees, the requirement of subtle semantic judgments, and the lack of large-scale training corpora. To address such challenges, we propose to exploit robust representations derived from multiple levels of granularity across syntax and semantics, and in turn incorporate such representations in an end-to-end encoder-decoder neural architecture for more resourceful discourse processing. In particular, we first use a pre-trained contextual language model that embodies high-order and long-range dependency to enable finer-grain semantic, syntactic, and organizational representations. We further encode such representations with boundary and hierarchical information to obtain more refined modeling for document-level discourse processing. Experimental results show that our parser achieves the state-of-the-art performance, approaching human-level performance on the benchmarked RST dataset.
• Abstract（参考訳）: RST(Rhetorical Structure Theory)に従って、文書レベルの言論解析は依然として難しい。 課題には、文書レベルの談話木の深い構造、微妙な意味判断の要求、大規模学習コーパスの欠如などが含まれる。 このような課題に対処するため,我々は,構文や意味論にまたがる複数のレベルの粒度に由来するロバスト表現を活用し,その表現をエンド・ツー・エンドのエンコーダ・デコーダ・ニューラル・アーキテクチャに組み込んで,よりリソースに富んだ談話処理を実現することを提案する。 特に、我々はまず、高次および長距離依存を具現化した事前学習された文脈言語モデルを用いて、より微細な粒度意味論、統語論、組織表現を可能にする。 さらに,このような表現を境界情報と階層情報でエンコードし,文書レベルの談話処理のためのより洗練されたモデリングを得る。 実験の結果,ベンチマークしたrstデータセットにおける人間レベルの性能に近づいた,最先端の性能が得られた。

関連論文リスト

• Pointer-Guided Pre-Training: Infusing Large Language Models with Paragraph-Level Contextual Awareness [3.2925222641796554]
  ポインター誘導セグメントオーダリング(SO)は,段落レベルのテキスト表現の文脈的理解を高めることを目的とした,新しい事前学習手法である。 実験の結果,ポインタ誘導型事前学習は複雑な文書構造を理解する能力を大幅に向上させることがわかった。
  論文  参考訳（メタデータ） (2024-06-06T15:17:51Z)
• Probing Representations for Document-level Event Extraction [30.523959637364484]
  この研究は、文書レベルの情報抽出で学んだ表現に探索パラダイムを適用した最初のものである。 文書レベルのイベント抽出に関連するサーフェス,セマンティクス,イベント理解機能を分析するために,8つの埋め込みプローブを設計した。 これらのモデルからトレーニングされたエンコーダは、わずかに引数の検出とラベリングを改善することができるが、イベントレベルのタスクをわずかに強化するだけである。
  論文  参考訳（メタデータ） (2023-10-23T19:33:04Z)
• On Robustness of Prompt-based Semantic Parsing with Large Pre-trained Language Model: An Empirical Study on Codex [48.588772371355816]
  本稿では,大規模なプロンプトベース言語モデルであるコーデックスの対角的ロバスト性に関する最初の実証的研究について述べる。 この結果から, 最先端の言語モデル(SOTA)は, 慎重に構築された敵の例に対して脆弱であることが示された。
  論文  参考訳（メタデータ） (2023-01-30T13:21:00Z)
• Guiding the PLMs with Semantic Anchors as Intermediate Supervision: Towards Interpretable Semantic Parsing [57.11806632758607]
  本稿では,既存の事前学習言語モデルを階層型デコーダネットワークに組み込むことを提案する。 第一原理構造をセマンティックアンカーとすることで、2つの新しい中間管理タスクを提案する。 いくつかのセマンティック解析ベンチマークで集中的な実験を行い、我々のアプローチがベースラインを一貫して上回ることを示す。
  論文  参考訳（メタデータ） (2022-10-04T07:27:29Z)
• Dialogue Meaning Representation for Task-Oriented Dialogue Systems [51.91615150842267]
  タスク指向対話のための柔軟かつ容易に拡張可能な表現である対話意味表現(DMR)を提案する。 我々の表現は、合成意味論とタスク固有の概念のためのリッチな意味論を表現するために、継承階層を持つノードとエッジのセットを含んでいる。 異なる機械学習ベースの対話モデルを評価するための2つの評価タスクを提案し、さらにグラフベースのコア参照解決タスクのための新しいコア参照解決モデルGNNCorefを提案する。
  論文  参考訳（メタデータ） (2022-04-23T04:17:55Z)
• Predicting Above-Sentence Discourse Structure using Distant Supervision from Topic Segmentation [8.688675709130289]
  RSTスタイルの談話解析は多くのNLPタスクにおいて重要な役割を担っている。 その重要性にもかかわらず、現代の談話解析における最も一般的な制限の1つは、大規模なデータセットの欠如である。
  論文  参考訳（メタデータ） (2021-12-12T10:16:45Z)
• Long Text Generation by Modeling Sentence-Level and Discourse-Level Coherence [59.51720326054546]
  本稿では,デコード処理における文レベルと談話レベルにおけるプレフィックス文を表現可能な長文生成モデルを提案する。 我々のモデルは最先端のベースラインよりも一貫性のあるテキストを生成することができる。
  論文  参考訳（メタデータ） (2021-05-19T07:29:08Z)
• Infusing Finetuning with Semantic Dependencies [62.37697048781823]
  シンタックスとは異なり、セマンティクスは今日の事前訓練モデルによって表面化されないことを示す。 次に、畳み込みグラフエンコーダを使用して、タスク固有の微調整にセマンティック解析を明示的に組み込む。
  論文  参考訳（メタデータ） (2020-12-10T01:27:24Z)
• SLM: Learning a Discourse Language Representation with Sentence Unshuffling [53.42814722621715]
  談話言語表現を学習するための新しい事前学習目的である文レベル言語モデリングを導入する。 本モデルでは,この特徴により,従来のBERTの性能が大幅に向上することを示す。
  論文  参考訳（メタデータ） (2020-10-30T13:33:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。