Fugu-MT 論文翻訳(概要): Incorporating Distributions of Discourse Structure for Long Document Abstractive Summarization

論文の概要: Incorporating Distributions of Discourse Structure for Long Document Abstractive Summarization

arxiv url: http://arxiv.org/abs/2305.16784v1
Date: Fri, 26 May 2023 09:51:47 GMT
ステータス: 処理完了
システム内更新日: 2023-05-29 15:51:52.109635
Title: Incorporating Distributions of Discourse Structure for Long Document Abstractive Summarization
Title（参考訳）: 長期文書要約のための談話構造分布の導入
Authors: Dongqi Pu, Yifan Wang, Vera Demberg
Abstract要約: 本稿では,修辞関係のタイプと不確実性を包括的に組み込んだ新しい要約モデルであるRSTformerを紹介する。文書レベルの修辞構造に根ざしたRTTアテンション機構は,最近開発されたLongformerフレームワークの拡張である。
参考スコア（独自算出の注目度）: 11.168330694255404
License: http://creativecommons.org/licenses/by/4.0/
Abstract: For text summarization, the role of discourse structure is pivotal in discerning the core content of a text. Regrettably, prior studies on incorporating Rhetorical Structure Theory (RST) into transformer-based summarization models only consider the nuclearity annotation, thereby overlooking the variety of discourse relation types. This paper introduces the 'RSTformer', a novel summarization model that comprehensively incorporates both the types and uncertainty of rhetorical relations. Our RST-attention mechanism, rooted in document-level rhetorical structure, is an extension of the recently devised Longformer framework. Through rigorous evaluation, the model proposed herein exhibits significant superiority over state-of-the-art models, as evidenced by its notable performance on several automatic metrics and human evaluation.
Abstract（参考訳）: テキスト要約では、テキストの中核内容の識別において、談話構造の役割が重要である。 RST(Rhetorical Structure Theory)をトランスフォーマーベースの要約モデルに組み込む以前の研究は、核性アノテーションのみを考慮し、様々な談話関係型を見越す。本稿では,修辞関係のタイプと不確実性を包括的に組み込んだ新しい要約モデルであるRSTformerを紹介する。文書レベルの修辞構造に根ざしたRTTアテンション機構は,最近開発されたLongformerフレームワークの拡張である。厳密な評価を通じて、提案するモデルは、いくつかの自動測定と人的評価において顕著な性能を示すように、最先端モデルよりも顕著な優位性を示す。

関連論文リスト

RST-LoRA: A Discourse-Aware Low-Rank Adaptation for Long Document Abstractive Summarization [19.214041945441434]
本稿では RST-LoRA モデルに RST を明示的に組み込むための RST-LoRA を4種類提案する。我々の経験的評価は、修辞関係のタイプと不確かさを取り入れることで、LoRAの性能を補完的に向上させることができることを示している。
論文参考訳（メタデータ） (2024-05-01T17:37:50Z)
How Well Do Text Embedding Models Understand Syntax? [50.440590035493074]
テキスト埋め込みモデルが幅広い構文的文脈にまたがって一般化する能力は、まだ解明されていない。その結果,既存のテキスト埋め込みモデルは,これらの構文的理解課題に十分対応していないことが明らかとなった。多様な構文シナリオにおけるテキスト埋め込みモデルの一般化能力を高めるための戦略を提案する。
論文参考訳（メタデータ） (2023-11-14T08:51:00Z)
Controllable Topic-Focused Abstractive Summarization [57.8015120583044]
制御された抽象的な要約は、特定の側面をカバーするために、ソース記事の凝縮したバージョンを作成することに焦点を当てる。本稿では,トピックに着目した要約を生成可能なトランスフォーマーアーキテクチャを提案する。
論文参考訳（メタデータ） (2023-11-12T03:51:38Z)
Model Criticism for Long-Form Text Generation [113.13900836015122]
我々は,テキストの高レベル構造を評価するために,潜在空間におけるモデル批判という統計ツールを適用した。我々は,コヒーレンス,コア,トピックスという,ハイレベルな談話の3つの代表的な側面について実験を行った。トランスフォーマーベースの言語モデルでは、トピック構造をキャプチャできるが、構造コヒーレンスやモデリングコアスを維持するのが難しくなる。
論文参考訳（メタデータ） (2022-10-16T04:35:58Z)
Knowledge-Aware Bayesian Deep Topic Model [50.58975785318575]
本稿では,事前知識を階層型トピックモデリングに組み込むベイズ生成モデルを提案する。提案モデルでは,事前知識を効率的に統合し,階層的なトピック発見と文書表現の両面を改善する。
論文参考訳（メタデータ） (2022-09-20T09:16:05Z)
RSTGen: Imbuing Fine-Grained Interpretable Control into Long-FormText Generators [26.27412809287025]
RSTGenは、生成されたテキストの談話構造、セマンティクス、トピックを制御するフレームワークである。オープンジェネレーション評価において、生成したテキストの構造的言論と意味的特徴を制御できるモデルの能力を実証する。
論文参考訳（メタデータ） (2022-05-25T09:06:04Z)
Revise and Resubmit: An Intertextual Model of Text-based Collaboration in Peer Review [52.359007622096684]
ピアレビューは、ほとんどの科学分野における出版プロセスの重要な要素である。既存のNLP研究は個々のテキストの分析に重点を置いている。編集補助は、しばしばテキストのペア間の相互作用をモデル化する必要がある。
論文参考訳（メタデータ） (2022-04-22T16:39:38Z)
Dialogue Summarization with Supporting Utterance Flow Modeling and Fact Regularization [58.965859508695225]
本稿では、2つの新しいモジュールを用いた対話要約のためのエンドツーエンドニューラルネットワークを提案する。サポートされた発話フローモデリングは、前者の発話から後者へのフォーカスを円滑にシフトさせることで、コヒーレントな要約を生成するのに役立つ。事実の正則化は、モデルトレーニング中に生成された要約は、基礎と真実の要約と実際に一致するように促します。
論文参考訳（メタデータ） (2021-08-03T03:09:25Z)
Semiparametric Latent Topic Modeling on Consumer-Generated Corpora [0.0]
本稿では,非負行列因数分解と半パラメトリック回帰を利用したトピックモデリングにおける2段階のアプローチである,半パラメトリックトピックモデルを提案する。このモデルにより、コーパス内のスパーストピック構造を再構築することができ、コーパスに入る新しい文書のトピックを予測するための生成モデルを提供する。実際の消費者フィードバックコーパスでは、モデルは、他のメソッドが生成したものに匹敵する解釈可能で有用なトピック定義を提供する。
論文参考訳（メタデータ） (2021-07-13T00:22:02Z)
Decomposing and Recomposing Event Structure [4.270553193574436]
これをrole、entity type、event-level semantic graphと共同で導入する。従来の理論的動機付けされた文書レベルの生成モデルと密接に一致した型群を同定する。
論文参考訳（メタデータ） (2021-03-18T17:16:43Z)
StructSum: Summarization via Structured Representations [27.890477913486787]
抽象テキスト要約は、長い資料の情報を要約した要約に圧縮することを目的としている。モデリング技術の進歩にもかかわらず、抽象的な要約モデルは依然としていくつかの重要な課題に悩まされている。本稿では,これらの課題に対処するための要約のための文書レベルの構造誘導に基づくフレームワークを提案する。
論文参考訳（メタデータ） (2020-03-01T20:32:51Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。