Fugu-MT 論文翻訳(概要): Predicting Discourse Trees from Transformer-based Neural Summarizers

論文の概要: Predicting Discourse Trees from Transformer-based Neural Summarizers

arxiv url: http://arxiv.org/abs/2104.07058v1
Date: Wed, 14 Apr 2021 18:10:05 GMT
ステータス: 処理完了
システム内更新日: 2021-04-17 09:02:21.329707
Title: Predicting Discourse Trees from Transformer-based Neural Summarizers
Title（参考訳）: トランスフォーマティブ・ニューラル・サマリーサによる談話木の推定
Authors: Wen Xiao, Patrick Huber, Giuseppe Carenini
Abstract要約: トランスフォーマーモデルの自己対応行列からラベルなしのrst型談話木を生成する。実験により、要約者が依存型と構成型の両方の談話情報を学ぶことが明らかとなった。
参考スコア（独自算出の注目度）: 7.421040034454999
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Previous work indicates that discourse information benefits summarization. In this paper, we explore whether this synergy between discourse and summarization is bidirectional, by inferring document-level discourse trees from pre-trained neural summarizers. In particular, we generate unlabeled RST-style discourse trees from the self-attention matrices of the transformer model. Experiments across models and datasets reveal that the summarizer learns both, dependency- and constituency-style discourse information, which is typically encoded in a single head, covering long- and short-distance discourse dependencies. Overall, the experimental results suggest that the learned discourse information is general and transferable inter-domain.
Abstract（参考訳）: 以前の研究は、談話情報は要約に役立つことを示している。本稿では,事前学習した神経要約者から文書レベルの談話木を推定することで,談話と要約の相乗効果が双方向であるかどうかを検討する。特に,トランスフォーマーモデルの自己対応行列からラベルなしのrst型談話木を生成する。モデルとデータセットをまたいだ実験では、要約者が依存関係と選挙区スタイルの談話情報の両方を学び、通常は1つのヘッドにエンコードされ、長距離と短距離の談話の依存関係をカバーする。実験結果から,学習した談話情報は汎用的かつ伝達可能なドメイン間情報であることが示唆された。

関連論文リスト

Surprise! Uniform Information Density Isn't the Whole Story: Predicting Surprisal Contours in Long-form Discourse [54.08750245737734]
話者は、階層的に構造化された談話モデル内の位置に基づいて、情報率を変調する。階層的予測器は談話の情報輪郭の重要な予測器であり,深い階層的予測器は浅い予測器よりも予測力が高いことがわかった。
論文参考訳（メタデータ） (2024-10-21T14:42:37Z)
Syntactic Multi-view Learning for Open Information Extraction [26.1066324477346]
Open Information extract (OpenIE) は、オープンドメインの文から抽出することを目的としている。本稿では,単語レベルのグラフに構成木と依存性木の両方をモデル化する。
論文参考訳（メタデータ） (2022-12-05T07:15:41Z)
Towards Relation Extraction From Speech [56.36416922396724]
本稿では,新たな聴取情報抽出タスク,すなわち音声関係抽出を提案する。本研究では,音声合成システムによる音声関係抽出のための訓練データセットを構築し,英語母語話者によるクラウドソーシングによるテストデータセットを構築した。我々は,音声関係抽出における課題を識別するための包括的実験を行い,今後の探索に光を当てる可能性がある。
論文参考訳（メタデータ） (2022-10-17T05:53:49Z)
Improve Discourse Dependency Parsing with Contextualized Representations [28.916249926065273]
本稿では,異なるレベルの単位の文脈化表現を符号化するトランスフォーマーの活用を提案する。記事間で共通に共有される記述パターンの観察に動機付けられ,談話関係の識別をシーケンスラベリングタスクとして扱う新しい手法を提案する。
論文参考訳（メタデータ） (2022-05-04T14:35:38Z)
Deep Learning For Prominence Detection In Children's Read Speech [13.041607703862724]
本稿では, 幼児の口臭度評価に際し, 単語検出に係わる特徴を学習するためのセグメント音声波形を用いたシステムを提案する。単語レベルの特徴とシーケンス情報の両方を取り入れた選択されたCRNN(畳み込みリカレントニューラルネットワーク)フレームワークは、知覚的に動機付けられたSincNetフィルタの恩恵を受けている。
論文参考訳（メタデータ） (2021-10-27T08:51:42Z)
Decomposing lexical and compositional syntax and semantics with deep language models [82.81964713263483]
GPT2のような言語変換器の活性化は、音声理解中の脳活動に線形にマップすることが示されている。本稿では,言語モデルの高次元アクティベーションを,語彙,構成,構文,意味表現の4つのクラスに分類する分類法を提案する。その結果は2つの結果が浮かび上がった。まず、構成表現は、語彙よりも広範な皮質ネットワークを募集し、両側の側頭、頭頂、前頭前皮質を包含する。
論文参考訳（メタデータ） (2021-03-02T10:24:05Z)
MEGA RST Discourse Treebanks with Structure and Nuclearity from Scalable Distant Sentiment Supervision [30.615883375573432]
本稿では,感情アノテートされたデータセットから遠方からの監視を用いて,談話木バンクを自動的に生成する新しい手法を提案する。提案手法は,効率的なビーム探索手法を用いて,任意の長さの文書に構造と核性を取り入れた木を生成する。実験により、MEGA-DTツリーバンクでトレーニングされた談話が、ドメイン間パフォーマンスの有望な向上をもたらすことが示された。
論文参考訳（メタデータ） (2020-11-05T18:22:38Z)
Exploiting Syntactic Structure for Better Language Modeling: A Syntactic Distance Approach [78.77265671634454]
我々はマルチタスクの目的、すなわち、モデルが単語を同時に予測し、また「シンタクティック距離」と呼ばれる形態で真実解析木を解析する。 Penn Treebank と Chinese Treebank のデータセットによる実験結果から,地上の真理解析木を追加の訓練信号として提供すると,そのモデルはより低いパープレキシティを実現し,より良い品質で木を誘導できることが示された。
論文参考訳（メタデータ） (2020-05-12T15:35:00Z)
Self-Attention Attribution: Interpreting Information Interactions Inside Transformer [89.21584915290319]
本稿では,トランスフォーマー内の情報相互作用を解釈する自己帰属属性法を提案する。本研究は,BERT に対する非目標攻撃の実装において,その属性を敵対パターンとして用いることができることを示す。
論文参考訳（メタデータ） (2020-04-23T14:58:22Z)
A Hierarchical Network for Abstractive Meeting Summarization with Cross-Domain Pretraining [52.11221075687124]
本稿では,会議シナリオに適応する抽象的要約ネットワークを提案する。提案手法は,長時間の会議記録に対応する階層構造と,話者間の差異を表現する役割ベクトルを設計する。我々のモデルは、自動測定と人的評価の両方において、過去のアプローチよりも優れています。
論文参考訳（メタデータ） (2020-04-04T21:00:41Z)
Attend to the beginning: A study on using bidirectional attention for extractive summarization [1.148539813252112]
本稿では,抽出要約モデルの性能向上のために,文書の開始に参画することを提案する。我々は、テキストデータの最初の数文に出席することで、テキストの早期に重要な情報を導入する傾向を生かしている。
論文参考訳（メタデータ） (2020-02-09T17:46:22Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。