論文の概要: Advancing Topic Segmentation and Outline Generation in Chinese Texts:
The Paragraph-level Topic Representation, Corpus, and Benchmark
- arxiv url: http://arxiv.org/abs/2305.14790v1
- Date: Wed, 24 May 2023 06:43:23 GMT
- ステータス: 処理完了
- システム内更新日: 2023-05-25 19:02:37.054926
- Title: Advancing Topic Segmentation and Outline Generation in Chinese Texts:
The Paragraph-level Topic Representation, Corpus, and Benchmark
- Title(参考訳): 中国語テキストにおけるトピックセグメンテーションとアウトライン生成の促進:パラグラフレベルのトピック表現、コーパス、ベンチマーク
- Authors: Feng Jiang, Weihao Liu, Xiaomin Chu, Peifeng Li, Qiaoming Zhu, Haizhou
Li
- Abstract要約: タイトル,サブヘッダ,段落を含む階層的な段落レベルのトピック構造表現を導入する。
我々は,これまでで最大であった4倍の大きさの中国段落レベルのトピック構造コーパス(CPTS)を構築した。
我々は,2つの基本課題(トピックセグメンテーションとアウトライン生成)におけるCPTSの計算可能性について,いくつかの強いベースラインで検証し,その有効性は下流タスクにおいて予め確認されている:談話解析である。
- 参考スコア(独自算出の注目度): 68.37789691077892
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Topic segmentation and outline generation strive to divide a document into
coherent topic sections and generate corresponding subheadings. Such a process
unveils the discourse topic structure of a document that benefits quickly
grasping and understanding the overall context of the document from a higher
level. However, research and applications in this field have been restrained
due to the lack of proper paragraph-level topic representations and
large-scale, high-quality corpora in Chinese compared to the success achieved
in English. Addressing these issues, we introduce a hierarchical
paragraph-level topic structure representation with title, subheading, and
paragraph that comprehensively models the document discourse topic structure.
In addition, we ensure a more holistic representation of topic distribution
within the document by using sentences instead of keywords to represent
sub-topics. Following this representation, we construct the largest Chinese
Paragraph-level Topic Structure corpus (CPTS), four times larger than the
previously largest one. We also employ a two-stage man-machine collaborative
annotation method to ensure the high quality of the corpus both in form and
semantics. Finally, we validate the computability of CPTS on two fundamental
tasks (topic segmentation and outline generation) by several strong baselines,
and its efficacy has been preliminarily confirmed on the downstream task:
discourse parsing. The representation, corpus, and benchmark we established
will provide a solid foundation for future studies.
- Abstract(参考訳): トピックセグメンテーションとアウトライン生成は、ドキュメントをコヒーレントなトピックセクションに分割し、対応するサブヘッドを生成する。
このようなプロセスはドキュメントの談話のトピック構造を明らかにし、文書の全体的なコンテキストを高いレベルから素早く把握し理解するのに役立つ。
しかし、この分野での研究や応用は、英語での成功と比較すると、適切な段落レベルの話題表現や、中国語の大規模で高品質なコーパスの欠如により抑制されている。
これらの問題に対処するために,文書の話題構造を包括的にモデル化するタイトル,サブヘッド,段落を含む階層的な段落レベルのトピック構造表現を導入する。
さらに,サブトピックを表すキーワードの代わりに文を用いて,文書内のトピック分布をより包括的に表現する。
この表現に従い、中国最大の段落レベルのトピック構造コーパス(cpts)を構築し、従来よりも4倍大きいトピック構造コーパスを構築した。
また,2段階の人間と機械の協調的アノテーション手法を用いて,コーパスの質を形式的・意味的にも確実に保証する。
最後に,2つの基本課題(トピックセグメンテーションとアウトライン生成)におけるCPTSの計算可能性について,いくつかの強いベースラインで検証し,その有効性は下流タスクで予め確認されている。
私たちが確立した表現、コーパス、ベンチマークは、将来の研究の確かな基盤となるでしょう。
関連論文リスト
- From Text Segmentation to Smart Chaptering: A Novel Benchmark for
Structuring Video Transcriptions [63.11097464396147]
音声コンテンツに焦点をあてた新しいベンチマークYTSegを導入し、その内容は本質的に非構造的であり、トポロジと構造的にも多様である。
また,高効率な階層分割モデルMiniSegを導入する。
論文 参考訳(メタデータ) (2024-02-27T15:59:37Z) - PropSegmEnt: A Large-Scale Corpus for Proposition-Level Segmentation and
Entailment Recognition [63.51569687229681]
文中の各命題の文的含意関係を個別に認識する必要性について論じる。
提案するPropSegmEntは45K以上の提案のコーパスであり, 専門家によるアノテートを行う。
我々のデータセット構造は、(1)文書内の文章を命題の集合に分割し、(2)異なるが、トポジカルに整合した文書に対して、各命題の含意関係を分類するタスクに類似している。
論文 参考訳(メタデータ) (2022-12-21T04:03:33Z) - Predicting Above-Sentence Discourse Structure using Distant Supervision
from Topic Segmentation [8.688675709130289]
RSTスタイルの談話解析は多くのNLPタスクにおいて重要な役割を担っている。
その重要性にもかかわらず、現代の談話解析における最も一般的な制限の1つは、大規模なデータセットの欠如である。
論文 参考訳(メタデータ) (2021-12-12T10:16:45Z) - Bilingual Topic Models for Comparable Corpora [9.509416095106491]
ペア化された文書の分布間の結合機構を提案する。
異なる言語で書かれた文書の類似性を推定するために、浅いニューラルネットワークで学習した言語間単語埋め込みを用いる。
提案手法は2つのトピックモデルを拡張して評価する: 単語のバグ入力を仮定するLDAのバイリンガル適応と、テキスト構造の一部を意味的に一貫性のあるセグメントの境界に組み込んだモデル。
論文 参考訳(メタデータ) (2021-11-30T10:53:41Z) - Author Clustering and Topic Estimation for Short Texts [69.54017251622211]
同じ文書中の単語間の強い依存をモデル化することにより、遅延ディリクレ割当を拡張できる新しいモデルを提案する。
同時にユーザをクラスタ化し、ホック後のクラスタ推定の必要性を排除しています。
我々の手法は、短文で生じる問題に対する従来のアプローチよりも、-または----------- で機能する。
論文 参考訳(メタデータ) (2021-06-15T20:55:55Z) - Long Text Generation by Modeling Sentence-Level and Discourse-Level
Coherence [59.51720326054546]
本稿では,デコード処理における文レベルと談話レベルにおけるプレフィックス文を表現可能な長文生成モデルを提案する。
我々のモデルは最先端のベースラインよりも一貫性のあるテキストを生成することができる。
論文 参考訳(メタデータ) (2021-05-19T07:29:08Z) - Topic Scaling: A Joint Document Scaling -- Topic Model Approach To Learn
Time-Specific Topics [0.0]
本稿では,文書位置の尺度から時間に基づくトピックを学習する2段階アルゴリズムを実装し,シーケンシャルコーパスを研究する新しい手法を提案する。
最初の段階はWordfishを使用してドキュメントをランク付けし、関連するトピックを学ぶために依存変数として機能する文書の位置を推定します。
第二段階は、コーパス内のそれらの発生と一致するように文書スケール上の推論されたトピックをランク付けし、それらの進化を追跡します。
論文 参考訳(メタデータ) (2021-03-31T12:35:36Z) - An End-to-End Document-Level Neural Discourse Parser Exploiting
Multi-Granularity Representations [24.986030179701405]
構文とセマンティクスにまたがる複数のレベルの粒度から派生した堅牢な表現を利用します。
このような表現をエンドツーエンドのエンコーダデコーダニューラルアーキテクチャに組み込んで、よりリソース豊富な対話処理を行います。
論文 参考訳(メタデータ) (2020-12-21T08:01:04Z) - Multilevel Text Alignment with Cross-Document Attention [59.76351805607481]
既存のアライメントメソッドは、1つの事前定義されたレベルで動作します。
本稿では,文書を文書間注目要素で表現するための階層的アテンションエンコーダを予め確立した新しい学習手法を提案する。
論文 参考訳(メタデータ) (2020-10-03T02:52:28Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。