論文の概要: Bipartite Graph Pre-training for Unsupervised Extractive Summarization with Graph Convolutional Auto-Encoders

• arxiv url: http://arxiv.org/abs/2310.18992v1
• Date: Sun, 29 Oct 2023 12:27:18 GMT
• ステータス: 処理完了
• システム内更新日: 2023-10-31 15:03:28.312254
• Title: Bipartite Graph Pre-training for Unsupervised Extractive Summarization with Graph Convolutional Auto-Encoders
• Title（参考訳）: グラフ畳み込みオートエンコーダを用いた教師なし抽出要約のための2部グラフ事前学習
• Authors: Qianren Mao and Shaobo Zhao and Jiarui Li and Xiaolei Gu and Shizhu He and Bo Li and Jianxin Li
• Abstract要約: 本研究は, 文章表現の正当性や特徴を最適化するプロセスから, 事前学習した埋め込みを活用することで, 重要な文のランク付けに役立てるものであることを論じる。 そこで本研究では,文埋め込みのためのグラフ事前学習オートエンコーダを提案する。
• 参考スコア（独自算出の注目度）: 24.13261636386226
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Pre-trained sentence representations are crucial for identifying significant sentences in unsupervised document extractive summarization. However, the traditional two-step paradigm of pre-training and sentence-ranking, creates a gap due to differing optimization objectives. To address this issue, we argue that utilizing pre-trained embeddings derived from a process specifically designed to optimize cohensive and distinctive sentence representations helps rank significant sentences. To do so, we propose a novel graph pre-training auto-encoder to obtain sentence embeddings by explicitly modelling intra-sentential distinctive features and inter-sentential cohesive features through sentence-word bipartite graphs. These pre-trained sentence representations are then utilized in a graph-based ranking algorithm for unsupervised summarization. Our method produces predominant performance for unsupervised summarization frameworks by providing summary-worthy sentence representations. It surpasses heavy BERT- or RoBERTa-based sentence representations in downstream tasks.
• Abstract（参考訳）: 事前訓練された文表現は、教師なし文書抽出要約における重要な文を特定するために重要である。 しかし、従来の2段階の事前学習と文ランク付けのパラダイムは、最適化の目的が異なるためにギャップを生じさせる。 この問題に対処するために,一意の文表現を最適化するために特別に設計されたプロセスから事前学習した埋め込みを利用することは,重要な文のランク付けに役立つと論じる。 そこで本研究では,文内特徴と文間結合特徴を明示的にモデル化し,文内埋め込みを得るための自動エンコーダを事前学習する新しいグラフを提案する。 これらの事前訓練された文表現は、教師なし要約のためのグラフベースのランキングアルゴリズムで利用される。 提案手法は,要約文表現を提供することで,教師なし要約フレームワークの性能を最大化する。 下流タスクでは、重いBERTまたはRoBERTaベースの文表現を上回る。

関連論文リスト

• Non-Autoregressive Sentence Ordering [22.45972496989434]
  文間の相互依存を探索し,各位置の文を並列に予測する,textitNAON と呼ばれる新しい非自己回帰順序付けネットワークを提案する。 提案手法は,複数の一般的なデータセットに対して広範囲に実験を行い,提案手法が自己回帰的アプローチよりも優れていることを示す実験結果を得た。
  論文  参考訳（メタデータ） (2023-10-19T10:57:51Z)
• Scientific Paper Extractive Summarization Enhanced by Citation Graphs [50.19266650000948]
  我々は、引用グラフを活用して、異なる設定下での科学的論文の抽出要約を改善することに重点を置いている。 予備的な結果は、単純な教師なしフレームワークであっても、引用グラフが有用であることを示している。 そこで我々は,大規模ラベル付きデータが利用可能である場合のタスクにおいて,より正確な結果を得るために,グラフベースのスーパービジョン・サムライゼーション・モデル(GSS)を提案する。
  論文  参考訳（メタデータ） (2022-12-08T11:53:12Z)
• Unsupervised Extractive Summarization with Heterogeneous Graph Embeddings for Chinese Document [5.9630342951482085]
  中国語文書にヘテロジニアスグラフ埋め込み (HGE) を組み込んだ教師なし抽出サマリザイトン法を提案する。 実験結果から,本手法は3つの要約データセットにおいて,強いベースラインを一貫して上回ることを示した。
  論文  参考訳（メタデータ） (2022-11-09T06:07:31Z)
• Learning Non-Autoregressive Models from Search for Unsupervised Sentence Summarization [20.87460375478907]
  テキスト要約は、入力テキストの短い要約を生成することを目的としている。 本研究では,非自己回帰的教師なし要約手法を提案する。 実験により、NAUSは教師なし要約の最先端性能を達成することが示された。
  論文  参考訳（メタデータ） (2022-05-28T21:09:23Z)
• Probing as Quantifying the Inductive Bias of Pre-trained Representations [99.93552997506438]
  本稿では,特定のタスクに対する表現の帰納的バイアスを評価することを目的とした,探索のための新しいフレームワークを提案する。 トークン、アーク、文レベルの一連のタスクに我々のフレームワークを適用します。
  論文  参考訳（メタデータ） (2021-10-15T22:01:16Z)
• Narrative Incoherence Detection [76.43894977558811]
  本稿では,文間セマンティック理解のための新たなアリーナとして,物語不整合検出の課題を提案する。 複数文の物語を考えると、物語の流れに意味的な矛盾があるかどうかを決定します。
  論文  参考訳（メタデータ） (2020-12-21T07:18:08Z)
• Unsupervised Extractive Summarization by Pre-training Hierarchical Transformers [107.12125265675483]
  教師なし抽出文書要約は、訓練中にラベル付き要約を用いることなく、文書から重要な文章を選択することを目的としている。 既存の手法は主にグラフベースで、文をノードとして、エッジの重みは文の類似性によって測定される。 教師なし抽出要約のための文のランク付けにはトランスフォーマーの注意が利用できることがわかった。
  論文  参考訳（メタデータ） (2020-10-16T08:44:09Z)
• Discrete Optimization for Unsupervised Sentence Summarization with Word-Level Extraction [31.648764677078837]
  自動要約は、その最も重要な情報を保存しながら、文章の短いバージョンを生成する。 我々はこれら2つの側面を言語モデリングと意味的類似度メトリクスからなる教師なし目的関数でモデル化する。 提案手法は,ROUGEスコアによる教師なし文要約のための新しい最先端技術を実現する。
  論文  参考訳（メタデータ） (2020-05-04T19:01:55Z)
• Structure-Augmented Text Representation Learning for Efficient Knowledge Graph Completion [53.31911669146451]
  人為的な知識グラフは、様々な自然言語処理タスクに重要な支援情報を提供する。 これらのグラフは通常不完全であり、自動補完を促す。 グラフ埋め込みアプローチ(例えばTransE)は、グラフ要素を密度の高い埋め込みに表現することで構造化された知識を学ぶ。 テキストエンコーディングアプローチ(KG-BERTなど)は、グラフトリプルのテキストとトリプルレベルの文脈化表現を利用する。
  論文  参考訳（メタデータ） (2020-04-30T13:50:34Z)
• Pseudo-Convolutional Policy Gradient for Sequence-to-Sequence Lip-Reading [96.48553941812366]
  唇読解は唇運動系列から音声内容を推測することを目的としている。 seq2seqモデルの伝統的な学習プロセスには2つの問題がある。 本稿では,これら2つの問題に対処するために,PCPGに基づく新しい手法を提案する。
  論文  参考訳（メタデータ） (2020-03-09T09:12:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。