論文の概要: Document-aware Positional Encoding and Linguistic-guided Encoding for Abstractive Multi-document Summarization

• arxiv url: http://arxiv.org/abs/2209.05929v1
• Date: Tue, 13 Sep 2022 12:22:38 GMT
• ステータス: 処理完了
• システム内更新日: 2022-09-14 12:47:14.334569
• Title: Document-aware Positional Encoding and Linguistic-guided Encoding for Abstractive Multi-document Summarization
• Title（参考訳）: 抽象的多文書要約のための文書認識位置符号化と言語誘導符号化
• Authors: Congbo Ma, Wei Emma Zhang, Pitawelayalage Dasun Dileepa Pitawela, Yutong Qu, Haojie Zhuang, Hu Wang
• Abstract要約: 多文書要約における重要な課題の1つは、単一文書要約(SDS)と多文書要約(MDS)を区別する入力文書間の関係を捉えることである。 本稿では,MDS用トランスフォーマーアーキテクチャと融合可能な文書認識位置符号化と言語誘導符号化を提案する。
• 参考スコア（独自算出の注目度）: 12.799359904396624
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: One key challenge in multi-document summarization is to capture the relations among input documents that distinguish between single document summarization (SDS) and multi-document summarization (MDS). Few existing MDS works address this issue. One effective way is to encode document positional information to assist models in capturing cross-document relations. However, existing MDS models, such as Transformer-based models, only consider token-level positional information. Moreover, these models fail to capture sentences' linguistic structure, which inevitably causes confusions in the generated summaries. Therefore, in this paper, we propose document-aware positional encoding and linguistic-guided encoding that can be fused with Transformer architecture for MDS. For document-aware positional encoding, we introduce a general protocol to guide the selection of document encoding functions. For linguistic-guided encoding, we propose to embed syntactic dependency relations into the dependency relation mask with a simple but effective non-linear encoding learner for feature learning. Extensive experiments show the proposed model can generate summaries with high quality.
• Abstract（参考訳）: 多文書要約における重要な課題の1つは、単一文書要約(SDS)と多文書要約(MDS)を区別する入力文書間の関係を捉えることである。 この問題に対処する既存のMDS作業はほとんどありません。 効果的な方法は、文書の位置情報をエンコードして、文書間の関係を捉えるモデルを支援することである。 しかし、Transformerベースのモデルのような既存のMDSモデルはトークンレベルの位置情報のみを考慮する。 さらに、これらのモデルは文の言語構造を捉えず、必然的に生成された要約の混乱を引き起こす。 そこで本稿では,MDS用トランスフォーマーアーキテクチャと融合可能な文書認識位置符号化と言語誘導符号化を提案する。 文書認識位置符号化には,文書符号化機能の選択をガイドする汎用プロトコルを導入する。 言語誘導エンコーディングでは, 特徴学習のための単純かつ効果的な非線形エンコーディング学習器を用いて, 係り受け関係マスクに構文的係り受け関係を組み込むことを提案する。 実験により,提案モデルが高品質な要約を生成することを示す。

関連論文リスト

• Unified Multi-Modal Interleaved Document Representation for Information Retrieval [57.65409208879344]
  我々は、異なるモダリティでインターリーブされた文書を均等に埋め込み、より包括的でニュアンスのある文書表現を生成する。 具体的には、テキスト、画像、テーブルの処理と統合を統一されたフォーマットと表現に統合する、近年のビジョン言語モデルの能力を活用して、これを実現する。
  論文  参考訳（メタデータ） (2024-10-03T17:49:09Z)
• FLIP: Fine-grained Alignment between ID-based Models and Pretrained Language Models for CTR Prediction [49.510163437116645]
  クリックスルーレート(CTR)予測は、パーソナライズされたオンラインサービスにおいてコア機能モジュールとして機能する。 CTR予測のための従来のIDベースのモデルは、表形式の1ホットエンコードされたID特徴を入力として取る。 事前訓練された言語モデル(PLM)は、テキストのモダリティの文を入力として取る別のパラダイムを生み出した。 本稿では,CTR予測のためのIDベースモデルと事前学習言語モデル(FLIP)間の細粒度特徴レベルのアライメントを提案する。
  論文  参考訳（メタデータ） (2023-10-30T11:25:03Z)
• Absformer: Transformer-based Model for Unsupervised Multi-Document Abstractive Summarization [1.066048003460524]
  MDS(Multi-document summarization)とは、複数の文書のテキストを簡潔な要約に要約する作業である。 抽象MDSは、自然言語生成技術を用いて、複数の文書の一貫性と流動性を備えた要約を生成することを目的としている。 本稿では、教師なし抽象要約生成のためのトランスフォーマーに基づく新しい手法であるAbsformerを提案する。
  論文  参考訳（メタデータ） (2023-06-07T21:18:23Z)
• Peek Across: Improving Multi-Document Modeling via Cross-Document Question-Answering [49.85790367128085]
  我々は,事前学習対象に答える新しいクロスドキュメント質問から,汎用的なマルチドキュメントモデルを事前学習する。 この新規なマルチドキュメントQA定式化は、クロステキスト情報関係をよりよく回復させるようモデルに指示する。 分類タスクや要約タスクに焦点を当てた従来のマルチドキュメントモデルとは異なり、事前学習対象の定式化により、短いテキスト生成と長いテキスト生成の両方を含むタスクを実行できる。
  論文  参考訳（メタデータ） (2023-05-24T17:48:40Z)
• A Hierarchical Encoding-Decoding Scheme for Abstractive Multi-document Summarization [66.08074487429477]
  事前学習言語モデル(PLM)は、抽象的な単一文書要約(SDS)において優れた成果を上げている。 本稿では,多文書要約(MDS)タスクにおける多文書間相互作用を容易にするために,PLMをよりよく活用する手法を提案する。 提案手法は, 最大3ルージュLのPLMバックボーンよりも優れており, 人間に好まれる。
  論文  参考訳（メタデータ） (2023-05-15T10:03:31Z)
• A General-Purpose Multilingual Document Encoder [9.868221447090855]
  階層トランスモデル(HMDE)として多言語文書エンコーダを事前訓練する。 トレーニングデータを作成するために、ウィキペディアを同等のドキュメントのソースとして利用しています。 言語間文書レベルのタスクにおいて,HMDEの有効性について検討した。
  論文  参考訳（メタデータ） (2023-05-11T17:55:45Z)
• Learning Diverse Document Representations with Deep Query Interactions for Dense Retrieval [79.37614949970013]
  そこで本研究では,問合せの深い文書表現を学習する高密度検索モデルを提案する。 本モデルでは,各文書に生成した擬似クエリをエンコードして,クエリインフォームド・マルチビュー文書表現を得る。
  論文  参考訳（メタデータ） (2022-08-08T16:00:55Z)
• Unified Pretraining Framework for Document Understanding [52.224359498792836]
  文書理解のための統合事前学習フレームワークであるUDocを紹介する。 UDocは、ほとんどのドキュメント理解タスクをサポートするように設計されており、Transformerを拡張してマルチモーダル埋め込みを入力とする。 UDocの重要な特徴は、3つの自己管理的損失を利用して汎用的な表現を学ぶことである。
  論文  参考訳（メタデータ） (2022-04-22T21:47:04Z)
• Cross-Document Language Modeling [28.34202232940097]
  クロスドキュメント言語モデル(CD-LM)はマルチドキュメントNLPタスクのマスキング言語モデリングを改善する。 私たちは、CD-LMが複数のテキストタスクの最新の結果を設定することを示しています。
  論文  参考訳（メタデータ） (2021-01-02T09:01:39Z)
• From Bag of Sentences to Document: Distantly Supervised Relation Extraction via Machine Reading Comprehension [22.39362905658063]
  新しいDSパラダイム-文書ベースの遠隔監視を提案する。 提案手法は,新しい最先端DS性能を実現する。
  論文  参考訳（メタデータ） (2020-12-08T10:16:27Z)
• Keyphrase Generation with Cross-Document Attention [28.565813544820553]
  キーワード生成は、与えられた文書の本質を要約した一連のフレーズを作成することを目的としている。 本稿では,トランスフォーマーをグローバルな注目を集めるキーフレーズ生成装置CDKGenを提案する。 また,キーフレーズ中の語彙外単語を扱うために,文書から適切な単語を選択することで,モデルを強化するコピー機構も採用している。
  論文  参考訳（メタデータ） (2020-04-21T07:58:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。