論文の概要: Interpretable Multi-Headed Attention for Abstractive Summarization at Controllable Lengths

• arxiv url: http://arxiv.org/abs/2002.07845v2
• Date: Fri, 27 Nov 2020 21:22:14 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-30 20:10:37.808584
• Title: Interpretable Multi-Headed Attention for Abstractive Summarization at Controllable Lengths
• Title（参考訳）: 可制御長における抽象的要約のための解釈可能な多面的注意
• Authors: Ritesh Sarkhel, Moniba Keymanesh, Arnab Nandi, Srinivasan Parthasarathy
• Abstract要約: MLS(Multi-level Summarizer)は、テキスト文書の要約を制御可能な長さで構築するための教師付き手法である。 MLSはMETEORスコアで14.70%の強いベースラインを上回ります。
• 参考スコア（独自算出の注目度）: 14.762731718325002
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Abstractive summarization at controllable lengths is a challenging task in natural language processing. It is even more challenging for domains where limited training data is available or scenarios in which the length of the summary is not known beforehand. At the same time, when it comes to trusting machine-generated summaries, explaining how a summary was constructed in human-understandable terms may be critical. We propose Multi-level Summarizer (MLS), a supervised method to construct abstractive summaries of a text document at controllable lengths. The key enabler of our method is an interpretable multi-headed attention mechanism that computes attention distribution over an input document using an array of timestep independent semantic kernels. Each kernel optimizes a human-interpretable syntactic or semantic property. Exhaustive experiments on two low-resource datasets in the English language show that MLS outperforms strong baselines by up to 14.70% in the METEOR score. Human evaluation of the summaries also suggests that they capture the key concepts of the document at various length-budgets.
• Abstract（参考訳）: 制御可能な長さでの抽象的要約は自然言語処理において難しい課題である。 トレーニングデータが限られているドメインや、サマリの長さが事前に分かっていないようなシナリオでは、さらに難しくなります。 同時に、機械が生成した要約を信頼することに関して、人間の理解可能な言葉で要約がどのように構築されたかを説明することが重要かもしれない。 本稿では,テキスト文書の要約を制御可能な長さで構築するための教師あり手法であるMulti-level Summarizer (MLS)を提案する。 本手法のキーイネーバは,時間ステップ独立なセマンティクスカーネルの配列を用いて,入力文書上のアテンション分布を計算するマルチヘッドアテンション機構である。 各カーネルは、人間の解釈可能な構文またはセマンティックプロパティを最適化する。 英語における2つの低リソースデータセットの発掘実験により、MLSはMETEORスコアの14.70%まで強力なベースラインを上回ります。 要約の人間による評価は、文書の重要概念を様々な予算で捉えることを示唆している。

関連論文リスト

• Hierarchical Indexing for Retrieval-Augmented Opinion Summarization [60.5923941324953]
  本稿では,抽出アプローチの帰属性と拡張性と,大規模言語モデル(LLM)の一貫性と拡散性を組み合わせた,教師なし抽象的意見要約手法を提案する。 我々の方法であるHIROは、意味的に整理された離散的な階層を通して文を経路にマッピングするインデックス構造を学習する。 推測時にインデックスを投入し、入力レビューから人気意見を含む文群を識別し、検索する。
  論文  参考訳（メタデータ） (2024-03-01T10:38:07Z)
• Unsupervised Extractive Summarization with Learnable Length Control Strategies [33.75745103050596]
  教師なし抽出要約は情報抽出と検索において重要な手法である。 既存の教師なし手法の多くは、文中心性に基づくグラフベースのランキングに依存している。 本稿では,シャイムネットワークに基づく教師なし抽出要約モデルを提案する。
  論文  参考訳（メタデータ） (2023-12-12T00:15:26Z)
• On Context Utilization in Summarization with Large Language Models [83.84459732796302]
  大きな言語モデル(LLM)は抽象的な要約タスクに優れ、流動的で関連する要約を提供する。 最近の進歩は、100kトークンを超える長期入力コンテキストを扱う能力を拡張している。 要約における文脈利用と位置バイアスに関する最初の総合的研究を行う。
  論文  参考訳（メタデータ） (2023-10-16T16:45:12Z)
• MACSum: Controllable Summarization with Mixed Attributes [56.685735509260276]
  MACSumは、混合属性を制御するための最初の人間アノテーションによる要約データセットである。 混合制御可能な要約の新しいタスクに対する2つの単純かつ効果的なパラメータ効率のアプローチを提案する。
  論文  参考訳（メタデータ） (2022-11-09T17:17:37Z)
• Unsupervised Summarization with Customized Granularities [76.26899748972423]
  本稿では,最初の教師なし多粒度要約フレームワークであるGranuSumを提案する。 異なる数のイベントを入力することで、GranuSumは教師なしの方法で複数の粒度のサマリーを生成することができる。
  論文  参考訳（メタデータ） (2022-01-29T05:56:35Z)
• Summ^N: A Multi-Stage Summarization Framework for Long Input Dialogues and Documents [13.755637074366813]
  SummNは、典型的な事前訓練されたLMの最大文脈長よりも長いテキストを入力するための、シンプルで柔軟で効果的な多段階フレームワークである。 LMコンテキストサイズを固定したままステージ数を調整することで任意の長さの入力テキストを処理できる。 実験の結果,SummNは従来の最先端手法よりも有意に優れていた。
  論文  参考訳（メタデータ） (2021-10-16T06:19:54Z)
• Unsupervised Extractive Summarization using Pointwise Mutual Information [5.544401446569243]
  文間のポイントワイズ相互情報 (PMI) を用いて, 関連性および冗長性の新たな指標を提案する。 本手法は, ニュース, 医療雑誌記事, 個人逸話など, さまざまな領域のデータセットにおける類似性に基づく手法を上回っていることを示した。
  論文  参考訳（メタデータ） (2021-02-11T21:05:50Z)
• An Enhanced MeanSum Method For Generating Hotel Multi-Review Summarizations [0.06091702876917279]
  マルチアスペクトマーカ(MAM)をコンテンツセレクタとして使用し、マルチアスペクトでこの問題に対処する。 また,生成した要約の長さを制御する正規化器を提案する。 改良されたモデルでは,元のMeansum法よりも高いROUGE,知覚精度が得られる。
  論文  参考訳（メタデータ） (2020-12-07T13:16:01Z)
• SummPip: Unsupervised Multi-Document Summarization with Sentence Graph Compression [61.97200991151141]
  SummPipはマルチドキュメント要約のための教師なしの手法である。 元の文書を文グラフに変換し、言語表現と深層表現の両方を考慮に入れます。 次に、スペクトルクラスタリングを適用して複数の文のクラスタを取得し、最後に各クラスタを圧縮して最終的な要約を生成する。
  論文  参考訳（メタデータ） (2020-07-17T13:01:15Z)
• Salience Estimation with Multi-Attention Learning for Abstractive Text Summarization [86.45110800123216]
  テキスト要約のタスクでは、単語、フレーズ、文のサリエンス推定が重要な要素である。 本稿では,サラレンス推定のための2つの新しい注目学習要素を含むマルチアテンション学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2020-04-07T02:38:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。