論文の概要: Salience Estimation with Multi-Attention Learning for Abstractive Text Summarization

• arxiv url: http://arxiv.org/abs/2004.03589v1
• Date: Tue, 7 Apr 2020 02:38:56 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-15 23:23:59.220335
• Title: Salience Estimation with Multi-Attention Learning for Abstractive Text Summarization
• Title（参考訳）: 抽象テキスト要約のためのマルチアテンション学習によるサリエンス推定
• Authors: Piji Li, Lidong Bing, Zhongyu Wei, Wai Lam
• Abstract要約: テキスト要約のタスクでは、単語、フレーズ、文のサリエンス推定が重要な要素である。 本稿では,サラレンス推定のための2つの新しい注目学習要素を含むマルチアテンション学習フレームワークを提案する。
• 参考スコア（独自算出の注目度）: 86.45110800123216
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Attention mechanism plays a dominant role in the sequence generation models and has been used to improve the performance of machine translation and abstractive text summarization. Different from neural machine translation, in the task of text summarization, salience estimation for words, phrases or sentences is a critical component, since the output summary is a distillation of the input text. Although the typical attention mechanism can conduct text fragment selection from the input text conditioned on the decoder states, there is still a gap to conduct direct and effective salience detection. To bring back direct salience estimation for summarization with neural networks, we propose a Multi-Attention Learning framework which contains two new attention learning components for salience estimation: supervised attention learning and unsupervised attention learning. We regard the attention weights as the salience information, which means that the semantic units with large attention value will be more important. The context information obtained based on the estimated salience is incorporated with the typical attention mechanism in the decoder to conduct summary generation. Extensive experiments on some benchmark datasets in different languages demonstrate the effectiveness of the proposed framework for the task of abstractive summarization.
• Abstract（参考訳）: アテンション機構はシーケンス生成モデルにおいて重要な役割を担い、機械翻訳や抽象テキスト要約の性能向上に利用されてきた。 ニューラルネットワーク翻訳と異なり、テキスト要約のタスクでは、出力要約が入力テキストの蒸留であるため、単語、句、文のサリエンス推定が重要な構成要素である。 典型的な注意機構は、デコーダ状態に条件付き入力テキストからテキストフラグメント選択を行うことができるが、直接的かつ効果的なサリエンス検出を行うには依然としてギャップがある。 ニューラルネットワークによる要約のための直接的なサリエンス推定を実現するために,サリエンス推定のための2つの新しいアテンション学習要素を含むマルチアテンション学習フレームワークを提案する。 注意重みは,注意度の高い意味単位がより重要となるため,注意重みをサリエンス情報とみなす。 推定されたサリエンスに基づいて得られたコンテキスト情報をデコーダの典型的な注意機構に組み込んで要約生成を行う。 異なる言語におけるいくつかのベンチマークデータセットに関する広範囲な実験は、抽象的要約タスクに対する提案フレームワークの有効性を示している。

関連論文リスト

• Neural Sequence-to-Sequence Modeling with Attention by Leveraging Deep Learning Architectures for Enhanced Contextual Understanding in Abstractive Text Summarization [0.0]
  本稿では,単一文書の抽象TSのための新しいフレームワークを提案する。 構造、セマンティック、およびニューラルベースアプローチの3つの主要な側面を統合している。 その結果, 希少語, OOV語処理の大幅な改善が示唆された。
  論文  参考訳（メタデータ） (2024-04-08T18:33:59Z)
• Attention-aware semantic relevance predicting Chinese sentence reading [6.294658916880712]
  本研究では,文脈意味的関連性を計算するための注意意識的アプローチを提案する。 意味的関連性の注意を意識したメトリクスは、中国語読解タスクの固定期間をより正確に予測することができる。 私たちのアプローチは、人間の言語理解と処理方法の理解を深めるために、これらのメトリクスの可能性を強調します。
  論文  参考訳（メタデータ） (2024-03-27T13:22:38Z)
• Towards Zero-shot Human-Object Interaction Detection via Vision-Language Integration [14.678931157058363]
  本稿では,ゼロショットHOI検出を改善するために,視覚言語モデルの知識を効果的に統合する新しいフレームワーク「KI2HOI」を提案する。 より包括的な視覚表現を生成するための効果的な付加的自己認識機構を開発する。 我々のモデルは、様々なゼロショットおよびフル教師付き設定において、以前の手法よりも優れています。
  論文  参考訳（メタデータ） (2024-03-12T02:07:23Z)
• Picking the Underused Heads: A Network Pruning Perspective of Attention Head Selection for Fusing Dialogue Coreference Information [50.41829484199252]
  マルチヘッド自己アテンション機構を持つトランスフォーマーベースのモデルは自然言語処理で広く利用されている。 ネットワークプルーニングの観点から,特徴注入のためのアテンションヘッドの選択と操作戦略について検討する。
  論文  参考訳（メタデータ） (2023-12-15T05:27:24Z)
• Robust Saliency-Aware Distillation for Few-shot Fine-grained Visual Recognition [57.08108545219043]
  サンプルが少ない新しいサブカテゴリを認識することは、コンピュータビジョンにおいて不可欠で挑戦的な研究課題である。 既存の文献は、ローカルベースの表現アプローチを採用することでこの問題に対処している。 本稿では,ロバスト・サリエンシ・アウェア蒸留法(RSaD)を提案する。
  論文  参考訳（メタデータ） (2023-05-12T00:13:17Z)
• LadRa-Net: Locally-Aware Dynamic Re-read Attention Net for Sentence Semantic Matching [66.65398852962177]
  文意味マッチングのための新しい動的再読ネットワーク(DRr-Net)を開発した。 DRr-Netをローカルに認識する動的再読み取り注意ネット(LadRa-Net)に拡張する 2つの一般的な文意味マッチングタスクの実験により、DRr-Netは文意味マッチングの性能を大幅に改善できることを示した。
  論文  参考訳（メタデータ） (2021-08-06T02:07:04Z)
• Narrative Incoherence Detection [76.43894977558811]
  本稿では,文間セマンティック理解のための新たなアリーナとして,物語不整合検出の課題を提案する。 複数文の物語を考えると、物語の流れに意味的な矛盾があるかどうかを決定します。
  論文  参考訳（メタデータ） (2020-12-21T07:18:08Z)
• Few-Shot Learning for Opinion Summarization [117.70510762845338]
  オピニオン要約は、複数の文書で表現された主観的な情報を反映したテキストの自動生成である。 本研究では,要約テキストの生成をブートストラップするのには,少数の要約でも十分であることを示す。 提案手法は, 従来の抽出法および抽象法を, 自動的, 人的評価において大きく上回っている。
  論文  参考訳（メタデータ） (2020-04-30T15:37:38Z)
• Interpretable Multi-Headed Attention for Abstractive Summarization at Controllable Lengths [14.762731718325002]
  MLS(Multi-level Summarizer)は、テキスト文書の要約を制御可能な長さで構築するための教師付き手法である。 MLSはMETEORスコアで14.70%の強いベースラインを上回ります。
  論文  参考訳（メタデータ） (2020-02-18T19:40:20Z)
• Read Beyond the Lines: Understanding the Implied Textual Meaning via a Skim and Intensive Reading Model [41.61803103143516]
  我々は、SIRM(Skim and Intensive Reading Model)と呼ばれる、新しい、単純で効果的なディープ・ニューラル・フレームワークを提案する。 提案したSIRMは,2つの主成分,すなわちスキム読解成分と集中読影成分から構成される。 いくつかのサルカズムベンチマークと,メタファー付き産業用スパムデータセットについて,広範な比較実験を行った。
  論文  参考訳（メタデータ） (2020-01-03T03:43:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。