論文の概要: Neural Sequence-to-Sequence Modeling with Attention by Leveraging Deep Learning Architectures for Enhanced Contextual Understanding in Abstractive Text Summarization

• arxiv url: http://arxiv.org/abs/2404.08685v1
• Date: Mon, 8 Apr 2024 18:33:59 GMT
• ステータス: 処理完了
• システム内更新日: 2024-04-21 19:54:47.213710
• Title: Neural Sequence-to-Sequence Modeling with Attention by Leveraging Deep Learning Architectures for Enhanced Contextual Understanding in Abstractive Text Summarization
• Title（参考訳）: 抽象テキスト要約における文脈理解の強化を目的としたディープラーニングアーキテクチャの活用による意図に基づくニューラルシーケンス・ツー・シーケンスモデリング
• Authors: Bhavith Chandra Challagundla, Chakradhar Peddavenkatagari,
• Abstract要約: 本稿では,単一文書の抽象TSのための新しいフレームワークを提案する。 構造、セマンティック、およびニューラルベースアプローチの3つの主要な側面を統合している。 その結果, 希少語, OOV語処理の大幅な改善が示唆された。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Automatic text summarization (TS) plays a pivotal role in condensing large volumes of information into concise, coherent summaries, facilitating efficient information retrieval and comprehension. This paper presents a novel framework for abstractive TS of single documents, which integrates three dominant aspects: structural, semantic, and neural-based approaches. The proposed framework merges machine learning and knowledge-based techniques to achieve a unified methodology. The framework consists of three main phases: pre-processing, machine learning, and post-processing. In the pre-processing phase, a knowledge-based Word Sense Disambiguation (WSD) technique is employed to generalize ambiguous words, enhancing content generalization. Semantic content generalization is then performed to address out-of-vocabulary (OOV) or rare words, ensuring comprehensive coverage of the input document. Subsequently, the generalized text is transformed into a continuous vector space using neural language processing techniques. A deep sequence-to-sequence (seq2seq) model with an attention mechanism is employed to predict a generalized summary based on the vector representation. In the post-processing phase, heuristic algorithms and text similarity metrics are utilized to refine the generated summary further. Concepts from the generalized summary are matched with specific entities, enhancing coherence and readability. Experimental evaluations conducted on prominent datasets, including Gigaword, Duc 2004, and CNN/DailyMail, demonstrate the effectiveness of the proposed framework. Results indicate significant improvements in handling rare and OOV words, outperforming existing state-of-the-art deep learning techniques. The proposed framework presents a comprehensive and unified approach towards abstractive TS, combining the strengths of structure, semantics, and neural-based methodologies.
• Abstract（参考訳）: 自動テキスト要約(TS)は、大量の情報を簡潔で一貫性のある要約に集約する上で重要な役割を担い、効率的な情報検索と理解を容易にする。 本稿では,構造的,意味的,ニューラルベースという3つの主要な側面を統合した,単一文書の抽象的 TS のための新しいフレームワークを提案する。 このフレームワークは、機械学習と知識に基づく技術を融合して、統一された方法論を実現する。 このフレームワークは、前処理、機械学習、後処理という3つの主要なフェーズで構成されている。 前処理フェーズでは、曖昧な単語を一般化し、内容の一般化を高めるために、知識に基づく単語センス曖昧化(WSD)技術が使用される。 セマンティック・コンテント・ジェネレーション(Semantic Content Generalization)は、アウト・オブ・ボキャブラリ(OOV)またはレアワードに対処し、入力文書の包括的カバレッジを保証する。 その後、一般化されたテキストは、ニューラルネットワーク処理技術を用いて連続ベクトル空間に変換される。 注意機構を持つ深部シーケンス・ツー・シーケンス(seq2seq)モデルを用いて、ベクトル表現に基づいて一般化された要約を予測する。 後処理フェーズでは、ヒューリスティックアルゴリズムとテキスト類似度メトリクスを使用して、生成された要約をさらに洗練する。 一般化された要約の概念は特定の実体と一致し、一貫性と可読性を高める。 Gigaword,Duc 2004,CNN/DailyMailなどの著名なデータセットで行った実験により,提案フレームワークの有効性が示された。 その結果、希少語やOOV語を扱う場合の大幅な改善が示され、既存の最先端のディープラーニング技術よりも優れていた。 提案するフレームワークは、抽象TSに対する包括的かつ統一的なアプローチを示し、構造、意味論、およびニューラルベース方法論の強みを組み合わせたものである。

関連論文リスト

• Pointer-Guided Pre-Training: Infusing Large Language Models with Paragraph-Level Contextual Awareness [3.2925222641796554]
  ポインター誘導セグメントオーダリング(SO)は,段落レベルのテキスト表現の文脈的理解を高めることを目的とした,新しい事前学習手法である。 実験の結果,ポインタ誘導型事前学習は複雑な文書構造を理解する能力を大幅に向上させることがわかった。
  論文  参考訳（メタデータ） (2024-06-06T15:17:51Z)
• How Well Do Text Embedding Models Understand Syntax? [50.440590035493074]
  テキスト埋め込みモデルが幅広い構文的文脈にまたがって一般化する能力は、まだ解明されていない。 その結果,既存のテキスト埋め込みモデルは,これらの構文的理解課題に十分対応していないことが明らかとなった。 多様な構文シナリオにおけるテキスト埋め込みモデルの一般化能力を高めるための戦略を提案する。
  論文  参考訳（メタデータ） (2023-11-14T08:51:00Z)
• A Novel Ehanced Move Recognition Algorithm Based on Pre-trained Models with Positional Embeddings [6.688643243555054]
  要約の認識は、コンテンツを効果的に特定し、記事を明確にするために重要である。 本稿では,中国科学・技術論文の非構造的抽象化に対する注意機構を備えた,改良された事前学習モデルとゲートネットワークを備えた新しい動き認識アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2023-08-14T03:20:28Z)
• Learning Symbolic Rules over Abstract Meaning Representations for Textual Reinforcement Learning [63.148199057487226]
  本稿では,汎用的な意味一般化とルール誘導システムを組み合わせて,解釈可能なルールをポリシーとして学習するモジュール型 NEuroSymbolic Textual Agent (NESTA) を提案する。 実験の結果,NESTA法は,未確認テストゲームや少ないトレーニングインタラクションから学習することで,深層強化学習技術よりも優れることがわかった。
  論文  参考訳（メタデータ） (2023-07-05T23:21:05Z)
• TextFormer: A Query-based End-to-End Text Spotter with Mixed Supervision [61.186488081379]
  Transformerアーキテクチャを用いた問合せベースのエンドツーエンドテキストスポッターであるTextFormerを提案する。 TextFormerは、画像エンコーダとテキストデコーダの上に構築され、マルチタスクモデリングのための共同セマンティック理解を学ぶ。 分類、セグメンテーション、認識のブランチの相互訓練と最適化を可能にし、より深い特徴共有をもたらす。
  論文  参考訳（メタデータ） (2023-06-06T03:37:41Z)
• A General Contextualized Rewriting Framework for Text Summarization [15.311467109946571]
  抽出文は比較的焦点が当てられているが、背景知識や談話の文脈が失われる可能性がある。 コンテントベースのアドレッシングによって抽出文を識別し、グループタグアライメントを施したSeq2seqとしてコンテクスト化された書き直しを形式化する。 その結果,本手法は強化学習を必要とせず,非コンテクスチュアライズされた書き換えシステムよりも優れていた。
  論文  参考訳（メタデータ） (2022-07-13T03:55:57Z)
• Topic-Guided Abstractive Text Summarization: a Joint Learning Approach [19.623946402970933]
  本稿では,抽象テキスト要約のための新しいアプローチ,トピックガイドによる抽象要約を提案する。 ニューラルネットワークをTransformerベースのシーケンス・ツー・シーケンス(seq2seq)モデルに結合学習フレームワークに組み込むことが目的だ。
  論文  参考訳（メタデータ） (2020-10-20T14:45:25Z)
• Salience Estimation with Multi-Attention Learning for Abstractive Text Summarization [86.45110800123216]
  テキスト要約のタスクでは、単語、フレーズ、文のサリエンス推定が重要な要素である。 本稿では,サラレンス推定のための2つの新しい注目学習要素を含むマルチアテンション学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2020-04-07T02:38:56Z)
• A Dependency Syntactic Knowledge Augmented Interactive Architecture for End-to-End Aspect-based Sentiment Analysis [73.74885246830611]
  エンドツーエンドABSAのためのマルチタスク学習を用いた対話型アーキテクチャを新たに提案する。 このモデルは、よく設計された依存性関係埋め込みグラフ畳み込みネットワーク(DreGcn)を活用することで、構文知識(依存性関係と型)を完全に活用することができる。 3つのベンチマークデータセットの大規模な実験結果から,本手法の有効性が示された。
  論文  参考訳（メタデータ） (2020-04-04T14:59:32Z)
• Towards Accurate Scene Text Recognition with Semantic Reasoning Networks [52.86058031919856]
  本稿では,シーンテキスト認識のための意味推論ネットワーク(SRN)という,エンドツーエンドのトレーニング可能な新しいフレームワークを提案する。 GSRMはマルチウェイ並列伝送によってグローバルセマンティックコンテキストをキャプチャするために導入された。 正規テキスト,不規則テキスト,非ラテン語長文を含む7つの公開ベンチマークの結果,提案手法の有効性とロバスト性を検証した。
  論文  参考訳（メタデータ） (2020-03-27T09:19:25Z)
• Selective Attention Encoders by Syntactic Graph Convolutional Networks for Document Summarization [21.351111598564987]
  本稿では,文書中の文から解析木を接続するグラフを提案し,文書の構文表現を学習するために重ねられたグラフ畳み込みネットワーク(GCN)を利用する。 提案したGCNによる選択的アテンションアプローチは,ベースラインよりも優れ,データセット上での最先端のパフォーマンスを実現する。
  論文  参考訳（メタデータ） (2020-03-18T01:30:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。