論文の概要: From News to Summaries: Building a Hungarian Corpus for Extractive and Abstractive Summarization

• arxiv url: http://arxiv.org/abs/2404.03555v1
• Date: Thu, 4 Apr 2024 16:07:06 GMT
• ステータス: 処理完了
• システム内更新日: 2024-04-05 14:12:26.351535
• Title: From News to Summaries: Building a Hungarian Corpus for Extractive and Abstractive Summarization
• Title（参考訳）: ニュースから要約へ - 抽出的・抽象的要約のためのハンガリー語コーパスの構築
• Authors: Botond Barta, Dorina Lakatos, Attila Nagy, Milán Konor Nyist, Judit Ács,
• Abstract要約: HunSum-2は、抽象的および抽出的要約モデルのトレーニングに適したオープンソースのハンガリー語コーパスである。 データセットは、徹底的なクリーニングを行うCommon Crawlコーパスのセグメントから組み立てられる。
• 参考スコア（独自算出の注目度）: 0.19107347888374507
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Training summarization models requires substantial amounts of training data. However for less resourceful languages like Hungarian, openly available models and datasets are notably scarce. To address this gap our paper introduces HunSum-2 an open-source Hungarian corpus suitable for training abstractive and extractive summarization models. The dataset is assembled from segments of the Common Crawl corpus undergoing thorough cleaning, preprocessing and deduplication. In addition to abstractive summarization we generate sentence-level labels for extractive summarization using sentence similarity. We train baseline models for both extractive and abstractive summarization using the collected dataset. To demonstrate the effectiveness of the trained models, we perform both quantitative and qualitative evaluation. Our dataset, models and code are publicly available, encouraging replication, further research, and real-world applications across various domains.
• Abstract（参考訳）: 要約モデルのトレーニングには、かなりの量のトレーニングデータが必要である。 しかし、ハンガリー語のようなリソースの少ない言語では、オープンに利用可能なモデルやデータセットは特に少ない。 このギャップに対処するために,本稿では,抽象的および抽出的要約モデルのトレーニングに適したオープンソースのハンガリー語コーパスであるHunSum-2を紹介する。 データセットは、徹底的なクリーニング、前処理、重複処理を行うCommon Crawlコーパスのセグメントから組み立てられる。 抽象要約に加えて,文類似性を用いた抽出要約のための文レベルラベルを生成する。 収集したデータセットを用いて抽出および抽象的な要約のためのベースラインモデルを訓練する。 トレーニングモデルの有効性を示すため,定量的および定性的な評価を行った。 私たちのデータセット、モデル、コードは公開されており、様々なドメインにわたるレプリケーション、さらなる研究、および現実世界のアプリケーションを促進しています。

関連論文リスト

• Towards Enhancing Coherence in Extractive Summarization: Dataset and Experiments with LLMs [70.15262704746378]
  我々は,5つの公開データセットと自然言語ユーザフィードバックのためのコヒーレントな要約からなる,体系的に作成された人間アノテーションデータセットを提案する。 Falcon-40BとLlama-2-13Bによる予備的な実験では、コヒーレントなサマリーを生成するという点で大幅な性能向上(10%ルージュ-L)が見られた。
  論文  参考訳（メタデータ） (2024-07-05T20:25:04Z)
• Abstractive Text Summarization Using the BRIO Training Paradigm [2.102846336724103]
  本稿では,事前学習した言語モデルを微調整することで抽象要約を改善する手法を提案する。 VieSumと呼ばれるベトナム語のためのテキスト要約データセットを構築します。 我々は、CNNDMとVieSumデータセット上でBRIOパラダイムで訓練された抽象的な要約モデルを用いて実験を行う。
  論文  参考訳（メタデータ） (2023-05-23T05:09:53Z)
• mFACE: Multilingual Summarization with Factual Consistency Evaluation [79.60172087719356]
  抽象的な要約は、事前訓練された言語モデルと大規模データセットの可用性のおかげで、近年で新たな関心を集めている。 有望な結果にもかかわらず、現在のモデルはいまだに現実的に矛盾した要約を生み出すことに苦しむ。 事実整合性評価モデルを利用して、多言語要約を改善する。
  論文  参考訳（メタデータ） (2022-12-20T19:52:41Z)
• GoSum: Extractive Summarization of Long Documents by Reinforcement Learning and Graph Organized discourse state [6.4805900740861]
  長文要約のための強化学習に基づく抽出モデルであるGoSumを提案する。 GoSumは入力文書ごとに異なる談話レベルから異質なグラフを構築することで状態をエンコードする。 論文要約の2つのデータセット,PubMed と arXiv のモデルを評価する。
  論文  参考訳（メタデータ） (2022-11-18T14:07:29Z)
• Salience Allocation as Guidance for Abstractive Summarization [61.31826412150143]
  本稿では, サリエンセ・サリエンス・ガイダンス(SEASON, SaliencE Allocation as Guidance for Abstractive SummarizatiON)を用いた新しい要約手法を提案する。 SEASONは、サリエンス予測の割り当てを利用して抽象的な要約を導き、異なる抽象性のある記事に順応する。
  論文  参考訳（メタデータ） (2022-10-22T02:13:44Z)
• Automated News Summarization Using Transformers [4.932130498861987]
  我々は,テキスト要約のためのトランスフォーマーアーキテクチャに基づく事前学習モデルについて,包括的に比較する。 分析と比較のために,要約や人為的な要約に使用できるテキストデータを含むBBCニュースデータセットを用いた。
  論文  参考訳（メタデータ） (2021-04-23T04:22:33Z)
• Bengali Abstractive News Summarization(BANS): A Neural Attention Approach [0.8793721044482612]
  本稿では,エンコーダ・デコーダに着目したSeq2seqベースのLong Short-Term Memory(LSTM)ネットワークモデルを提案する。 提案システムでは,単語の長い列を人文や人文で生成する,局所的な注意に基づくモデルを構築している。 また,Bangla.bdnews24.com1から収集した19k以上の記事とそれに対応する人文要約のデータセットも作成した。
  論文  参考訳（メタデータ） (2020-12-03T08:17:31Z)
• Liputan6: A Large-scale Indonesian Dataset for Text Summarization [43.375797352517765]
  オンラインニュースポータルであるLiputan6.comから記事を抽出し、215,827のドキュメント-要約ペアを取得する。 事前学習した言語モデルを用いて,データセット上のベンチマーク抽出および抽象的要約手法を開発する。
  論文  参考訳（メタデータ） (2020-11-02T02:01:12Z)
• Few-Shot Learning for Opinion Summarization [117.70510762845338]
  オピニオン要約は、複数の文書で表現された主観的な情報を反映したテキストの自動生成である。 本研究では,要約テキストの生成をブートストラップするのには,少数の要約でも十分であることを示す。 提案手法は, 従来の抽出法および抽象法を, 自動的, 人的評価において大きく上回っている。
  論文  参考訳（メタデータ） (2020-04-30T15:37:38Z)
• Extractive Summarization as Text Matching [123.09816729675838]
  本稿では,ニューラル抽出要約システムの構築方法に関するパラダイムシフトを作成する。 抽出した要約タスクを意味テキストマッチング問題として定式化する。 我々はCNN/DailyMailの最先端抽出結果を新しいレベル(ROUGE-1の44.41)に推し進めた。
  論文  参考訳（メタデータ） (2020-04-19T08:27:57Z)
• Pre-training for Abstractive Document Summarization by Reinstating Source Text [105.77348528847337]
  本稿では,Seq2Seqに基づく非ラベルテキストによる抽象要約モデルの事前学習を可能にする3つの事前学習目標を提案する。 2つのベンチマーク要約データセットの実験では、3つの目的がすべてベースラインでパフォーマンスを向上させることが示されている。
  論文  参考訳（メタデータ） (2020-04-04T05:06:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。