論文の概要: SUMIE: A Synthetic Benchmark for Incremental Entity Summarization

• arxiv url: http://arxiv.org/abs/2406.05079v1
• Date: Fri, 7 Jun 2024 16:49:21 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-10 13:12:42.520229
• Title: SUMIE: A Synthetic Benchmark for Incremental Entity Summarization
• Title（参考訳）: SUMIE: インクリメンタルエンティティ要約のためのシンセティックベンチマーク
• Authors: Eunjeong Hwang, Yichao Zhou, Beliz Gunel, James Bradley Wendt, Sandeep Tata,
• Abstract要約: 既存のデータセットは、言語モデルがエンティティの要約を段階的に更新できるかどうかを適切にテストしていません。 我々は、実世界のIES課題を明らかにするために設計された、完全に合成されたデータセットであるSUMIEを紹介する。 このデータセットは、誤ったエンティティアソシエーションや不完全な情報提示といった問題を効果的に強調する。
• 参考スコア（独自算出の注目度）: 6.149024468471498
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: No existing dataset adequately tests how well language models can incrementally update entity summaries - a crucial ability as these models rapidly advance. The Incremental Entity Summarization (IES) task is vital for maintaining accurate, up-to-date knowledge. To address this, we introduce SUMIE, a fully synthetic dataset designed to expose real-world IES challenges. This dataset effectively highlights problems like incorrect entity association and incomplete information presentation. Unlike common synthetic datasets, ours captures the complexity and nuances found in real-world data. We generate informative and diverse attributes, summaries, and unstructured paragraphs in sequence, ensuring high quality. The alignment between generated summaries and paragraphs exceeds 96%, confirming the dataset's quality. Extensive experiments demonstrate the dataset's difficulty - state-of-the-art LLMs struggle to update summaries with an F1 higher than 80.4%. We will open source the benchmark and the evaluation metrics to help the community make progress on IES tasks.
• Abstract（参考訳）: 既存のデータセットは、言語モデルがエンティティの要約を段階的に更新できるかどうかを適切にテストしていません。 インクリメンタルエンティティ要約(IES)タスクは、正確で最新の知識を維持するために不可欠である。 これを解決するために,実世界のIES課題を明らかにするために設計された,完全に合成されたデータセットであるSUMIEを紹介する。 このデータセットは、誤ったエンティティアソシエーションや不完全な情報提示といった問題を効果的に強調する。 一般的な合成データセットとは異なり、実世界のデータに見られる複雑さとニュアンスをキャプチャする。 情報的かつ多様な属性,要約,非構造的段落を逐次生成し,高品質を保証します。 生成された要約と段落のアライメントは96%を超え、データセットの品質を確認します。 大規模な実験は、データセットの難しさを実証している - 最先端のLLMは、80.4%以上のF1のサマリーを更新するのに苦労している。 IESタスクの進捗を支援するため,ベンチマークと評価指標をオープンソースとして公開します。

関連論文リスト

• Efficacy of Synthetic Data as a Benchmark [3.2968976262860408]
  大規模言語モデル(LLM)による合成データ生成の有効性について検討する。 実験の結果, 単純なタスクに対して, 合成データは様々な手法の性能を効果的に捉えることができるが, 名前付きエンティティ認識のような複雑なタスクでは不十分であることがわかった。 我々は、ベンチマークデータの生成とタスクの実行の両方に同じLLMを使用した場合のバイアスを評価するバイアス係数と呼ばれる新しい指標を提案する。
  論文  参考訳（メタデータ） (2024-09-18T13:20:23Z)
• Towards Enhancing Coherence in Extractive Summarization: Dataset and Experiments with LLMs [70.15262704746378]
  我々は,5つの公開データセットと自然言語ユーザフィードバックのためのコヒーレントな要約からなる,体系的に作成された人間アノテーションデータセットを提案する。 Falcon-40BとLlama-2-13Bによる予備的な実験では、コヒーレントなサマリーを生成するという点で大幅な性能向上(10%ルージュ-L)が見られた。
  論文  参考訳（メタデータ） (2024-07-05T20:25:04Z)
• DiscoveryBench: Towards Data-Driven Discovery with Large Language Models [50.36636396660163]
  我々は、データ駆動探索の多段階プロセスを形式化する最初の包括的なベンチマークであるDiscoveryBenchを紹介する。 我々のベンチマークには、社会学や工学などの6つの分野にまたがる264のタスクが含まれている。 私たちのベンチマークでは、自律的なデータ駆動型発見の課題を説明し、コミュニティが前進するための貴重なリソースとして役立ちます。
  論文  参考訳（メタデータ） (2024-07-01T18:58:22Z)
• A Correlation- and Mean-Aware Loss Function and Benchmarking Framework to Improve GAN-based Tabular Data Synthesis [2.2451409468083114]
  本稿では,GAN(Generative Adversarial Network)のための新しい相関と平均認識損失関数を提案する。 提案した損失関数は、真のデータ分布をキャプチャする既存の手法よりも統計的に有意な改善を示す。 ベンチマークフレームワークは、強化された合成データ品質により、下流の機械学習タスクのパフォーマンスが向上することを示している。
  論文  参考訳（メタデータ） (2024-05-27T09:08:08Z)
• TarGEN: Targeted Data Generation with Large Language Models [51.87504111286201]
  TarGENは、高品質な合成データセットを生成するための、多段階のプロンプト戦略である。 我々は,LLMが不正確なラベル付きインスタンスを修正できるようにする自己補正法により,TarGENを増強する。 合成データセットを元のデータセットと比較した包括的な分析により、データセットの複雑さと多様性の類似または高いレベルが明らかになる。
  論文  参考訳（メタデータ） (2023-10-27T03:32:17Z)
• Exploiting Asymmetry for Synthetic Training Data Generation: SynthIE and the Case of Information Extraction [28.51694365908817]
  本研究は,大規模言語モデルでは直接解けないタスクに対しても,有用なデータを合成的に生成できることを示唆する。 我々は、1.8Mのデータポイントのデータセットを合成的に生成し、人間の評価において既存のデータセットと比較して優れた品質を確立する。
  論文  参考訳（メタデータ） (2023-03-07T18:48:55Z)
• Questioning the Validity of Summarization Datasets and Improving Their Factual Consistency [14.974996886744083]
  SummFCは,事実整合性を改善したフィルタされた要約データセットである。 我々は,データセットが要約システムの開発と評価のための有効なベンチマークとなるべきだと論じている。
  論文  参考訳（メタデータ） (2022-10-31T15:04:20Z)
• TRoVE: Transforming Road Scene Datasets into Photorealistic Virtual Environments [84.6017003787244]
  本研究では、シミュレーションデータセットに存在する困難とドメインギャップに対処する合成データ生成パイプラインを提案する。 既存のデータセットからアノテーションや視覚的手がかりを利用すれば、自動マルチモーダルデータ生成が容易になることを示す。
  論文  参考訳（メタデータ） (2022-08-16T20:46:08Z)
• Unsupervised Opinion Summarization with Content Planning [58.5308638148329]
  要約モデルにコンテンツプランニングを明示的に組み込むことで、より高い品質のアウトプットが得られることを示す。 また、より自然な合成データセットを作成し、実世界の文書と要約のペアに似ている。 当社のアプローチは,情報的,一貫性,流動的な要約を生成する上で,競争モデルよりも優れています。
  論文  参考訳（メタデータ） (2020-12-14T18:41:58Z)
• Improving Zero and Few-Shot Abstractive Summarization with Intermediate Fine-tuning and Data Augmentation [101.26235068460551]
  大規模テキストコーパス上での自己教師対象による事前学習モデルは、英語テキスト要約タスクにおける最先端のパフォーマンスを達成する。 モデルは通常、数十万のデータポイントで微調整されるが、これは新しいニッチなドメインに要約を適用する際に、実現不可能な要件である。 我々は、教師なし、データセット固有の方法で要約のための訓練済みモデルを微調整するための、WikiTransferと呼ばれる新しい一般化可能な手法を紹介した。
  論文  参考訳（メタデータ） (2020-10-24T08:36:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。