論文の概要: Retrieval-based Full-length Wikipedia Generation for Emergent Events

• arxiv url: http://arxiv.org/abs/2402.18264v1
• Date: Wed, 28 Feb 2024 11:51:56 GMT
• ステータス: 処理完了
• システム内更新日: 2024-02-29 15:16:10.754557
• Title: Retrieval-based Full-length Wikipedia Generation for Emergent Events
• Title（参考訳）: 創発イベントの検索に基づく完全長wikipedia生成
• Authors: Jiebin Zhang and Eugene J. Yu and Qinyu Chen and Chenhao Xiong and Dawei Zhu and Han Qian and Mingbo Song and Xiaoguang Li and Qun Liu and Sujian Li
• Abstract要約: 我々は、Webソースから取得した入力を用いて、創発的なイベントに対して構造化されたフル長のウィキペディア文書を生成する現実世界のシナリオをシミュレートする。 大規模言語モデル(LLM)が最近発生したイベントに関連するコーパスでトレーニングされないことを保証するため、最近発生したイベントを選択し、新しいベンチマークWiki-GenBenを導入する。 本研究は,LLMの実際の全長ウィキペディア文書作成能力を評価するために,体系的評価指標と基準手法の総合的なセットを設計する。
• 参考スコア（独自算出の注目度）: 33.81630908675804
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: In today's fast-paced world, the growing demand to quickly generate comprehensive and accurate Wikipedia documents for emerging events is both crucial and challenging. However, previous efforts in Wikipedia generation have often fallen short of meeting real-world requirements. Some approaches focus solely on generating segments of a complete Wikipedia document, while others overlook the importance of faithfulness in generation or fail to consider the influence of the pre-training corpus. In this paper, we simulate a real-world scenario where structured full-length Wikipedia documents are generated for emergent events using input retrieved from web sources. To ensure that Large Language Models (LLMs) are not trained on corpora related to recently occurred events, we select events that have taken place recently and introduce a new benchmark Wiki-GenBen, which consists of 309 events paired with their corresponding retrieved web pages for generating evidence. Additionally, we design a comprehensive set of systematic evaluation metrics and baseline methods, to evaluate the capability of LLMs in generating factual full-length Wikipedia documents. The data and code are open-sourced at WikiGenBench.
• Abstract（参考訳）: 今日の急成長の世界では、新興イベントのための包括的な正確なウィキペディア文書を迅速に作成する需要が高まっています。 しかし、ウィキペディア生成における以前の取り組みは、しばしば現実世界の要求を満たすには至らなかった。 一部のアプローチは、完全なウィキペディア文書のセグメントを生成することだけに重点を置いているが、他のアプローチは、生成における忠実さの重要性を見落としている。 本稿では, web ソースから取得した入力を用いて,創発イベントに対して構造化された wikipedia ドキュメントが生成される実世界のシナリオをシミュレートする。 大規模言語モデル(llm)が最近発生したイベントに関連するコーパスで訓練されていないことを保証するため、最近発生したイベントを選択し、検索されたwebページと組み合わせた309のイベントからなる新しいベンチマークwiki-genbenを導入する。 さらに,本研究では,体系的な評価指標とベースライン手法を総合的に設計し,実際の全長ウィキペディア文書作成におけるLLMの能力を評価する。 データとコードはWikiGenBenchでオープンソース化されている。

関連論文リスト

• Enhanced Retrieval of Long Documents: Leveraging Fine-Grained Block Representations with Large Language Models [24.02950598944251]
  文書の関連性評価の精度を高めることを目的とした,新しい,きめ細かいアプローチを提案する。 提案手法はまず,長い文書をブロックに分割し,それぞれを LLM を用いて埋め込む。 重み付け和法により,クエリブロック関連度スコアを集約し,ドキュメント全体のクエリに対する総合的なスコアを得る。
  論文  参考訳（メタデータ） (2025-01-28T16:03:52Z)
• Are Large Language Models Good Classifiers? A Study on Edit Intent Classification in Scientific Document Revisions [62.12545440385489]
  大規模言語モデル(LLM)は、テキスト生成の大幅な進歩をもたらしたが、分類タスクの強化の可能性はまだ未検討である。 生成と符号化の両方のアプローチを含む分類のための微調整LDMを徹底的に研究するためのフレームワークを提案する。 我々はこのフレームワークを編集意図分類(EIC)においてインスタンス化する。
  論文  参考訳（メタデータ） (2024-10-02T20:48:28Z)
• RAGEval: Scenario Specific RAG Evaluation Dataset Generation Framework [69.4501863547618]
  本稿では,様々なシナリオにまたがってRAGシステムを評価するためのフレームワークであるRAGvalを紹介する。 事実の正確性に着目し, 完全性, 幻覚, 不適切性の3つの新しい指標を提案する。 実験結果から, RAGEvalは, 生成した試料の明瞭度, 安全性, 適合性, 豊かさにおいて, ゼロショット法とワンショット法より優れていた。
  論文  参考訳（メタデータ） (2024-08-02T13:35:11Z)
• Wikiformer: Pre-training with Structured Information of Wikipedia for Ad-hoc Retrieval [21.262531222066208]
  本稿では,ウィキペディアの構造的知識に基づいて,情報検索タスクに適した4つの事前学習目標を考案する。 既存の事前学習手法と比較して,本手法はトレーニングコーパスにおける意味的知識をよりよく捉えることができる。 生物医学・法学領域における実験結果から,本手法は垂直領域において優れた性能を発揮することが示された。
  論文  参考訳（メタデータ） (2023-12-17T09:31:47Z)
• Autoregressive Search Engines: Generating Substrings as Document Identifiers [53.0729058170278]
  自動回帰言語モデルは、回答を生成するデファクト標準として現れています。 これまでの研究は、探索空間を階層構造に分割する方法を探究してきた。 本研究では,検索空間の任意の構造を強制しない代替として,経路内のすべてのngramを識別子として使用することを提案する。
  論文  参考訳（メタデータ） (2022-04-22T10:45:01Z)
• Long Document Summarization with Top-down and Bottom-up Inference [113.29319668246407]
  本稿では、2つの側面の要約モデルを改善するための原則的推論フレームワークを提案する。 我々のフレームワークは、トップレベルが長距離依存性をキャプチャするドキュメントの階層的な潜在構造を前提としています。 本稿では,様々な要約データセットに対して提案手法の有効性を示す。
  論文  参考訳（メタデータ） (2022-03-15T01:24:51Z)
• Unsupervised Keyphrase Extraction by Jointly Modeling Local and Global Context [25.3472693740778]
  埋め込みベースの手法は、教師なしキーフレーズ抽出(UKE)タスクに広く用いられている。 本稿では,地域とグローバルのコンテキストを共同でモデル化するUKEの新しい手法を提案する。
  論文  参考訳（メタデータ） (2021-09-15T13:41:10Z)
• KGPT: Knowledge-Grounded Pre-Training for Data-to-Text Generation [100.79870384880333]
  知識に富んだテキストを生成するための知識基盤事前学習(KGPT)を提案する。 我々は、その効果を評価するために、3つの設定、すなわち、完全教師付き、ゼロショット、少数ショットを採用します。 ゼロショット設定では、WebNLG上で30 ROUGE-L以上を達成するが、他の全てのベースラインは失敗する。
  論文  参考訳（メタデータ） (2020-10-05T19:59:05Z)
• Towards Making the Most of Context in Neural Machine Translation [112.9845226123306]
  我々は、これまでの研究がグローバルな文脈をはっきりと利用しなかったと論じている。 本研究では,各文の局所的文脈を意図的にモデル化する文書レベルNMTフレームワークを提案する。
  論文  参考訳（メタデータ） (2020-02-19T03:30:00Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。