論文の概要: WIKIGENBENCH: Exploring Full-length Wikipedia Generation under Real-World Scenario

• arxiv url: http://arxiv.org/abs/2402.18264v2
• Date: Tue, 17 Dec 2024 09:53:41 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-18 13:55:36.017829
• Title: WIKIGENBENCH: Exploring Full-length Wikipedia Generation under Real-World Scenario
• Title（参考訳）: WIKIGENBENCH: 実世界シナリオ下での完全なウィキペディア生成の探索
• Authors: Jiebin Zhang, Eugene J. Yu, Qinyu Chen, Chenhao Xiong, Dawei Zhu, Han Qian, Mingbo Song, Weimin Xiong, Xiaoguang Li, Qun Liu, Sujian Li,
• Abstract要約: WIKIGENBENCHは、1,320のエントリからなる新しいベンチマークである。 そこで我々は,Web ソースからの入力文書を用いて,新しいイベントに対して,構造化された完全長のウィキペディア記事が引用される現実世界のシナリオを探索する。 評価には、実世界のシナリオに適合する妥当性、組織、その他の側面を評価するために、体系的なメトリクスとLLMベースのメトリクスを統合する。
• 参考スコア（独自算出の注目度）: 32.28150998156827
• License:
• Abstract: It presents significant challenges to generate comprehensive and accurate Wikipedia articles for newly emerging events under a real-world scenario. Existing attempts fall short either by focusing only on short snippets or by using metrics that are insufficient to evaluate real-world scenarios. In this paper, we construct WIKIGENBENCH, a new benchmark consisting of 1,320 entries, designed to align with real-world scenarios in both generation and evaluation. For generation, we explore a real-world scenario where structured, full-length Wikipedia articles with citations are generated for new events using input documents from web sources. For evaluation, we integrate systematic metrics and LLM-based metrics to assess the verifiability, organization, and other aspects aligned with real-world scenarios. Based on this benchmark, we conduct extensive experiments using various models within three commonly used frameworks: direct RAG, hierarchical structure-based RAG, and RAG with a fine-tuned generation model. Experimental results show that hierarchical-based methods can generate more comprehensive content, while fine-tuned methods achieve better verifiability. However, even the best methods still show a significant gap compared to existing Wikipedia content, indicating that further research is necessary.
• Abstract（参考訳）: 現実のシナリオの下で、新しいイベントのための包括的で正確なウィキペディア記事を生成するための重要な課題を提示している。 既存の試みは、短いスニペットのみに焦点を当てるか、現実のシナリオを評価するのに不十分なメトリクスを使用することで失敗する。 本稿では,1,320個のエントリからなる新しいベンチマークであるWIKIGENBENCHを構築し,生成と評価の両方において現実のシナリオと整合するように設計された。 そこで我々は,Web ソースからの入力文書を用いて,新しいイベントに対して,構造化された完全長のウィキペディア記事が引用される現実世界のシナリオを探索する。 評価には、実世界のシナリオに適合する妥当性、組織、その他の側面を評価するために、体系的なメトリクスとLLMベースのメトリクスを統合する。 本ベンチマークでは, 直接RAG, 階層構造に基づくRAG, 微調整された生成モデルを用いたRAGの3つのフレームワークにおいて, 様々なモデルを用いた広範囲な実験を行った。 実験結果から,階層型手法はより包括的コンテンツを生成できることがわかった。 しかし、最良の方法でさえも、既存のウィキペディアのコンテンツに比べて大きなギャップを示しており、さらなる研究が必要であることを示している。

関連論文リスト

• Enhanced Retrieval of Long Documents: Leveraging Fine-Grained Block Representations with Large Language Models [24.02950598944251]
  文書の関連性評価の精度を高めることを目的とした,新しい,きめ細かいアプローチを提案する。 提案手法はまず,長い文書をブロックに分割し,それぞれを LLM を用いて埋め込む。 重み付け和法により,クエリブロック関連度スコアを集約し,ドキュメント全体のクエリに対する総合的なスコアを得る。
  論文  参考訳（メタデータ） (2025-01-28T16:03:52Z)
• Are Large Language Models Good Classifiers? A Study on Edit Intent Classification in Scientific Document Revisions [62.12545440385489]
  大規模言語モデル(LLM)は、テキスト生成の大幅な進歩をもたらしたが、分類タスクの強化の可能性はまだ未検討である。 生成と符号化の両方のアプローチを含む分類のための微調整LDMを徹底的に研究するためのフレームワークを提案する。 我々はこのフレームワークを編集意図分類(EIC)においてインスタンス化する。
  論文  参考訳（メタデータ） (2024-10-02T20:48:28Z)
• RAGEval: Scenario Specific RAG Evaluation Dataset Generation Framework [69.4501863547618]
  本稿では,様々なシナリオにまたがってRAGシステムを評価するためのフレームワークであるRAGvalを紹介する。 事実の正確性に着目し, 完全性, 幻覚, 不適切性の3つの新しい指標を提案する。 実験結果から, RAGEvalは, 生成した試料の明瞭度, 安全性, 適合性, 豊かさにおいて, ゼロショット法とワンショット法より優れていた。
  論文  参考訳（メタデータ） (2024-08-02T13:35:11Z)
• Wikiformer: Pre-training with Structured Information of Wikipedia for Ad-hoc Retrieval [21.262531222066208]
  本稿では,ウィキペディアの構造的知識に基づいて,情報検索タスクに適した4つの事前学習目標を考案する。 既存の事前学習手法と比較して,本手法はトレーニングコーパスにおける意味的知識をよりよく捉えることができる。 生物医学・法学領域における実験結果から,本手法は垂直領域において優れた性能を発揮することが示された。
  論文  参考訳（メタデータ） (2023-12-17T09:31:47Z)
• Autoregressive Search Engines: Generating Substrings as Document Identifiers [53.0729058170278]
  自動回帰言語モデルは、回答を生成するデファクト標準として現れています。 これまでの研究は、探索空間を階層構造に分割する方法を探究してきた。 本研究では,検索空間の任意の構造を強制しない代替として,経路内のすべてのngramを識別子として使用することを提案する。
  論文  参考訳（メタデータ） (2022-04-22T10:45:01Z)
• Long Document Summarization with Top-down and Bottom-up Inference [113.29319668246407]
  本稿では、2つの側面の要約モデルを改善するための原則的推論フレームワークを提案する。 我々のフレームワークは、トップレベルが長距離依存性をキャプチャするドキュメントの階層的な潜在構造を前提としています。 本稿では,様々な要約データセットに対して提案手法の有効性を示す。
  論文  参考訳（メタデータ） (2022-03-15T01:24:51Z)
• Unsupervised Keyphrase Extraction by Jointly Modeling Local and Global Context [25.3472693740778]
  埋め込みベースの手法は、教師なしキーフレーズ抽出(UKE)タスクに広く用いられている。 本稿では,地域とグローバルのコンテキストを共同でモデル化するUKEの新しい手法を提案する。
  論文  参考訳（メタデータ） (2021-09-15T13:41:10Z)
• KGPT: Knowledge-Grounded Pre-Training for Data-to-Text Generation [100.79870384880333]
  知識に富んだテキストを生成するための知識基盤事前学習(KGPT)を提案する。 我々は、その効果を評価するために、3つの設定、すなわち、完全教師付き、ゼロショット、少数ショットを採用します。 ゼロショット設定では、WebNLG上で30 ROUGE-L以上を達成するが、他の全てのベースラインは失敗する。
  論文  参考訳（メタデータ） (2020-10-05T19:59:05Z)
• Towards Making the Most of Context in Neural Machine Translation [112.9845226123306]
  我々は、これまでの研究がグローバルな文脈をはっきりと利用しなかったと論じている。 本研究では,各文の局所的文脈を意図的にモデル化する文書レベルNMTフレームワークを提案する。
  論文  参考訳（メタデータ） (2020-02-19T03:30:00Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。