論文の概要: Hierarchical Catalogue Generation for Literature Review: A Benchmark

• arxiv url: http://arxiv.org/abs/2304.03512v3
• Date: Fri, 17 Nov 2023 02:08:14 GMT
• ステータス: 処理完了
• システム内更新日: 2023-11-22 20:01:55.918289
• Title: Hierarchical Catalogue Generation for Literature Review: A Benchmark
• Title（参考訳）: 文献レビューのための階層的カタログ生成:ベンチマーク
• Authors: Kun Zhu, Xiaocheng Feng, Xiachong Feng, Yingsheng Wu and Bing Qin
• Abstract要約: 本稿では,7.6kの文献レビューカタログと389kの参考論文を収録した,新しい英語階層カタログ・オブ・文学レビューデータセットを構築した。 モデルの性能を正確に評価するために,2つの評価指標を設計する。
• 参考スコア（独自算出の注目度）: 36.22298354302282
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Scientific literature review generation aims to extract and organize important information from an abundant collection of reference papers and produces corresponding reviews while lacking a clear and logical hierarchy. We observe that a high-quality catalogue-guided generation process can effectively alleviate this problem. Therefore, we present an atomic and challenging task named Hierarchical Catalogue Generation for Literature Review as the first step for review generation, which aims to produce a hierarchical catalogue of a review paper given various references. We construct a novel English Hierarchical Catalogues of Literature Reviews Dataset with 7.6k literature review catalogues and 389k reference papers. To accurately assess the model performance, we design two evaluation metrics for informativeness and similarity to ground truth from semantics and structure.Our extensive analyses verify the high quality of our dataset and the effectiveness of our evaluation metrics. We further benchmark diverse experiments on state-of-the-art summarization models like BART and large language models like ChatGPT to evaluate their capabilities. We further discuss potential directions for this task to motivate future research.
• Abstract（参考訳）: 科学文献レビュー生成は、豊富な参考論文の収集から重要な情報を抽出し整理することを目的としており、明確で論理的な階層性に欠けながら対応するレビューを作成する。 高品質なカタログ誘導生成プロセスは,この問題を効果的に解消することができる。 そこで本稿では,レビュー論文の階層的カタログを作成することを目的とした,レビュー作成のための第1ステップとして,階層的カタログ生成(hierarchical Catalogue Generation for Literature Review)という原子的かつ困難なタスクを提案する。 7.6kの文献レビューカタログと389kの参考論文からなる,新しい英語階層的文献レビューカタログを構築した。 モデル性能を正確に評価するために,セマンティクスと構造から根拠真理と類似性を判断するための2つの評価指標を設計・評価し,データセットの高品質と評価指標の有効性を検証する。 さらに、BARTのような最先端の要約モデルとChatGPTのような大規模言語モデルに関する様々な実験をベンチマークして、その能力を評価する。 この課題が今後の研究を動機づける可能性についてさらに議論する。

関連論文リスト

• Are Large Language Models Good Classifiers? A Study on Edit Intent Classification in Scientific Document Revisions [62.12545440385489]
  大規模言語モデル(LLM)は、テキスト生成の大幅な進歩をもたらしたが、分類タスクの強化の可能性はまだ未検討である。 生成と符号化の両方のアプローチを含む分類のための微調整LDMを徹底的に研究するためのフレームワークを提案する。 我々はこのフレームワークを編集意図分類(EIC)においてインスタンス化する。
  論文  参考訳（メタデータ） (2024-10-02T20:48:28Z)
• HiReview: Hierarchical Taxonomy-Driven Automatic Literature Review Generation [15.188580557890942]
  HiReviewは階層的な分類による自動文献レビュー生成のための新しいフレームワークである。 大規模な実験により、HiReviewは最先端の手法よりも大幅に優れていることが示された。
  論文  参考訳（メタデータ） (2024-10-02T13:02:03Z)
• What Makes a Good Story and How Can We Measure It? A Comprehensive Survey of Story Evaluation [57.550045763103334]
  ストーリーを評価することは、他の世代の評価タスクよりも難しい場合があります。 まず、テキスト・トゥ・テキスト、ビジュアル・トゥ・テキスト、テキスト・トゥ・ビジュアルといった既存のストーリーテリングタスクを要約する。 本研究では,これまで開発されてきた,あるいはストーリー評価に応用可能な評価指標を整理する分類法を提案する。
  論文  参考訳（メタデータ） (2024-08-26T20:35:42Z)
• A Literature Review of Literature Reviews in Pattern Analysis and Machine Intelligence [58.6354685593418]
  本稿では, レビューを評価するために, 記事レベル, フィールド正規化, 大規模言語モデルを用いた書誌指標を提案する。 新たに登場したAI生成の文献レビューも評価されている。 この研究は、文学レビューの現在の課題についての洞察を与え、彼らの開発に向けた今後の方向性を思い起こさせる。
  論文  参考訳（メタデータ） (2024-02-20T11:28:50Z)
• Knowledge-Centric Templatic Views of Documents [2.654058995940072]
  著者はしばしば、スライドデッキ、ニュースレター、レポート、ポスターなど、様々な文書形式でアイデアを共有している。 文書生成装置の品質測定に適応できる新しい統一評価フレームワークを提案する。 人間の評価を行い,提案手法を用いて作成した文書の82%を利用者が好んでいることを示す。
  論文  参考訳（メタデータ） (2024-01-13T01:22:15Z)
• Disco-Bench: A Discourse-Aware Evaluation Benchmark for Language Modelling [70.23876429382969]
  本研究では,多種多様なNLPタスクに対して,文内談話特性を評価できるベンチマークを提案する。 ディスコ・ベンチは文学領域における9つの文書レベルのテストセットから構成されており、豊富な談話現象を含んでいる。 また,言語分析のために,対象モデルが談話知識を学習するかどうかを検証できる診断テストスイートを設計する。
  論文  参考訳（メタデータ） (2023-07-16T15:18:25Z)
• Enhancing Identification of Structure Function of Academic Articles Using Contextual Information [6.28532577139029]
  本稿では,学術論文の構造的機能を明らかにするためのコーパスとして,ACLカンファレンスの記事を取り上げる。 従来の機械学習モデルとディープラーニングモデルを用いて、様々な特徴入力に基づいて分類器を構築する。 2) に触発された本論文は,ディープラーニングモデルに文脈情報を導入し,重要な結果を得た。
  論文  参考訳（メタデータ） (2021-11-28T11:21:21Z)
• SPECTER: Document-level Representation Learning using Citation-informed Transformers [51.048515757909215]
  SPECTERは、Transformer言語モデルの事前学習に基づいて、科学文書の文書レベルの埋め込みを生成する。 SciDocsは、引用予測から文書分類、レコメンデーションまでの7つの文書レベルのタスクからなる新しい評価ベンチマークである。
  論文  参考訳（メタデータ） (2020-04-15T16:05:51Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。