論文の概要: Hierarchical Catalogue Generation for Literature Review: A Benchmark
- arxiv url: http://arxiv.org/abs/2304.03512v3
- Date: Fri, 17 Nov 2023 02:08:14 GMT
- ステータス: 処理完了
- システム内更新日: 2023-11-22 20:01:55.918289
- Title: Hierarchical Catalogue Generation for Literature Review: A Benchmark
- Title(参考訳): 文献レビューのための階層的カタログ生成:ベンチマーク
- Authors: Kun Zhu, Xiaocheng Feng, Xiachong Feng, Yingsheng Wu and Bing Qin
- Abstract要約: 本稿では,7.6kの文献レビューカタログと389kの参考論文を収録した,新しい英語階層カタログ・オブ・文学レビューデータセットを構築した。
モデルの性能を正確に評価するために,2つの評価指標を設計する。
- 参考スコア(独自算出の注目度): 36.22298354302282
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Scientific literature review generation aims to extract and organize
important information from an abundant collection of reference papers and
produces corresponding reviews while lacking a clear and logical hierarchy. We
observe that a high-quality catalogue-guided generation process can effectively
alleviate this problem. Therefore, we present an atomic and challenging task
named Hierarchical Catalogue Generation for Literature Review as the first step
for review generation, which aims to produce a hierarchical catalogue of a
review paper given various references. We construct a novel English
Hierarchical Catalogues of Literature Reviews Dataset with 7.6k literature
review catalogues and 389k reference papers. To accurately assess the model
performance, we design two evaluation metrics for informativeness and
similarity to ground truth from semantics and structure.Our extensive analyses
verify the high quality of our dataset and the effectiveness of our evaluation
metrics. We further benchmark diverse experiments on state-of-the-art
summarization models like BART and large language models like ChatGPT to
evaluate their capabilities. We further discuss potential directions for this
task to motivate future research.
- Abstract(参考訳): 科学文献レビュー生成は、豊富な参考論文の収集から重要な情報を抽出し整理することを目的としており、明確で論理的な階層性に欠けながら対応するレビューを作成する。
高品質なカタログ誘導生成プロセスは,この問題を効果的に解消することができる。
そこで本稿では,レビュー論文の階層的カタログを作成することを目的とした,レビュー作成のための第1ステップとして,階層的カタログ生成(hierarchical Catalogue Generation for Literature Review)という原子的かつ困難なタスクを提案する。
7.6kの文献レビューカタログと389kの参考論文からなる,新しい英語階層的文献レビューカタログを構築した。
モデル性能を正確に評価するために,セマンティクスと構造から根拠真理と類似性を判断するための2つの評価指標を設計・評価し,データセットの高品質と評価指標の有効性を検証する。
さらに、BARTのような最先端の要約モデルとChatGPTのような大規模言語モデルに関する様々な実験をベンチマークして、その能力を評価する。
この課題が今後の研究を動機づける可能性についてさらに議論する。
関連論文リスト
- CASIMIR: A Corpus of Scientific Articles enhanced with Multiple
Author-Integrated Revisions [8.050416164183485]
本稿では,学術論文の執筆過程の改訂段階について,原文資料を提案する。
この新しいデータセットはCASIMIRと呼ばれ、OpenReviewの15,646の科学論文の改訂版とピアレビューを含んでいる。
論文 参考訳(メタデータ) (2024-03-01T03:07:32Z) - A Literature Review of Literature Reviews in Pattern Analysis and
Machine Intelligence [62.90682521144006]
この分析は、様々な観点からPAMI分野のレビューを徹底的にレビューすることを目的としている。
書評を自動評価するために,大規模言語モデルを用いた書評指標を提案する。
新たに登場したAI生成の文献レビューも評価されている。
論文 参考訳(メタデータ) (2024-02-20T11:28:50Z) - Open-ended VQA benchmarking of Vision-Language models by exploiting
Classification datasets and their semantic hierarchy [32.083896395844924]
本稿では、よく知られた視覚分類データセットに基づく新しいVQAベンチマークを提案する。
また,ラベル空間のセマンティックな階層構造を用いて,基底構造カテゴリに関するフォローアップ質問を自動的に生成することを提案する。
私たちの貢献は、より正確で有意義な評価の基礎を築くことを目的としています。
論文 参考訳(メタデータ) (2024-02-11T18:26:18Z) - Disco-Bench: A Discourse-Aware Evaluation Benchmark for Language
Modelling [70.23876429382969]
本研究では,多種多様なNLPタスクに対して,文内談話特性を評価できるベンチマークを提案する。
ディスコ・ベンチは文学領域における9つの文書レベルのテストセットから構成されており、豊富な談話現象を含んでいる。
また,言語分析のために,対象モデルが談話知識を学習するかどうかを検証できる診断テストスイートを設計する。
論文 参考訳(メタデータ) (2023-07-16T15:18:25Z) - Large Language Models are Diverse Role-Players for Summarization
Evaluation [82.31575622685902]
文書要約の品質は、文法や正しさといった客観的な基準と、情報性、簡潔さ、魅力といった主観的な基準で人間の注釈者によって評価することができる。
BLUE/ROUGEのような自動評価手法のほとんどは、上記の次元を適切に捉えることができないかもしれない。
目的と主観の両面から生成されたテキストと参照テキストを比較し,総合的な評価フレームワークを提供するLLMに基づく新しい評価フレームワークを提案する。
論文 参考訳(メタデータ) (2023-03-27T10:40:59Z) - Enhancing Identification of Structure Function of Academic Articles
Using Contextual Information [6.28532577139029]
本稿では,学術論文の構造的機能を明らかにするためのコーパスとして,ACLカンファレンスの記事を取り上げる。
従来の機械学習モデルとディープラーニングモデルを用いて、様々な特徴入力に基づいて分類器を構築する。
2) に触発された本論文は,ディープラーニングモデルに文脈情報を導入し,重要な結果を得た。
論文 参考訳(メタデータ) (2021-11-28T11:21:21Z) - Hierarchical Bi-Directional Self-Attention Networks for Paper Review
Rating Recommendation [81.55533657694016]
本稿では,階層型双方向自己注意ネットワークフレームワーク(HabNet)を提案する。
具体的には、文エンコーダ(レベル1)、レビュー内エンコーダ(レベル2)、レビュー間エンコーダ(レベル3)の3つのレベルで、論文レビューの階層構造を利用する。
我々は、最終的な受理決定を行う上で有用な予測者を特定することができ、また、数値的なレビュー評価とレビュアーが伝えるテキストの感情の不整合を発見するのに役立てることができる。
論文 参考訳(メタデータ) (2020-11-02T08:07:50Z) - SPECTER: Document-level Representation Learning using Citation-informed
Transformers [51.048515757909215]
SPECTERは、Transformer言語モデルの事前学習に基づいて、科学文書の文書レベルの埋め込みを生成する。
SciDocsは、引用予測から文書分類、レコメンデーションまでの7つの文書レベルのタスクからなる新しい評価ベンチマークである。
論文 参考訳(メタデータ) (2020-04-15T16:05:51Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。