論文の概要: Hierarchical Catalogue Generation for Literature Review: A Benchmark
- arxiv url: http://arxiv.org/abs/2304.03512v2
- Date: Mon, 10 Apr 2023 04:43:38 GMT
- ステータス: 処理完了
- システム内更新日: 2023-04-11 11:43:52.670213
- Title: Hierarchical Catalogue Generation for Literature Review: A Benchmark
- Title(参考訳): 文献レビューのための階層的カタログ生成:ベンチマーク
- Authors: Kun Zhu, Xiaocheng Feng, Xiachong Feng, Yingsheng Wu and Bing Qin
- Abstract要約: 多文書の科学的要約は、大量の論文から重要な情報を抽出し、整理し、近年広く注目を集めている。
本稿では,ヒエラルキ的カタログ生成・文献レビュー(HiCatGLR)と題する原子的・挑戦的な課題について紹介する。
- 参考スコア(独自算出の注目度): 25.802942197462816
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Multi-document scientific summarization can extract and organize important
information from an abundant collection of papers, arousing widespread
attention recently. However, existing efforts focus on producing lengthy
overviews lacking a clear and logical hierarchy. To alleviate this problem, we
present an atomic and challenging task named Hierarchical Catalogue Generation
for Literature Review (HiCatGLR), which aims to generate a hierarchical
catalogue for a review paper given various references. We carefully construct a
novel English Hierarchical Catalogues of Literature Reviews Dataset (HiCaD)
with 13.8k literature review catalogues and 120k reference papers, where we
benchmark diverse experiments via the end-to-end and pipeline methods. To
accurately assess the model performance, we design evaluation metrics for
similarity to ground truth from semantics and structure. Besides, our extensive
analyses verify the high quality of our dataset and the effectiveness of our
evaluation metrics. Furthermore, we discuss potential directions for this task
to motivate future research.
- Abstract(参考訳): 多文書科学要約は、豊富な論文のコレクションから重要な情報を抽出し整理することができ、近年広く注目を集めている。
しかし、既存の取り組みは、明確で論理的な階層を欠いた長い概要を生み出すことに重点を置いている。
この問題を軽減するために,文献レビューのための階層的カタログ生成(HiCatGLR)という,原子的かつ困難な課題を提示する。
我々は13.8kの文献レビューカタログと120kの参考論文を持つ新しい英語階層的文献レビューデータセット(hicad)を慎重に構築し、エンドツーエンドとパイプラインメソッドによる多様な実験をベンチマークする。
モデルの性能を正確に評価するために,意味論と構造学から基底真理に類似した評価指標を設計する。
さらに当社の広範な分析によって,データセットの高品質と評価指標の有効性が検証された。
さらに,この課題が今後の研究を動機付ける可能性についても論じる。
関連論文リスト
- CASIMIR: A Corpus of Scientific Articles enhanced with Multiple Author-Integrated Revisions [7.503795054002406]
本稿では,学術論文の執筆過程の改訂段階について,原文資料を提案する。
この新しいデータセットはCASIMIRと呼ばれ、OpenReviewの15,646の科学論文の改訂版とピアレビューを含んでいる。
論文 参考訳(メタデータ) (2024-03-01T03:07:32Z) - A Literature Review of Literature Reviews in Pattern Analysis and Machine Intelligence [58.6354685593418]
本稿では, レビューを評価するために, 記事レベル, フィールド正規化, 大規模言語モデルを用いた書誌指標を提案する。
新たに登場したAI生成の文献レビューも評価されている。
この研究は、文学レビューの現在の課題についての洞察を与え、彼らの開発に向けた今後の方向性を思い起こさせる。
論文 参考訳(メタデータ) (2024-02-20T11:28:50Z) - Open-ended VQA benchmarking of Vision-Language models by exploiting Classification datasets and their semantic hierarchy [27.454549324141087]
本稿では、よく知られた視覚分類データセットに基づく新しいVQAベンチマークを提案する。
また,ラベル空間のセマンティックな階層構造を用いて,基底構造カテゴリに関するフォローアップ質問を自動的に生成することを提案する。
私たちの貢献は、より正確で有意義な評価の基礎を築くことを目的としています。
論文 参考訳(メタデータ) (2024-02-11T18:26:18Z) - Disco-Bench: A Discourse-Aware Evaluation Benchmark for Language
Modelling [70.23876429382969]
本研究では,多種多様なNLPタスクに対して,文内談話特性を評価できるベンチマークを提案する。
ディスコ・ベンチは文学領域における9つの文書レベルのテストセットから構成されており、豊富な談話現象を含んでいる。
また,言語分析のために,対象モデルが談話知識を学習するかどうかを検証できる診断テストスイートを設計する。
論文 参考訳(メタデータ) (2023-07-16T15:18:25Z) - Large Language Models are Diverse Role-Players for Summarization
Evaluation [82.31575622685902]
文書要約の品質は、文法や正しさといった客観的な基準と、情報性、簡潔さ、魅力といった主観的な基準で人間の注釈者によって評価することができる。
BLUE/ROUGEのような自動評価手法のほとんどは、上記の次元を適切に捉えることができないかもしれない。
目的と主観の両面から生成されたテキストと参照テキストを比較し,総合的な評価フレームワークを提供するLLMに基づく新しい評価フレームワークを提案する。
論文 参考訳(メタデータ) (2023-03-27T10:40:59Z) - Enhancing Identification of Structure Function of Academic Articles
Using Contextual Information [6.28532577139029]
本稿では,学術論文の構造的機能を明らかにするためのコーパスとして,ACLカンファレンスの記事を取り上げる。
従来の機械学習モデルとディープラーニングモデルを用いて、様々な特徴入力に基づいて分類器を構築する。
2) に触発された本論文は,ディープラーニングモデルに文脈情報を導入し,重要な結果を得た。
論文 参考訳(メタデータ) (2021-11-28T11:21:21Z) - Hierarchical Bi-Directional Self-Attention Networks for Paper Review
Rating Recommendation [81.55533657694016]
本稿では,階層型双方向自己注意ネットワークフレームワーク(HabNet)を提案する。
具体的には、文エンコーダ(レベル1)、レビュー内エンコーダ(レベル2)、レビュー間エンコーダ(レベル3)の3つのレベルで、論文レビューの階層構造を利用する。
我々は、最終的な受理決定を行う上で有用な予測者を特定することができ、また、数値的なレビュー評価とレビュアーが伝えるテキストの感情の不整合を発見するのに役立てることができる。
論文 参考訳(メタデータ) (2020-11-02T08:07:50Z) - SPECTER: Document-level Representation Learning using Citation-informed
Transformers [51.048515757909215]
SPECTERは、Transformer言語モデルの事前学習に基づいて、科学文書の文書レベルの埋め込みを生成する。
SciDocsは、引用予測から文書分類、レコメンデーションまでの7つの文書レベルのタスクからなる新しい評価ベンチマークである。
論文 参考訳(メタデータ) (2020-04-15T16:05:51Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。