論文の概要: SciReviewGen: A Large-scale Dataset for Automatic Literature Review Generation

• arxiv url: http://arxiv.org/abs/2305.15186v1
• Date: Wed, 24 May 2023 14:26:30 GMT
• ステータス: 処理完了
• システム内更新日: 2023-05-25 15:18:42.875592
• Title: SciReviewGen: A Large-scale Dataset for Automatic Literature Review Generation
• Title（参考訳）: SciReviewGen: 自動文献レビュー生成のための大規模データセット
• Authors: Tetsu Kasanishi, Masaru Isonuma, Junichiro Mori, Ichiro Sakata
• Abstract要約: SciReviewGenは1万以上の文献レビューと690,000の論文で構成されています。 人間による評価の結果、機械による要約は人間によるレビューに匹敵する結果が得られた。
• 参考スコア（独自算出の注目度）: 6.950862982117127
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Automatic literature review generation is one of the most challenging tasks in natural language processing. Although large language models have tackled literature review generation, the absence of large-scale datasets has been a stumbling block to the progress. We release SciReviewGen, consisting of over 10,000 literature reviews and 690,000 papers cited in the reviews. Based on the dataset, we evaluate recent transformer-based summarization models on the literature review generation task, including Fusion-in-Decoder extended for literature review generation. Human evaluation results show that some machine-generated summaries are comparable to human-written reviews, while revealing the challenges of automatic literature review generation such as hallucinations and a lack of detailed information. Our dataset and code are available at https://github.com/tetsu9923/SciReviewGen.
• Abstract（参考訳）: 自動文献レビュー生成は自然言語処理において最も難しいタスクの1つである。 大規模言語モデルは文献レビュー生成に取り組んできたが、大規模なデータセットが存在しないことは、進歩に支障をきたした。 我々は1万以上の文献レビューと690,000の論文からなるSciReviewGenをリリースした。 このデータセットに基づいて,文献レビュー生成用に拡張されたfusion-in-decoderを含む文献レビュー生成タスクにおける最近のトランスフォーマライズモデルを評価する。 人的評価の結果,機械による要約は人によるレビューと同等であり,幻覚や詳細な情報の欠如といった自動文献レビュー生成の課題を明らかにした。 データセットとコードはhttps://github.com/tetsu9923/SciReviewGen.comから入手可能です。

関連論文リスト

• Assessment of Transformer-Based Encoder-Decoder Model for Human-Like Summarization [0.05852077003870416]
  この研究は、トランスフォーマーベースのBARTモデルを利用して人間のような要約を行う。 エンコーダ・デコーダモデルの訓練および微調整において,多種多様なサンプル記事を用いて検証を行った。 微調整モデルの性能をベースライン事前訓練モデルと比較する。 BBC Newsの記事に載った実証的な結果は、人間によって書かれた金の標準要約の方が17%も現実的に一貫性があることを示している。
  論文  参考訳（メタデータ） (2024-10-22T09:25:04Z)
• GPTScore: Evaluate as You Desire [40.111346987131974]
  本稿では,生成事前学習モデルから創発的能力(ゼロショット命令など)を利用して生成したテキストをスコアする新しい評価フレームワークGPTScoreを提案する。 4つのテキスト生成タスク、22の評価側面、およびそれに対応する37のデータセットに関する実験結果から、GPTScoreは、自然言語命令だけでテキストに対して評価したいことを効果的に実現できることを示した。
  論文  参考訳（メタデータ） (2023-02-08T16:17:29Z)
• On the Blind Spots of Model-Based Evaluation Metrics for Text Generation [79.01422521024834]
  テキスト生成評価指標のロバスト性分析に有用であるが,しばしば無視される手法を探索する。 我々は、幅広い潜在的な誤差を設計、合成し、それらが測定値の余計な低下をもたらすかどうかを確認する。 私たちの実験では、既存のメトリクスの興味深い不感、バイアス、あるいは抜け穴が明らかになりました。
  論文  参考訳（メタデータ） (2022-12-20T06:24:25Z)
• Factual and Informative Review Generation for Explainable Recommendation [41.403493319602816]
  先行モデルの生成されたコンテンツは、しばしば事実の幻覚を含む。 提案手法は,検索したコンテンツと生成のためのパラメトリック知識の併用による最近の成功にインスパイアされ,パーソナライズされた検索機能を備えたジェネレータを提案する。 Yelp、TripAdvisor、Amazon Movie Reviewsのデータセットでの実験は、我々のモデルが既存のレビューをより確実に複雑にし、より多様性があり、人間の評価者によってより有益であると評価された説明を生成できることを示している。
  論文  参考訳（メタデータ） (2022-09-12T16:46:47Z)
• Can We Automate Scientific Reviewing? [89.50052670307434]
  我々は、最先端自然言語処理(NLP)モデルを用いて、科学論文の第一パスピアレビューを生成する可能性について論じる。 我々は、機械学習領域で論文のデータセットを収集し、各レビューでカバーされているさまざまなコンテンツに注釈を付け、レビューを生成するために論文を取り込み、ターゲットの要約モデルを訓練する。 総合的な実験結果から、システム生成レビューは、人間によるレビューよりも、論文の多くの側面に触れる傾向にあることが示された。
  論文  参考訳（メタデータ） (2021-01-30T07:16:53Z)
• STORIUM: A Dataset and Evaluation Platform for Machine-in-the-Loop Story Generation [48.56586847883825]
  我々は、オンラインのコラボレーティブなストーリーテリングコミュニティであるSTORiumから構築されたデータセットと評価プラットフォームを紹介した。 データセットには6Kの長編記事と、各物語に散在する詳細な自然言語アノテーションが含まれています。 我々は、STORiumにそれらを統合することで、データセット上で微調整された言語モデルを評価し、実際の著者は提案されたストーリーの継続をモデルに問い合わせ、編集することができる。
  論文  参考訳（メタデータ） (2020-10-04T23:26:09Z)
• UNION: An Unreferenced Metric for Evaluating Open-ended Story Generation [92.42032403795879]
  UNIONは、オープンなストーリー生成を評価するための、学習可能な未参照メトリックである。 人書きストーリーとネガティブなサンプルを区別し、ネガティブなストーリーの摂動を回復するように訓練されている。 2つのストーリーデータセットの実験では、UNIONが生成されたストーリーの品質を評価するための信頼性の高い尺度であることが示されている。
  論文  参考訳（メタデータ） (2020-09-16T11:01:46Z)
• Few-Shot Learning for Opinion Summarization [117.70510762845338]
  オピニオン要約は、複数の文書で表現された主観的な情報を反映したテキストの自動生成である。 本研究では,要約テキストの生成をブートストラップするのには,少数の要約でも十分であることを示す。 提案手法は, 従来の抽出法および抽象法を, 自動的, 人的評価において大きく上回っている。
  論文  参考訳（メタデータ） (2020-04-30T15:37:38Z)
• Unsupervised Opinion Summarization with Noising and Denoising [85.49169453434554]
  ユーザレビューのコーパスから合成データセットを作成し、レビューをサンプリングし、要約のふりをして、ノイズのあるバージョンを生成します。 テスト時に、モデルは本物のレビューを受け入れ、健全な意見を含む要約を生成し、合意に達しないものをノイズとして扱います。
  論文  参考訳（メタデータ） (2020-04-21T16:54:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。