論文の概要: SciZoom: A Large-scale Benchmark for Hierarchical Scientific Summarization across the LLM Era

• arxiv url: http://arxiv.org/abs/2603.16131v1
• Date: Tue, 17 Mar 2026 05:34:46 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-03-18 17:42:07.110332
• Title: SciZoom: A Large-scale Benchmark for Hierarchical Scientific Summarization across the LLM Era
• Title（参考訳）: SciZoom: LLM時代の階層的な科学的要約のための大規模ベンチマーク
• Authors: Han Jang, Junhyeok Lee, Kyu Sung Choi,
• Abstract要約: SciZoomは、2020年から2025年までの4つのトップレベルのML会場から44,946の論文からなるベンチマークである。 我々の言語学的分析は、句パターンの顕著な変化(式表現の最大10倍)と修辞スタイル(23%のヘッジ減少)を明らかにしている。 SciZoomは、生成AI時代の科学的談話の進化をマイニングするための、挑戦的なベンチマークとユニークなリソースとして機能する。
• 参考スコア（独自算出の注目度）: 2.2090506971647144
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The explosive growth of AI research has created unprecedented information overload, increasing the demand for scientific summarization at multiple levels of granularity beyond traditional abstracts. While LLMs are increasingly adopted for summarization, existing benchmarks remain limited in scale, target only a single granularity, and predate the LLM era. Moreover, since the release of ChatGPT in November 2022, researchers have rapidly adopted LLMs for drafting manuscripts themselves, fundamentally transforming scientific writing, yet no resource exists to analyze how this writing has evolved. To bridge these gaps, we introduce SciZoom, a benchmark comprising 44,946 papers from four top-tier ML venues (NeurIPS, ICLR, ICML, EMNLP) spanning 2020 to 2025, explicitly stratified into Pre-LLM and Post-LLM eras. SciZoom provides three hierarchical summarization targets (Abstract, Contributions, and TL;DR) achieving compression ratios up to 600:1, enabling both multi-granularity summarization research and temporal mining of scientific writing patterns. Our linguistic analysis reveals striking shifts in phrase patterns (up to 10x for formulaic expressions) and rhetorical style (23% decline in hedging), suggesting that LLM-assisted writing produces more confident yet homogenized prose. SciZoom serves as both a challenging benchmark and a unique resource for mining the evolution of scientific discourse in the generative AI era. Our code and dataset are publicly available on GitHub (https://github.com/janghana/SciZoom) and Hugging Face (https://huggingface.co/datasets/hanjang/SciZoom), respectively.
• Abstract（参考訳）: AI研究の爆発的な成長は、前例のない情報過剰を引き起こし、科学的な要約の要求を、従来の抽象概念を超えた様々なレベルの粒度で増大させた。 LLMは徐々に要約に採用されているが、既存のベンチマークは規模が限られており、単一の粒度のみをターゲットにしており、LLM時代より前のものである。 さらに、2022年11月にChatGPTがリリースされて以来、研究者は原稿自体の草稿作成にLSMを急速に採用し、科学的な執筆を根本的に変えてきたが、この書体がどのように進化したかを分析するためのリソースは存在しない。 これらのギャップを埋めるために、2020年から2025年までの4つの上位ML会場(NeurIPS, ICLR, ICML, EMNLP)から44,946の論文からなるベンチマークであるSciZoomを紹介します。 SciZoomは3つの階層的な要約目標(抽象的、貢献的、TL;DR)を提供し、圧縮比を600:1まで達成し、多粒度要約研究と科学書記パターンの時間的マイニングを可能にする。 言語学的解析により,句パターン(式式では最大10倍)と修辞スタイル(23%の減少)の顕著な変化が明らかとなり,LCMによる文章作成がより確実で同質な散文を生み出すことが示唆された。 SciZoomは、生成AI時代の科学的談話の進化をマイニングするための、挑戦的なベンチマークとユニークなリソースとして機能する。 私たちのコードとデータセットはGitHub(https://github.com/janghana/SciZoom)とHugging Face(https://huggingface.co/datasets/hanjang/SciZoom)で公開されています。

関連論文リスト

• Not too long do read: Evaluating LLM-generated extreme scientific summaries [0.0]
  本稿では,学術論文からの研究者による要約を多数含む新しいデータセットBiomedTLDRを提案する。 次に、抽象概念に基づく極端な要約を生成するために、人気のあるオープンウェイト LLM をテストする。 解析の結果,人型サマリーの創出に成功しているものもあるが,LLMは原文の語彙的選択や修辞的構造に対して,より親和性が高いことが明らかとなった。
  論文  参考訳（メタデータ） (2025-12-29T05:03:02Z)
• Let's Use ChatGPT To Write Our Paper! Benchmarking LLMs To Write the Introduction of a Research Paper [64.50822834679101]
  SciIGは、タイトル、抽象、および関連する作品からコヒーレントな紹介を生成するLLMの能力を評価するタスクである。 オープンソース (DeepSeek-v3, Gemma-3-12B, LLaMA 4-Maverick, MistralAI Small 3.1) およびクローズドソース GPT-4o システムを含む5つの最先端モデルを評価する。 結果は、特に意味的類似性と忠実性において、ほとんどのメトリクスにおいて、LLaMA-4 Maverickの優れたパフォーマンスを示す。
  論文  参考訳（メタデータ） (2025-08-19T21:11:11Z)
• LLLMs: A Data-Driven Survey of Evolving Research on Limitations of Large Language Models [15.588997848081046]
  この調査は、2022年から2025年までの大規模言語モデル(LLLM)の限界について、データ駆動半自動レビューを行うことによって、このギャップに対処する。 ACL と arXiv のコーパスから,キーワードフィルタリングと LLM に基づく分類を用いて,14,648 の関連制限紙を抽出した。 LLM関連の研究は、2022年から2025年の間にACLの約6倍、arXivの約15倍に増加することが判明した。
  論文  参考訳（メタデータ） (2025-05-25T17:38:32Z)
• Attribution in Scientific Literature: New Benchmark and Methods [41.64918533152914]
  大規模言語モデル(LLM)は、科学的コミュニケーションにおいて、自動ソース引用のための有望だが挑戦的なフロンティアを提供する。 本稿では、arXivから12の科学領域にまたがる文レベルのアノテーションを備えた新しいデータセットREASONSを紹介する。 我々は、GPT-O1、GPT-4O、GPT-3.5、DeepSeekなどのモデルや、Perplexity AI (7B)のような他の小さなモデルで広範な実験を行う。
  論文  参考訳（メタデータ） (2024-05-03T16:38:51Z)
• Mapping the Increasing Use of LLMs in Scientific Papers [99.67983375899719]
  2020年1月から2024年2月にかけて、arXiv、bioRxiv、Natureのポートフォリオジャーナルで950,965の論文をまとめて、体系的で大規模な分析を行った。 計算機科学の論文では, LLMの使用が着実に増加し, 最大, 最速の成長が観察された。
  論文  参考訳（メタデータ） (2024-04-01T17:45:15Z)
• Large Language Models: A Survey [66.39828929831017]
  大規模言語モデル(LLM)は、広範囲の自然言語タスクにおける強力なパフォーマンスのために、多くの注目を集めている。 LLMの汎用言語理解と生成能力は、膨大なテキストデータに基づいて数十億のモデルのパラメータを訓練することで得られる。
  論文  参考訳（メタデータ） (2024-02-09T05:37:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。