論文の概要: LLMs for Academic Workflows: An Evaluation of Literature Reviews Generated with Short and Long Context Windows of LLMs

• arxiv url: http://arxiv.org/abs/2608.26145v1
• Date: Sun, 28 Jun 2026 19:03:56 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-28 05:09:55.363095
• Title: LLMs for Academic Workflows: An Evaluation of Literature Reviews Generated with Short and Long Context Windows of LLMs
• Title（参考訳）: LLMs for Academic Workflows:LLMの短期的・長期的Windowsによる文献レビューの評価
• Abstract要約: Semantic ScholarとArxivの研究資料に基づく20のAI生成文献レビューを評価した。 この結果から,AIによる文献レビューは学術出版基準を満たすためには人間の監督を必要とすることがわかった。 私たちの研究は、AI生成レビューが基礎的な概要を提供することができることを示しているが、そのアウトプットは、ドメインの専門家によって批判的に評価され、洗練されなければならない。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Our research focuses on evaluating literature reviews generated in short and long context settings of large language models (LLMs) to investigate the impact of context window on the quality of AI-generated literature reviews and the role of AI in supporting literature review writing. Twenty AI-generated literature reviews based on research sources from Semantic Scholar and Arxiv were evaluated by two researchers across 15 dimensions. Our findings reveal that AI-generated literature reviews require human oversight to meet academic publishing standards. As context windows increase, LLMs can incorporate broader information and maintain coherence across longer inputs, but they also exacerbate issues such as content repetition, omission of critical work, and a tendency towards descriptiveness over synthesis. Our work shows that AI-generated reviews can provide foundational overviews, but their output must be critically evaluated and refined by domain experts. Future research should consider integrating other LLMs and fine-tuned models in different domains with hybrid approaches that combine human expertise with AI capabilities to address the limitations identified in this study.
• Abstract（参考訳）: 本研究は,大規模言語モデル(LLM)の短期的・長期的文脈設定における文献レビューの評価に焦点をあて,文脈ウィンドウがAI生成文献レビューの品質に及ぼす影響と,文献レビューの執筆支援におけるAIの役割について検討する。 Semantic ScholarとArxivの研究資料に基づく20のAIによる文献レビューが、15次元にわたる2人の研究者によって評価された。 この結果から,AIによる文献レビューは学術出版基準を満たすためには人間の監督を必要とすることがわかった。 コンテキストウィンドウが増加するにつれて、LLMはより広範な情報を取り込み、より長い入力のコヒーレンスを維持することができるが、コンテンツ反復、批判的な作業の欠如、合成よりも記述性を重視する傾向といった問題を悪化させる。 私たちの研究は、AI生成レビューが基礎的な概要を提供することができることを示しているが、そのアウトプットは、ドメインの専門家によって批判的に評価され、洗練されなければならない。 今後の研究は、異なるドメインに、人間の専門知識とAI能力を組み合わせたハイブリッドアプローチで、他のLLMと微調整されたモデルを統合することを検討するべきである。

関連論文リスト

• CoCoNUTS: Concentrating on Content while Neglecting Uninformative Textual Styles for AI-Generated Peer Review Detection [60.52240468810558]
  我々は、AI生成ピアレビューの詳細なデータセットの上に構築されたコンテンツ指向ベンチマークであるCoCoNUTSを紹介する。 また、マルチタスク学習フレームワークを介してAIレビュー検出を行うCoCoDetを開発し、レビューコンテンツにおけるAIのより正確で堅牢な検出を実現する。
  論文  参考訳（メタデータ） (2025-08-28T06:03:11Z)
• Is Your Paper Being Reviewed by an LLM? Benchmarking AI Text Detection in Peer Review [6.20631177269082]
  ピアレビュープロセスに対する新たなリスクは、Negligentレビュアーが論文をレビューするために大きな言語モデル(LLM)に依存することだ。 我々は、AIで書かれたピアレビューを、対応する人間のレビューと組み合わせた合計788,984件の包括的データセットを導入する。 我々は、この新たなリソースを使用して、既存の18のAIテキスト検出アルゴリズムが、人間が完全に書いたピアレビューと、最先端のLLMを区別する能力を評価する。
  論文  参考訳（メタデータ） (2025-02-26T23:04:05Z)
• Survey on Vision-Language-Action Models [0.2636873872510828]
  この研究は、オリジナルの研究を表現していないが、AIが文学レビューの自動化にどのように役立つかを強調している。 今後の研究は、AI支援文学レビューのための構造化されたフレームワークの開発に焦点を当てる。
  論文  参考訳（メタデータ） (2025-02-07T11:56:46Z)
• Large Language Models for Automated Literature Review: An Evaluation of Reference Generation, Abstract Writing, and Review Composition [2.048226951354646]
  大規模言語モデル(LLM)は、文学レビューを書くことに関わる複雑なプロセスを自動化するための潜在的な解決策として登場した。 本研究は,文学書記の3つの重要な課題において,LLMの性能を自動評価する枠組みを提案する。
  論文  参考訳（メタデータ） (2024-12-18T08:42:25Z)
• ResearchAgent: Iterative Research Idea Generation over Scientific Literature with Large Language Models [56.08917291606421]
  ResearchAgentは、新しい作品のアイデアと運用のためのAIベースのシステムである。 ResearchAgentは、新しい問題を自動で定義し、手法と設計実験を提案し、繰り返し修正する。 我々は、複数の分野にわたる科学論文に関するResearchAgentを実験的に検証した。
  論文  参考訳（メタデータ） (2024-04-11T13:36:29Z)
• A Literature Review of Literature Reviews in Pattern Analysis and Machine Intelligence [51.26815896167173]
  本稿では,3つの相補的な側面からPAMIレビューを総合的に分析する。 我々の分析は、現在のレビューの実践において、独特の組織パターンと永続的なギャップを明らかにします。 最後に、最先端のAI生成レビューの評価は、コヒーレンスと組織の進歩を奨励していることを示している。
  論文  参考訳（メタデータ） (2024-02-20T11:28:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。