論文の概要: ChatCite: LLM Agent with Human Workflow Guidance for Comparative Literature Summary

• arxiv url: http://arxiv.org/abs/2403.02574v1
• Date: Tue, 5 Mar 2024 01:13:56 GMT
• ステータス: 処理完了
• システム内更新日: 2024-03-06 16:41:17.270632
• Title: ChatCite: LLM Agent with Human Workflow Guidance for Comparative Literature Summary
• Title（参考訳）: chatcite: 比較文献要約のためのヒューマンワークフローガイダンス付きllmエージェント
• Authors: Yutong Li, Lu Chen, Aiwei Liu, Kai Yu, Lijie Wen
• Abstract要約: ChatCiteは、人間によるワークフローガイダンスを備えたLLMエージェントで、比較文学の要約を提供する。 ChatCiteエージェントは実験において様々な次元で他のモデルよりも優れていた。 ChatCiteが生成した文献要約は、文学レビューの起草にも直接使用することができる。
• 参考スコア（独自算出の注目度）: 30.409552944905915
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The literature review is an indispensable step in the research process. It provides the benefit of comprehending the research problem and understanding the current research situation while conducting a comparative analysis of prior works. However, literature summary is challenging and time consuming. The previous LLM-based studies on literature review mainly focused on the complete process, including literature retrieval, screening, and summarization. However, for the summarization step, simple CoT method often lacks the ability to provide extensive comparative summary. In this work, we firstly focus on the independent literature summarization step and introduce ChatCite, an LLM agent with human workflow guidance for comparative literature summary. This agent, by mimicking the human workflow, first extracts key elements from relevant literature and then generates summaries using a Reflective Incremental Mechanism. In order to better evaluate the quality of the generated summaries, we devised a LLM-based automatic evaluation metric, G-Score, in refer to the human evaluation criteria. The ChatCite agent outperformed other models in various dimensions in the experiments. The literature summaries generated by ChatCite can also be directly used for drafting literature reviews.
• Abstract（参考訳）: 文献レビューは研究プロセスにおいて不可欠のステップである。 先行研究の比較分析を行いながら、研究問題を理解し、現在の研究状況を理解する利点を提供する。 しかし、文献の要約は困難で時間を要する。 前回のllmに基づく文献レビュー研究は,文献検索,スクリーニング,要約を含む全過程に焦点を当てた。 しかし、要約の段階では、単純なCoT法は広範囲な比較要約を提供する能力に欠けることが多い。 そこで本研究では,まず独立した文献要約のステップに注目し,人間によるワークフローガイダンスを備えたLLMエージェントChatCiteを紹介する。 このエージェントは、人間のワークフローを模倣して、まず関連する文献からキー要素を抽出し、リフレクティブインクリメンタルメカニズムを用いて要約を生成する。 生成した要約の質をよりよく評価するために,人間の評価基準を参考に,LLMに基づく自動評価指標Gスコアを考案した。 チャットチングエージェントは実験で他のモデルよりも様々な次元で優れていた。 ChatCiteが生成した文献要約は、文学レビューの起草にも直接利用できる。

関連論文リスト

• Are LLMs Good Literature Review Writers? Evaluating the Literature Review Writing Ability of Large Language Models [2.048226951354646]
  本稿では,大規模言語モデルの文献レビュー作成能力を自動評価するフレームワークを提案する。 我々は,3つのタスク(参照の生成,要約の執筆,文献レビューの執筆)でLLMの性能を評価する。
  論文  参考訳（メタデータ） (2024-12-18T08:42:25Z)
• LLMs for Literature Review: Are we there yet? [15.785989492351684]
  本稿では,近年の大規模言語モデルのゼロショット能力について,要約に基づく文献レビューの執筆支援について考察する。 まず LLM を用いて,論文の要約から意味のあるキーワードを抽出する新しい2段階探索手法を提案する。 生成段階では、まずレビューの計画を概説し、次に実際のレビューを生成するためのステップを実行する2段階のアプローチを提案する。
  論文  参考訳（メタデータ） (2024-12-15T01:12:26Z)
• Leveraging Large Language Models for Comparative Literature Summarization with Reflective Incremental Mechanisms [44.99833362998488]
  ChatCiteは、比較文学要約を生成するために大きな言語モデル(LLM)を利用する新しい方法である。 注釈付き要約付き1000の研究論文からなるカスタムデータセットCompLit-LongContext上でChatCiteを評価する。
  論文  参考訳（メタデータ） (2024-12-03T04:09:36Z)
• LLAssist: Simple Tools for Automating Literature Review Using Large Language Models [0.0]
  LLAssistは学術研究における文献レビューの合理化を目的としたオープンソースツールである。 レビュープロセスの重要な側面を自動化するために、Large Language Models(LLM)とNatural Language Processing(NLP)技術を使用する。
  論文  参考訳（メタデータ） (2024-07-19T02:48:54Z)
• A Comparative Study of Quality Evaluation Methods for Text Summarization [0.5512295869673147]
  本稿では,大規模言語モデル(LLM)に基づくテキスト要約評価手法を提案する。 以上の結果から,LLMの評価は人間の評価と密接に一致しているが,ROUGE-2,BERTScore,SummaCなどの広く使用されている自動測定値には一貫性がない。
  論文  参考訳（メタデータ） (2024-06-30T16:12:37Z)
• ResearchAgent: Iterative Research Idea Generation over Scientific Literature with Large Language Models [56.08917291606421]
  ResearchAgentは、新しい作品のアイデアと運用のためのAIベースのシステムである。 ResearchAgentは、新しい問題を自動で定義し、手法と設計実験を提案し、繰り返し修正する。 我々は、複数の分野にわたる科学論文に関するResearchAgentを実験的に検証した。
  論文  参考訳（メタデータ） (2024-04-11T13:36:29Z)
• Information-Theoretic Distillation for Reference-less Summarization [67.51150817011617]
  本稿では,要約のための情報理論的目的に基づいて,強力な要約器を蒸留する新しい枠組みを提案する。 我々は,教師モデルとしてPythia-2.8Bから出発する。 我々は,ChatGPTと競合する5億8800万のパラメータしか持たないコンパクトだが強力な要約器に到達した。
  論文  参考訳（メタデータ） (2024-03-20T17:42:08Z)
• Summarization is (Almost) Dead [49.360752383801305]
  我々は,大規模言語モデル(LLM)のゼロショット生成能力を評価するため,新しいデータセットを開発し,人間による評価実験を行う。 本研究は, 微調整モデルにより生成した要約や要約よりも, LLM生成要約に対する人間の評価において, 明らかな優位性を示した。
  論文  参考訳（メタデータ） (2023-09-18T08:13:01Z)
• Bias and Fairness in Large Language Models: A Survey [73.87651986156006]
  本稿では,大規模言語モデル(LLM)のバイアス評価と緩和手法に関する総合的な調査を行う。 まず、自然言語処理における社会的偏見と公平性の概念を統合し、形式化し、拡張する。 次に,3つの直感的な2つのバイアス評価法と1つの緩和法を提案し,文献を統一する。
  論文  参考訳（メタデータ） (2023-09-02T00:32:55Z)
• Benchmarking Large Language Models for News Summarization [79.37850439866938]
  大規模言語モデル(LLM)は自動要約を約束しているが、その成功の背景にある理由はよく分かっていない。 LLMのゼロショット要約能力の鍵は、モデルサイズではなく、命令チューニングにある。
  論文  参考訳（メタデータ） (2023-01-31T18:46:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。