論文の概要: Automated Literature Review Using NLP Techniques and LLM-Based Retrieval-Augmented Generation
- arxiv url: http://arxiv.org/abs/2411.18583v1
- Date: Wed, 27 Nov 2024 18:27:07 GMT
- ステータス: 翻訳完了
- システム内更新日: 2024-11-28 15:28:57.530818
- Title: Automated Literature Review Using NLP Techniques and LLM-Based Retrieval-Augmented Generation
- Title(参考訳): NLP技術とLLMに基づく検索生成を用いた自動文献レビュー
- Authors: Nurshat Fateh Ali, Md. Mahdi Mohtasim, Shakil Mosharrof, T. Gopi Krishna,
- Abstract要約: 本研究では,NLP(Natural Language Processing)技術とLarge Language Model(LLM)を用いたRAG(Research-augmented Generation)を用いて,複数の文献レビューの自動生成手法を提示し,比較する。
周波数ベースの手法(spaCy)、トランスフォーマーモデル(Simple T5)、大規模言語モデル(GPT-3.5-turbo)を用いた検索拡張生成(RAG)など、いくつかの自然言語処理(NLP)戦略の有効性を評価する。
- 参考スコア(独自算出の注目度): 0.0
- License:
- Abstract: This research presents and compares multiple approaches to automate the generation of literature reviews using several Natural Language Processing (NLP) techniques and retrieval-augmented generation (RAG) with a Large Language Model (LLM). The ever-increasing number of research articles provides a huge challenge for manual literature review. It has resulted in an increased demand for automation. Developing a system capable of automatically generating the literature reviews from only the PDF files as input is the primary objective of this research work. The effectiveness of several Natural Language Processing (NLP) strategies, such as the frequency-based method (spaCy), the transformer model (Simple T5), and retrieval-augmented generation (RAG) with Large Language Model (GPT-3.5-turbo), is evaluated to meet the primary objective. The SciTLDR dataset is chosen for this research experiment and three distinct techniques are utilized to implement three different systems for auto-generating the literature reviews. The ROUGE scores are used for the evaluation of all three systems. Based on the evaluation, the Large Language Model GPT-3.5-turbo achieved the highest ROUGE-1 score, 0.364. The transformer model comes in second place and spaCy is at the last position. Finally, a graphical user interface is created for the best system based on the large language model.
- Abstract(参考訳): 本研究は,NLP(Natural Language Processing)技術とLarge Language Model(LLM)を用いたRAG(Research-augmented Generation)を用いて,複数の文献レビューの自動生成手法を提示し,比較する。
研究論文が絶え間なく増えていることは、手作業による文献レビューにとって大きな課題だ。
その結果、自動化に対する需要が増加した。
本研究の主目的は,PDFファイルのみから文献レビューを自動的に生成するシステムの開発である。
周波数ベース手法(spaCy)、変圧器モデル(Simple T5)、Large Language Model(GPT-3.5-turbo)を用いた検索拡張生成(RAG)など、いくつかの自然言語処理(NLP)戦略の有効性を評価した。
この実験のためにSciTLDRデータセットが選択され、文献レビューの自動生成のための3つの異なるシステムを実装するために、3つの異なる技術が使用される。
ROUGEスコアは3つのシステム評価に使用される。
評価の結果,大規模言語モデル GPT-3.5-turbo が最も高い ROUGE-1 スコア 0.364。
Transformerモデルは2位で、paCyは最後の位置にある。
最後に、大きな言語モデルに基づく最良のシステムのためにグラフィカルなユーザインタフェースを作成する。
関連論文リスト
- Improving Attributed Text Generation of Large Language Models via Preference Learning [28.09715554543885]
属性タスクを選好学習としてモデル化し,自動選好最適化フレームワークを導入する。
APOは、回答品質の高い最先端の引用F1を達成する。
論文 参考訳(メタデータ) (2024-03-27T09:19:13Z) - System for systematic literature review using multiple AI agents:
Concept and an empirical evaluation [5.194208843843004]
本稿では,システム文献レビューの実施プロセスの完全自動化を目的とした,新しいマルチAIエージェントモデルを提案する。
このモデルは、研究者がトピックを入力するユーザフレンドリーなインターフェースを介して動作する。
関連する学術論文を検索するために使用される検索文字列を生成する。
モデルはこれらの論文の要約を自律的に要約する。
論文 参考訳(メタデータ) (2024-03-13T10:27:52Z) - GPT-4V(ision) is a Human-Aligned Evaluator for Text-to-3D Generation [93.55550787058012]
本稿では,テキスト・ツー・3次元生成モデルのための自動的,汎用的,人為的アライメント評価指標を提案する。
この目的のために,まずGPT-4Vを用いたプロンプト生成装置を開発し,評価プロンプトを生成する。
次に,ユーザ定義基準に従って2つの3Dアセットを比較することをGPT-4Vに指示する手法を設計する。
論文 参考訳(メタデータ) (2024-01-08T18:52:09Z) - A Simple yet Efficient Ensemble Approach for AI-generated Text Detection [0.5840089113969194]
大規模言語モデル(LLM)は、人間の文章によく似たテキストを生成する際、顕著な能力を示した。
人工的に生成されたテキストと人間が作成したテキストを区別できる自動化アプローチを構築することが不可欠である。
本稿では,複数の構成 LLM からの予測をまとめて,シンプルで効率的な解を提案する。
論文 参考訳(メタデータ) (2023-11-06T13:11:02Z) - Automated Reading Passage Generation with OpenAI's Large Language Model [0.0]
本稿では,OpenAI の最新のトランスフォーマーベース言語モデル GPT-3 を用いて読み出しパスを生成する。
既存の読み出しパスは、AI生成したテキストが第4グレードの読み出しパスに類似した内容と構造を持つことを保証するために、慎重に設計されたプロンプトに使用された。
AI生成された全ての通路は、その一貫性、第4学年への適切性、可読性に応じて、人間の裁判官によって評価された。
論文 参考訳(メタデータ) (2023-04-10T14:30:39Z) - Application of Transformers based methods in Electronic Medical Records:
A Systematic Literature Review [77.34726150561087]
本研究は,異なるNLPタスクにおける電子カルテ(EMR)のトランスフォーマーに基づく手法を用いて,最先端技術に関する体系的な文献レビューを行う。
論文 参考訳(メタデータ) (2023-04-05T22:19:42Z) - Large Language Models in the Workplace: A Case Study on Prompt
Engineering for Job Type Classification [58.720142291102135]
本研究では,実環境における職種分類の課題について検討する。
目標は、英語の求職が卒業生やエントリーレベルの地位に適切かどうかを判断することである。
論文 参考訳(メタデータ) (2023-03-13T14:09:53Z) - Recitation-Augmented Language Models [85.30591349383849]
知識集約型NLPタスクにおいて,RECITEは強力なパラダイムであることを示す。
具体的には、リサイクリングを中間ステップとして活用することにより、新しい最先端性能を実現することができることを示す。
論文 参考訳(メタデータ) (2022-10-04T00:49:20Z) - ELEVATER: A Benchmark and Toolkit for Evaluating Language-Augmented
Visual Models [102.63817106363597]
ELEVATERは、事前訓練された言語拡張ビジュアルモデルの比較と評価を行う最初のベンチマークである。
20の画像分類データセットと35のオブジェクト検出データセットで構成され、それぞれが外部知識で拡張されている。
研究コミュニティ向けのツールキットと評価プラットフォームをリリースします。
論文 参考訳(メタデータ) (2022-04-19T10:23:42Z) - Few-Shot Named Entity Recognition: A Comprehensive Study [92.40991050806544]
マルチショット設定のモデル一般化能力を向上させるための3つの手法を検討する。
ラベル付きデータの比率の異なる10の公開nerデータセットについて経験的比較を行う。
マルチショットとトレーニングフリーの両方の設定で最新の結果を作成します。
論文 参考訳(メタデータ) (2020-12-29T23:43:16Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。