論文の概要: Text Summarization Using Large Language Models: A Comparative Study of
MPT-7b-instruct, Falcon-7b-instruct, and OpenAI Chat-GPT Models
- arxiv url: http://arxiv.org/abs/2310.10449v2
- Date: Tue, 17 Oct 2023 19:54:16 GMT
- ステータス: 処理完了
- システム内更新日: 2023-10-19 12:39:09.703119
- Title: Text Summarization Using Large Language Models: A Comparative Study of
MPT-7b-instruct, Falcon-7b-instruct, and OpenAI Chat-GPT Models
- Title(参考訳): 大規模言語モデルを用いたテキスト要約:MPT-7b命令、Falcon-7b命令、OpenAI Chat-GPTモデルの比較検討
- Authors: Lochan Basyal and Mihir Sanghvi
- Abstract要約: Leveraging Large Language Models (LLMs) は、要約技術の強化において、顕著な将来性を示している。
本稿では,MPT-7b-instruct,falcon-7b-instruct,OpenAI ChatGPT text-davinci-003 モデルなど,多種多様な LLM を用いたテキスト要約について検討する。
- 参考スコア(独自算出の注目度): 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Text summarization is a critical Natural Language Processing (NLP) task with
applications ranging from information retrieval to content generation.
Leveraging Large Language Models (LLMs) has shown remarkable promise in
enhancing summarization techniques. This paper embarks on an exploration of
text summarization with a diverse set of LLMs, including MPT-7b-instruct,
falcon-7b-instruct, and OpenAI ChatGPT text-davinci-003 models. The experiment
was performed with different hyperparameters and evaluated the generated
summaries using widely accepted metrics such as the Bilingual Evaluation
Understudy (BLEU) Score, Recall-Oriented Understudy for Gisting Evaluation
(ROUGE) Score, and Bidirectional Encoder Representations from Transformers
(BERT) Score. According to the experiment, text-davinci-003 outperformed the
others. This investigation involved two distinct datasets: CNN Daily Mail and
XSum. Its primary objective was to provide a comprehensive understanding of the
performance of Large Language Models (LLMs) when applied to different datasets.
The assessment of these models' effectiveness contributes valuable insights to
researchers and practitioners within the NLP domain. This work serves as a
resource for those interested in harnessing the potential of LLMs for text
summarization and lays the foundation for the development of advanced
Generative AI applications aimed at addressing a wide spectrum of business
challenges.
- Abstract(参考訳): テキスト要約は、情報検索からコンテンツ生成まで幅広いアプリケーションに対して重要な自然言語処理(NLP)タスクである。
Leveraging Large Language Models (LLMs) は、要約技術の強化において、顕著な将来性を示している。
本稿では,mpt-7b-instruct,falcon-7b-instruct,openai chatgpt text-davinci-003 モデルを含む多種多様な llm を用いたテキスト要約の探索を行った。
実験は,異なるハイパーパラメータを用いて実施し,多言語評価アンダースタディ(bleu)スコア,ジェクション評価のためのリコール指向アンダースタディ(rouge)スコア,トランスフォーマー(bert)スコアからの双方向エンコーダ表現など,広く受け入れられた指標を用いて生成要約を評価した。
実験によると、text-davinci-003は他より優れていた。
この調査にはCNN Daily MailとXSumという2つの異なるデータセットが含まれていた。
その主な目的は、異なるデータセットに適用した場合に、LLM(Large Language Models)のパフォーマンスを包括的に理解することであった。
これらのモデルの有効性を評価することは、NLPドメイン内の研究者や実践者に貴重な洞察をもたらす。
この研究は、テキスト要約にllmの可能性を活用したい人のためのリソースとなり、幅広いビジネス課題に対処するための高度な生成aiアプリケーションの開発の基礎を築いている。
関連論文リスト
- GPT Struct Me: Probing GPT Models on Narrative Entity Extraction [2.049592435988883]
我々は,2つの最先端言語モデル(GPT-3とGPT-3.5)の物語の抽出能力を評価する。
本研究はポルトガルの119のニュース記事を集めたText2Story Lusaデータセットを用いて行った。
論文 参考訳(メタデータ) (2023-11-24T16:19:04Z) - GIELLM: Japanese General Information Extraction Large Language Model
Utilizing Mutual Reinforcement Effect [0.0]
汎用情報抽出大言語モデル(GIELLM)について紹介する。
テキスト分類、感性分析、名前付きエンティティ認識、関係抽出、および一様入力出力スキーマを使用したイベント抽出を統合している。
このイノベーションは、このような多様なIEサブタスクを同時に扱うモデルの最初の例である。
論文 参考訳(メタデータ) (2023-11-12T13:30:38Z) - A Simple yet Efficient Ensemble Approach for AI-generated Text Detection [0.5840089113969194]
大規模言語モデル(LLM)は、人間の文章によく似たテキストを生成する際、顕著な能力を示した。
人工的に生成されたテキストと人間が作成したテキストを区別できる自動化アプローチを構築することが不可欠である。
本稿では,複数の構成 LLM からの予測をまとめて,シンプルで効率的な解を提案する。
論文 参考訳(メタデータ) (2023-11-06T13:11:02Z) - CoAnnotating: Uncertainty-Guided Work Allocation between Human and Large
Language Models for Data Annotation [94.59630161324013]
本稿では,非構造化テキストの大規模共同アノテーションのための新しいパラダイムであるCoAnnotatingを提案する。
我々の実証研究は、CoAnnotatingが、異なるデータセット上の結果から作業を割り当てる効果的な手段であることを示し、ランダムベースラインよりも最大21%のパフォーマンス改善を実現している。
論文 参考訳(メタデータ) (2023-10-24T08:56:49Z) - Can Text-based Knowledge Graph Completion Benefit From Zero-Shot Large
Language Models? [10.56565195524981]
大規模言語モデル(LLM)は、NLPタスクにおいて顕著に改善されている。
本研究では,より効率的なテキスト記述がモデル性能を増幅できるかどうかを考察する。
論文 参考訳(メタデータ) (2023-10-12T12:31:23Z) - Document-Level Machine Translation with Large Language Models [91.03359121149595]
大規模言語モデル(LLM)は、様々な自然言語処理(NLP)タスクに対して、一貫性、凝集性、関連性、流動性のある回答を生成することができる。
本稿では,LLMの談話モデルにおける能力について詳細に評価する。
論文 参考訳(メタデータ) (2023-04-05T03:49:06Z) - Large Language Models are Diverse Role-Players for Summarization
Evaluation [82.31575622685902]
文書要約の品質は、文法や正しさといった客観的な基準と、情報性、簡潔さ、魅力といった主観的な基準で人間の注釈者によって評価することができる。
BLUE/ROUGEのような自動評価手法のほとんどは、上記の次元を適切に捉えることができないかもしれない。
目的と主観の両面から生成されたテキストと参照テキストを比較し,総合的な評価フレームワークを提供するLLMに基づく新しい評価フレームワークを提案する。
論文 参考訳(メタデータ) (2023-03-27T10:40:59Z) - Large Language Models Are Latent Variable Models: Explaining and Finding
Good Demonstrations for In-Context Learning [104.58874584354787]
近年,事前学習型大規模言語モデル (LLM) は,インコンテキスト学習(in-context learning)として知られる推論時少数ショット学習能力を実現する上で,顕著な効率性を示している。
本研究では,現実のLLMを潜在変数モデルとみなし,ベイズレンズによる文脈内学習現象を考察することを目的とする。
論文 参考訳(メタデータ) (2023-01-27T18:59:01Z) - Ensemble Transfer Learning for Multilingual Coreference Resolution [60.409789753164944]
非英語で作業する場合に頻繁に発生する問題は、注釈付きトレーニングデータの不足である。
我々は,様々なトランスファー学習技術を組み合わせた,シンプルだが効果的なアンサンブルベースのフレームワークを設計する。
また、ウィキペディアアンカーテキストを利用して、コア参照解決モデルをブートストラップする低コストのTL手法を提案する。
論文 参考訳(メタデータ) (2023-01-22T18:22:55Z) - Understanding BLOOM: An empirical study on diverse NLP tasks [3.884530687475798]
本稿では,様々な自然言語処理タスクにおいて,より小さなBLOOMモデル変種の評価を行う。
BLOOMは、すべてのGLUEタスク(WNLIを除く)、質問応答、テキスト生成で性能が低い。
WNLIでは56.3%の精度で、MIT MoviesやATISのデータセットでプロンプトベースの数発のテキスト抽出が可能である。
論文 参考訳(メタデータ) (2022-11-27T15:48:14Z) - Abstractive Summarization of Spoken and Written Instructions with BERT [66.14755043607776]
本稿では,BERTSumモデルの最初の対話型言語への応用について述べる。
我々は多種多様な話題にまたがるナレーションビデオの抽象要約を生成する。
我々は、これをインテリジェントな仮想アシスタントの機能として統合し、要求に応じて文字と音声の両方の指導内容の要約を可能にすることを想定する。
論文 参考訳(メタデータ) (2020-08-21T20:59:34Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。