論文の概要: Large Language Models on Wikipedia-Style Survey Generation: an Evaluation in NLP Concepts

• arxiv url: http://arxiv.org/abs/2308.10410v4
• Date: Thu, 23 May 2024 12:42:06 GMT
• ステータス: 処理完了
• システム内更新日: 2024-05-26 21:02:52.380517
• Title: Large Language Models on Wikipedia-Style Survey Generation: an Evaluation in NLP Concepts
• Title（参考訳）: ウィキペディアスタイルサーベイ生成における大規模言語モデル:NLP概念の評価
• Authors: Fan Gao, Hang Jiang, Rui Yang, Qingcheng Zeng, Jinghui Lu, Moritz Blum, Dairui Liu, Tianwei She, Yuang Jiang, Irene Li,
• Abstract要約: 大規模言語モデル(LLM)は、様々な一般的なタスクで大きな成功を収めた。 本研究では,コンピュータ科学におけるNLPのニッチ分野に特有な簡潔な調査項目を生成する上で,LCMsの有効性について検討する。 人間の評価スコアとGPTによる評価スコアを比較し,詳細な分析を行った。
• 参考スコア（独自算出の注目度）: 21.150221839202878
• License: http://creativecommons.org/publicdomain/zero/1.0/
• Abstract: Educational materials such as survey articles in specialized fields like computer science traditionally require tremendous expert inputs and are therefore expensive to create and update. Recently, Large Language Models (LLMs) have achieved significant success across various general tasks. However, their effectiveness and limitations in the education domain are yet to be fully explored. In this work, we examine the proficiency of LLMs in generating succinct survey articles specific to the niche field of NLP in computer science, focusing on a curated list of 99 topics. Automated benchmarks reveal that GPT-4 surpasses its predecessors, inluding GPT-3.5, PaLM2, and LLaMa2 by margins ranging from 2% to 20% in comparison to the established ground truth. We compare both human and GPT-based evaluation scores and provide in-depth analysis. While our findings suggest that GPT-created surveys are more contemporary and accessible than human-authored ones, certain limitations were observed. Notably, GPT-4, despite often delivering outstanding content, occasionally exhibited lapses like missing details or factual errors. At last, we compared the rating behavior between humans and GPT-4 and found systematic bias in using GPT evaluation.
• Abstract（参考訳）: コンピュータ科学などの専門分野における調査記事などの教育資料は、伝統的に膨大な専門家の入力を必要とするため、作成と更新に費用がかかる。 近年、Large Language Models (LLM) は様々な一般的なタスクで大きな成功を収めている。 しかし、教育領域におけるそれらの効果と限界は、まだ完全には解明されていない。 本研究では,コンピュータ科学におけるNLPのニッチ分野に特有な簡潔な調査項目を生成する上でのLCMの習熟度について検討し,99トピックのキュレートされたリストに着目した。 自動ベンチマークの結果、GPT-4はGPT-3.5、PaLM2、LLaMa2を2%から20%のマージンで導入した。 我々は,人間とGPTによる評価スコアを比較し,詳細な分析を行う。 以上の結果から,GPTによる調査は人間による調査よりも現代的でアクセスしやすいことが示唆されるが,一定の限界が認められた。 特に、GPT-4は、しばしば優れたコンテンツを配信しているにもかかわらず、時に詳細や事実の誤りのような経過を見せた。 最終的に,人間とGPT-4の格付け行動を比較し,GPT評価の体系的偏りを見出した。

関連論文リスト

• An Empirical Analysis on Large Language Models in Debate Evaluation [10.677407097411768]
  GPT-3.5 や GPT-4 のような先進大言語モデル (LLM) の機能と固有バイアスを議論評価の文脈で検討する。 GPT-3.5 と GPT-4 の両者に一貫した偏りがみられた。 また, GPT-3.5 および GPT-4 の語彙バイアスも明らかにした。
  論文  参考訳（メタデータ） (2024-05-28T18:34:53Z)
• Can large language models replace humans in the systematic review process? Evaluating GPT-4's efficacy in screening and extracting data from peer-reviewed and grey literature in multiple languages [0.0]
  本研究は, GPT-4のタイトル/サブトラクションスクリーニング, フルテキストレビュー, およびデータ抽出能力について, ヒューマン・アウト・オブ・ザ・ループ(Human-out-of-the-loop)アプローチを用いて評価した。 GPT-4は、ほとんどのタスクにおいて人間のパフォーマンスと同等の精度を持っていたが、結果は偶然の合意とデータセットの不均衡によって歪められた。 信頼性の高いプロンプトを用いたフルテキスト文学のスクリーニングでは、GPT-4の性能は「ほぼ完璧」であった。
  論文  参考訳（メタデータ） (2023-10-26T16:18:30Z)
• Can large language models provide useful feedback on research papers? A large-scale empirical analysis [38.905758846360435]
  高品質なピアレビューは入手がますます困難になっている。 GPT-4のような大規模言語モデル(LLM)のブレークスルーにより、科学的なフィードバックを得るためにLLMを使うことへの関心が高まっている。 我々はGPT-4を用いた自動パイプラインを作成し、科学論文の全PDFにコメントを提供した。
  論文  参考訳（メタデータ） (2023-10-03T04:14:17Z)
• DecodingTrust: A Comprehensive Assessment of Trustworthiness in GPT Models [92.6951708781736]
  本稿では,GPT-4とGPT-3.5に着目した大規模言語モデルの総合的信頼性評価を提案する。 GPTモデルは、有害で偏りのある出力を生成し、個人情報を漏らすために、容易に誤解され得る。 我々の研究は、GPTモデルの総合的な信頼性評価を示し、信頼性のギャップに光を当てている。
  論文  参考訳（メタデータ） (2023-06-20T17:24:23Z)
• Thrilled by Your Progress! Large Language Models (GPT-4) No Longer Struggle to Pass Assessments in Higher Education Programming Courses [0.0]
  GPTモデルは、典型的なプログラミングクラスの評価が完全に失敗することから、人間の関与なしにコースを確実に通過することへと進化した。 本研究は,学習者が合格点の収集に利用できる使い勝手の良い技術が存在する世界に備える必要があることを示すものである。
  論文  参考訳（メタデータ） (2023-06-15T22:12:34Z)
• Is GPT-4 a Good Data Analyst? [67.35956981748699]
  我々は、GPT-4を、広範囲のドメインのデータベースでエンドツーエンドのデータ分析を行うためのデータ分析であると考えている。 我々は,複数の専門家データアナリストとGPT-4のパフォーマンスを体系的に比較するために,タスク固有の評価指標を設計する。 実験の結果, GPT-4はヒトに匹敵する性能を示した。
  論文  参考訳（メタデータ） (2023-05-24T11:26:59Z)
• Exploring the Trade-Offs: Unified Large Language Models vs Local Fine-Tuned Models for Highly-Specific Radiology NLI Task [49.50140712943701]
  NLIタスクにおけるChatGPT/GPT-4の性能評価を行い、タスク関連データサンプルに特化して微調整された他のモデルと比較する。 また,ChatGPT/GPT-4の推論能力について,様々な推論難易度を導入して総合的な調査を行った。
  論文  参考訳（メタデータ） (2023-04-18T17:21:48Z)
• AGIEval: A Human-Centric Benchmark for Evaluating Foundation Models [122.63704560157909]
  我々は,人間中心の標準化試験の文脈で基礎モデルを評価するために設計された新しいベンチマークであるAGIEvalを紹介する。 GPT-4, ChatGPT, Text-Davinci-003 など,最先端基盤モデルの評価を行った。 GPT-4はSAT、LSAT、数学の競争で平均的な人事成績を上回り、SAT Mathテストでは95%の精度で、中国国立大学入試では92.5%の精度で合格している。
  論文  参考訳（メタデータ） (2023-04-13T09:39:30Z)
• GPT-4 Technical Report [116.90398195245983]
  GPT-4は大規模なマルチモーダルモデルであり、画像やテキストの入力を受け取り、テキスト出力を生成することができる。 試験受験者の上位10%のスコアで模擬試験に合格するなど、さまざまな専門的、学術的なベンチマークで人間レベルのパフォーマンスを示す。
  論文  参考訳（メタデータ） (2023-03-15T17:15:04Z)
• Prompting GPT-3 To Be Reliable [117.23966502293796]
  この研究は信頼性を一般化可能性、公平性、校正性、事実性という4つの側面に分解する。 GPT-3はこれらすべての面において,より小型の教師付きモデルよりも優れた性能を示す。
  論文  参考訳（メタデータ） (2022-10-17T14:52:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。