論文の概要: GPT vs Human for Scientific Reviews: A Dual Source Review on Applications of ChatGPT in Science

• arxiv url: http://arxiv.org/abs/2312.03769v1
• Date: Tue, 5 Dec 2023 21:41:52 GMT
• ステータス: 処理完了
• システム内更新日: 2023-12-08 17:39:16.565775
• Title: GPT vs Human for Scientific Reviews: A Dual Source Review on Applications of ChatGPT in Science
• Title（参考訳）: GPT vs Human for Scientific Reviews: A Dual Source Review on Applications of ChatGPT in Science
• Authors: Chenxi Wu, Alan John Varghese, Vivek Oommen, George Em Karniadakis
• Abstract要約: 我々は、人間レビュアーと大規模な言語モデルSciSpaceによってレビューされた、異なる科学領域にわたる13のGPT関連論文について考察する。 客観的質問に対するSciSpaceの回答の50%は、人間レビュアーの回答と一致していることがわかった。 主観的質問では、非インフォームド評価器は、SciSpaceと人間の反応の異なる好みを示した。
• 参考スコア（独自算出の注目度）: 1.8434042562191815
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: The new polymath Large Language Models (LLMs) can speed-up greatly scientific reviews, possibly using more unbiased quantitative metrics, facilitating cross-disciplinary connections, and identifying emerging trends and research gaps by analyzing large volumes of data. However, at the present time, they lack the required deep understanding of complex methodologies, they have difficulty in evaluating innovative claims, and they are unable to assess ethical issues and conflicts of interest. Herein, we consider 13 GPT-related papers across different scientific domains, reviewed by a human reviewer and SciSpace, a large language model, with the reviews evaluated by three distinct types of evaluators, namely GPT-3.5, a crowd panel, and GPT-4. We found that 50% of SciSpace's responses to objective questions align with those of a human reviewer, with GPT-4 (informed evaluator) often rating the human reviewer higher in accuracy, and SciSpace higher in structure, clarity, and completeness. In subjective questions, the uninformed evaluators (GPT-3.5 and crowd panel) showed varying preferences between SciSpace and human responses, with the crowd panel showing a preference for the human responses. However, GPT-4 rated them equally in accuracy and structure but favored SciSpace for completeness.
• Abstract（参考訳）: 新たなポリマス大言語モデル(LLM)は、より偏りのない定量的メトリクスを使用し、学際的な接続を容易にし、大量のデータを分析することによって、新たなトレンドと研究ギャップを特定することができる。 しかし、現在では複雑な方法論の深い理解が欠如しており、革新的な主張の評価が困難であり、倫理的な問題や利害の衝突を評価できない。 本稿では, GPT-3.5, 群集パネル, GPT-4の3つの異なるタイプの評価指標を用いて, 人間のレビュアーと大きな言語モデルであるSciSpaceによるGPT関連論文13件について検討する。 客観的質問に対するSciSpaceの回答の50%は人間レビュアーの回答と一致し, GPT-4 (informed evaluator) は人間のレビュアーの精度を高く評価し, SciSpaceは構造, 明瞭度, 完全度を高く評価する。 主観的質問では,非インフォームド評価器 (GPT-3.5, 群集パネル) はSciSpaceとヒトの反応の異なる好みを示し, 群集パネルはヒトの反応の好みを示した。 しかし、GPT-4は精度と構造を同等に評価したが、完全性にはSciSpaceを好んだ。

関連論文リスト

• Evaluating GPT-4 at Grading Handwritten Solutions in Math Exams [48.99818550820575]
  我々は、最先端のマルチモーダルAIモデル、特にGPT-4oを利用して、大学レベルの数学試験に対する手書きの応答を自動的に評価する。 確率論試験における質問に対する実際の学生の反応を用いて, GPT-4oのスコアと, 様々なプロンプト技術を用いて, 人間の学級のスコアとの整合性を評価する。
  論文  参考訳（メタデータ） (2024-11-07T22:51:47Z)
• Automated Focused Feedback Generation for Scientific Writing Assistance [6.559560602099439]
  SWIF$2$T:Scientific WrIting Focused Feedback Tool。 特定の、実行可能な、一貫性のあるコメントを生成し、科学論文の弱点を特定したり、修正案を提案するように設計されている。 科学的論文の弱点を引用し,300件の査読データセットを収集し,人的評価を行う。 その結果, SWIF$2$Tのフィードバックは, 他のアプローチと比較して, 特異性, 読みやすさ, 全体的な有用性を示した。
  論文  参考訳（メタデータ） (2024-05-30T20:56:41Z)
• An Empirical Analysis on Large Language Models in Debate Evaluation [10.677407097411768]
  GPT-3.5 や GPT-4 のような先進大言語モデル (LLM) の機能と固有バイアスを議論評価の文脈で検討する。 GPT-3.5 と GPT-4 の両者に一貫した偏りがみられた。 また, GPT-3.5 および GPT-4 の語彙バイアスも明らかにした。
  論文  参考訳（メタデータ） (2024-05-28T18:34:53Z)
• Prometheus 2: An Open Source Language Model Specialized in Evaluating Other Language Models [92.66784679667441]
  プロメテウス2は、人間とGPT-4の判断を密接に反映するより強力な評価器である。 ユーザ定義評価基準でグループ化された、直接評価とペアのランキングフォーマットの両方を処理できる。 4つの直接評価ベンチマークと4つのペアのランキングベンチマークで、Prometheus 2は人間と独自のLM判事との相関と合意を最も高く評価している。
  論文  参考訳（メタデータ） (2024-05-02T17:59:35Z)
• GPT-4V(ision) is a Human-Aligned Evaluator for Text-to-3D Generation [93.55550787058012]
  本稿では,テキスト・ツー・3次元生成モデルのための自動的,汎用的,人為的アライメント評価指標を提案する。 この目的のために,まずGPT-4Vを用いたプロンプト生成装置を開発し,評価プロンプトを生成する。 次に,ユーザ定義基準に従って2つの3Dアセットを比較することをGPT-4Vに指示する手法を設計する。
  論文  参考訳（メタデータ） (2024-01-08T18:52:09Z)
• Can large language models provide useful feedback on research papers? A large-scale empirical analysis [38.905758846360435]
  高品質なピアレビューは入手がますます困難になっている。 GPT-4のような大規模言語モデル(LLM)のブレークスルーにより、科学的なフィードバックを得るためにLLMを使うことへの関心が高まっている。 我々はGPT-4を用いた自動パイプラインを作成し、科学論文の全PDFにコメントを提供した。
  論文  参考訳（メタデータ） (2023-10-03T04:14:17Z)
• Large Language Models on Wikipedia-Style Survey Generation: an Evaluation in NLP Concepts [21.150221839202878]
  大規模言語モデル(LLM)は、様々な一般的なタスクで大きな成功を収めた。 本研究では,コンピュータ科学におけるNLPのニッチ分野に特有な簡潔な調査項目を生成する上で,LCMsの有効性について検討する。 人間の評価スコアとGPTによる評価スコアを比較し,詳細な分析を行った。
  論文  参考訳（メタデータ） (2023-08-21T01:32:45Z)
• Is GPT-4 a reliable rater? Evaluating Consistency in GPT-4 Text Ratings [63.35165397320137]
  本研究では,OpenAI の GPT-4 によるフィードバック評価の整合性について検討した。 このモデルは、マクロ経済学の上級教育分野における課題に対する回答を、内容とスタイルの観点から評価した。
  論文  参考訳（メタデータ） (2023-08-03T12:47:17Z)
• Is GPT-4 a Good Data Analyst? [67.35956981748699]
  我々は、GPT-4を、広範囲のドメインのデータベースでエンドツーエンドのデータ分析を行うためのデータ分析であると考えている。 我々は,複数の専門家データアナリストとGPT-4のパフォーマンスを体系的に比較するために,タスク固有の評価指標を設計する。 実験の結果, GPT-4はヒトに匹敵する性能を示した。
  論文  参考訳（メタデータ） (2023-05-24T11:26:59Z)
• Revisiting the Gold Standard: Grounding Summarization Evaluation with Robust Human Evaluation [136.16507050034755]
  要約のための既存の人間の評価研究は、アノテータ間の合意が低かったり、スケールが不十分だったりしている。 細粒度セマンティック・ユニットをベースとした改良された要約サリエンス・プロトコルであるAtomic Content Units (ACUs)を提案する。 ロバスト・サムライゼーション・アセスメント(RoSE)ベンチマークは,28の上位性能システム上で22,000の要約レベルのアノテーションからなる大規模な人的評価データセットである。
  論文  参考訳（メタデータ） (2022-12-15T17:26:05Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。