論文の概要: Is ChatGPT a Biomedical Expert? -- Exploring the Zero-Shot Performance of Current GPT Models in Biomedical Tasks

• arxiv url: http://arxiv.org/abs/2306.16108v2
• Date: Mon, 24 Jul 2023 08:14:44 GMT
• ステータス: 処理完了
• システム内更新日: 2023-07-25 20:47:31.927800
• Title: Is ChatGPT a Biomedical Expert? -- Exploring the Zero-Shot Performance of Current GPT Models in Biomedical Tasks
• Title（参考訳）: ChatGPTは医療専門家か? バイオメディカルタスクにおける現行GPTモデルのゼロショット性能の探索
• Authors: Samy Ateia, Udo Kruschwitz
• Abstract要約: GPT-3.5-TurboとGPT-4は主要なシステムと競合する能力を示した。 より古く安価なGPT-3.5-Turboシステムは、地上のQ&A設定でGPT-4と競合することができた。
• 参考スコア（独自算出の注目度）: 4.2177790395417745
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We assessed the performance of commercial Large Language Models (LLMs) GPT-3.5-Turbo and GPT-4 on tasks from the 2023 BioASQ challenge. In Task 11b Phase B, which is focused on answer generation, both models demonstrated competitive abilities with leading systems. Remarkably, they achieved this with simple zero-shot learning, grounded with relevant snippets. Even without relevant snippets, their performance was decent, though not on par with the best systems. Interestingly, the older and cheaper GPT-3.5-Turbo system was able to compete with GPT-4 in the grounded Q&A setting on factoid and list answers. In Task 11b Phase A, focusing on retrieval, query expansion through zero-shot learning improved performance, but the models fell short compared to other systems. The code needed to rerun these experiments is available through GitHub.
• Abstract（参考訳）: 商業用大規模言語モデル (LLMs) GPT-3.5-Turbo と GPT-4 の性能を2023年のBioASQ課題から評価した。 回答生成に焦点を当てたタスク11bフェーズbでは、両方のモデルがリードシステムとの競合能力を示した。 注目すべきは、単純なゼロショット学習でこれを達成したことだ。 関連したスニペットがなくても、パフォーマンスは良好だったが、最高のシステムと同等ではなかった。 興味深いことに、より古く安価なGPT-3.5-Turboシステムでは、ファクトイドとリストの回答に基づいたQ&A設定でGPT-4と競合することができた。 タスク11bのフェーズAでは、検索に焦点を当てたゼロショット学習によるクエリ拡張により、性能が向上したが、他のシステムに比べてモデルは低下した。 これらの実験を再実行するのに必要なコードはGitHubから入手できる。

関連論文リスト

• RankRAG: Unifying Context Ranking with Retrieval-Augmented Generation in LLMs [60.38044044203333]
  大規模言語モデル(LLM)は、通常、検索拡張生成(RAG)において、レトリバーからトップkコンテキストを利用する。 本稿では,RAGにおける文脈ランク付けと回答生成の両目的のために,単一のLLMをチューニング可能な新しい命令微調整フレームワークであるRanRAGを提案する。 例えば、GPT-4-0613, GPT-4-turbo-2024-0409, ChatQA-1.5, RAGベンチマークの最先端性能を備えたオープンソースモデルなどである。
  論文  参考訳（メタデータ） (2024-07-02T17:59:17Z)
• Generative AI for Enhancing Active Learning in Education: A Comparative Study of GPT-3.5 and GPT-4 in Crafting Customized Test Questions [2.0411082897313984]
  本研究では, LLM, 特に GPT-3.5 と GPT-4 が, グレード9の算数に適した質問をいかに展開できるかを検討する。 反復的手法を用いることで、これらのモデルは、シミュレーションされた「学生」モデルからのフィードバックに応じて、難易度と内容に基づいて質問を調整する。
  論文  参考訳（メタデータ） (2024-06-20T00:25:43Z)
• ChatQA: Surpassing GPT-4 on Conversational QA and RAG [43.34692996785167]
  検索強化世代(RAG)と会話型質問応答(QA)においてGPT-4より優れたモデル群であるChatQAを紹介する。 効率的な検索のために,対話型QAに最適化された高密度検索手法を導入する。 提案するChatRAG Benchは、RAG、テーブル関連QA、算術計算、および解決不可能な質問を含むシナリオに関する総合的な評価を含む10のデータセットを含む。
  論文  参考訳（メタデータ） (2024-01-18T18:59:11Z)
• Rank-without-GPT: Building GPT-Independent Listwise Rerankers on Open-Source Large Language Models [59.52207546810294]
  大型言語モデル(LLM)に基づくリストワイズリランカはゼロショットの最先端である。 本研究では,GPTに依存しないリストワイズリランカを初めて構築する。 GPT-3.5に基づくリストワイド・リランカを13%上回り, GPT-4をベースとしたリストワイド・リランカの97%の有効性を実現した。
  論文  参考訳（メタデータ） (2023-12-05T18:57:40Z)
• GPT4Vis: What Can GPT-4 Do for Zero-shot Visual Recognition? [82.40761196684524]
  本稿では,ゼロショット視覚認識タスクにおけるGPT-4の言語的・視覚的能力の評価に焦点を当てる。 我々は、画像、ビデオ、点群にわたるGPT-4の性能を評価するための広範な実験を行った。 言語記述が充実したGPT-4はゼロショット認識を著しく改善した。
  論文  参考訳（メタデータ） (2023-11-27T11:29:10Z)
• Large Language Models and Prompt Engineering for Biomedical Query Focused Multi-Document Summarisation [0.565658124285176]
  本稿では, バイオメディカルクエリに着目した多文書要約におけるプロンプトエンジニアリングとGPT-3.5の使用について報告する。 GPT-3.5と適切なプロンプトを用いて,システムトップのROUGE-F1は,バイオメディカルな質問に対する短期的な回答を得ることが課題である。
  論文  参考訳（メタデータ） (2023-11-09T06:45:04Z)
• RankVicuna: Zero-Shot Listwise Document Reranking with Open-Source Large Language Models [56.51705482912727]
  ゼロショット設定で高品質なリストワイドのランク付けを行うことができる初の完全オープンソースLCMである RankVicuna を提示する。 TREC 2019と2020 Deep Learning Tracksの実験結果から,GPT-4のゼロショットリランクに匹敵する効果が得られ,GPT-3.5よりもはるかに小さい7Bパラメータモデルが得られた。
  論文  参考訳（メタデータ） (2023-09-26T17:31:57Z)
• InheritSumm: A General, Versatile and Compact Summarizer by Distilling from GPT [75.29359361404073]
  InheritSummは、蒸留によりGPT-3.5から派生した汎用的でコンパクトな要約モデルである。 GPT-3.5と同様、ゼロショットやスプリットショットの設定でパフォーマンスが向上する。
  論文  参考訳（メタデータ） (2023-05-22T14:52:32Z)
• GPT-3.5, GPT-4, or BARD? Evaluating LLMs Reasoning Ability in Zero-Shot Setting and Performance Boosting Through Prompts [0.0]
  大規模言語モデル(LLM)は、様々な自然言語処理(NLP)タスクにおいて顕著な性能を示した。 本稿では, GPT-3.5, GPT-4, BARDモデルの性能について, 様々な推論タスクについて, 徹底的な技術的評価を行うことにより検討する。
  論文  参考訳（メタデータ） (2023-05-21T14:45:17Z)
• Analyzing the Performance of GPT-3.5 and GPT-4 in Grammatical Error Correction [28.58384091374763]
  GPT-3とGPT-4モデルは強力で、様々な自然言語処理タスクで高い性能を発揮する。 GPT-3.5 モデル (text-davinci-003) と GPT-4 モデル (gpt-4-0314) の機能を GEC ベンチマークで検証した。 BEA-2019およびJFLEGデータセットにおける最良プロンプトの性能について報告する。
  論文  参考訳（メタデータ） (2023-03-25T03:08:49Z)
• Sparks of Artificial General Intelligence: Early experiments with GPT-4 [66.1188263570629]
  OpenAIが開発したGPT-4は、前例のない規模の計算とデータを使って訓練された。 我々は, GPT-4が数学, コーディング, ビジョン, 医学, 法学, 心理学などにまたがる, 新規で困難な課題を解くことを実証した。 我々は、GPT-4を人工知能(AGI)システムの早期(まだ未完成)版と見なすことができると信じている。
  論文  参考訳（メタデータ） (2023-03-22T16:51:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。