論文の概要: Vision-Language and Large Language Model Performance in Gastroenterology: GPT, Claude, Llama, Phi, Mistral, Gemma, and Quantized Models

• arxiv url: http://arxiv.org/abs/2409.00084v2
• Date: Wed, 4 Sep 2024 08:22:28 GMT
• ステータス: 処理完了
• システム内更新日: 2024-09-06 17:07:21.821598
• Title: Vision-Language and Large Language Model Performance in Gastroenterology: GPT, Claude, Llama, Phi, Mistral, Gemma, and Quantized Models
• Title（参考訳）: GPT, Claude, Llama, Phi, Mistral, Gemma, Quantized Models
• Authors: Seyed Amir Ahmad Safavi-Naini, Shuhaib Ali, Omer Shahab, Zahra Shahhoseini, Thomas Savage, Sara Rafiee, Jamil S Samaan, Reem Al Shabeeb, Farah Ladak, Jamie O Yang, Juan Echavarria, Sumbal Babar, Aasma Shaukat, Samuel Margolis, Nicholas P Tatonetti, Girish Nadkarni, Bara El Kurdi, Ali Soroush,
• Abstract要約: 本研究では,大言語モデル (LLMs) と視覚言語モデル (VLMs) の胃腸科学における医学的推論性能を評価する。 我々は,300の胃腸科検査式多票質問紙を使用し,そのうち138は画像を含んでいた。
• 参考スコア（独自算出の注目度）: 0.06555599394344236
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Background and Aims: This study evaluates the medical reasoning performance of large language models (LLMs) and vision language models (VLMs) in gastroenterology. Methods: We used 300 gastroenterology board exam-style multiple-choice questions, 138 of which contain images to systematically assess the impact of model configurations and parameters and prompt engineering strategies utilizing GPT-3.5. Next, we assessed the performance of proprietary and open-source LLMs (versions), including GPT (3.5, 4, 4o, 4omini), Claude (3, 3.5), Gemini (1.0), Mistral, Llama (2, 3, 3.1), Mixtral, and Phi (3), across different interfaces (web and API), computing environments (cloud and local), and model precisions (with and without quantization). Finally, we assessed accuracy using a semiautomated pipeline. Results: Among the proprietary models, GPT-4o (73.7%) and Claude3.5-Sonnet (74.0%) achieved the highest accuracy, outperforming the top open-source models: Llama3.1-405b (64%), Llama3.1-70b (58.3%), and Mixtral-8x7b (54.3%). Among the quantized open-source models, the 6-bit quantized Phi3-14b (48.7%) performed best. The scores of the quantized models were comparable to those of the full-precision models Llama2-7b, Llama2--13b, and Gemma2-9b. Notably, VLM performance on image-containing questions did not improve when the images were provided and worsened when LLM-generated captions were provided. In contrast, a 10% increase in accuracy was observed when images were accompanied by human-crafted image descriptions. Conclusion: In conclusion, while LLMs exhibit robust zero-shot performance in medical reasoning, the integration of visual data remains a challenge for VLMs. Effective deployment involves carefully determining optimal model configurations, encouraging users to consider either the high performance of proprietary models or the flexible adaptability of open-source models.
• Abstract（参考訳）: 背景と課題: 胃腸科における大型言語モデル(LLM)と視覚言語モデル(VLM)の医学的推論性能を評価する。 方法:300項目の胃腸科試験式多票質問紙を用いた。そのうち138項目は,モデル構成とパラメータの影響を体系的に評価し,GPT-3.5を用いたエンジニアリング戦略を推進した。 次に, GPT (3.5, 4, 4o, 4omini), Claude (3, 3.5), Gemini (1.0), Mistral, Llama (2, 3, 3.1), Mixtral, Phi (3), さまざまなインターフェース (Web と API), コンピューティング環境 (クラウドとローカル), モデル精度 (量子化なしで) など,プロプライエタリでオープンソースの LLM (バージョン) の性能を評価した。 最後に,半自動パイプラインを用いた精度評価を行った。 結果: プロプライエタリモデルのうち GPT-4o (73.7%) と Claude3.5-Sonnet (74.0%) が最高精度を達成し、Llama3.1-405b (64%)、Llama3.1-70b (58.3%)、Mixtral-8x7b (54.3%) を抜いた。 量子化されたオープンソースモデルのうち、6ビットの量子化されたPhi3-14b (48.7%) が最もよく機能した。 量子化モデルのスコアは、Llama2-7b、Llama2--13b、Gemma2-9bのスコアに匹敵する。 特に、画像を含む質問に対するVLM性能は、画像が提供され、LLM生成キャプションが提供されると悪化する場合には改善しなかった。 一方,人為的な画像記述を伴う画像では,10%の精度向上が観察された。 結論: 結論として, LLM は医学的推論において堅牢なゼロショット性能を示す一方で, 視覚データの統合は VLM にとって依然として課題である。 効果的なデプロイメントには、最適なモデル構成を慎重に決定することと、プロプライエタリなモデルのハイパフォーマンスと、オープンソースモデルの柔軟な適応性のいずれかを検討することをユーザに奨励することが含まれる。

関連論文リスト

• A Comprehensive Evaluation of Large Language Models on Mental Illnesses [0.8458496687170665]
  GPT-4とLlama 3はバイナリ障害検出において優れた性能を示し、特定のデータセットで最大85%の精度に達した。 素早いエンジニアリングは モデル性能を高める上で 重要な役割を担った 有望な結果にもかかわらず、我々の分析では、データセット間のパフォーマンスのばらつきや、注意深いプロンプトエンジニアリングの必要性など、いくつかの課題を特定した。
  論文  参考訳（メタデータ） (2024-09-24T02:58:52Z)
• An Augmentation-based Model Re-adaptation Framework for Robust Image Segmentation [0.799543372823325]
  セグメント化モデルの一般化を促進するための拡張型モデル再適応フレームワーク(AMRF)を提案する。 従来のモデル(FCNとU-Net)と事前訓練されたSAMモデルからセグメント化マスクを観察することにより、トレーニング効率とモデル性能を最適にバランスさせる最小拡張セットを決定する。 その結果,細調整したFCNは収穫精度が3.29%,収穫精度が3.02%,時間連続データセットが5.27%,分類精度が4.04%を超えることがわかった。
  論文  参考訳（メタデータ） (2024-09-14T21:01:49Z)
• Evaluating the Performance of Large Language Models for SDG Mapping (Technical Report) [6.789534723913505]
  大規模言語モデル(LLM)は、サードパーティにデータを提供する必要をなくすことで、データのプライバシ保護を可能にする。 持続可能な開発目標マッピングタスクにおいて,様々な言語モデルの性能を比較した。 この研究の結果によると、LLaMA 2とGemmaは依然として改善の余地がある。
  論文  参考訳（メタデータ） (2024-08-05T03:05:02Z)
• DataComp-LM: In search of the next generation of training sets for language models [200.5293181577585]
  DataComp for Language Models (DCLM)は、制御されたデータセット実験のためのテストベッドであり、言語モデルを改善することを目的としている。 我々は、Common Crawlから抽出された240Tトークンの標準化コーパス、OpenLMフレームワークに基づく効果的な事前学習レシピ、53の下流評価スイートを提供する。 DCLMベンチマークの参加者は、412Mから7Bパラメータのモデルスケールでの重複、フィルタリング、データ混合などのデータキュレーション戦略を実験することができる。
  論文  参考訳（メタデータ） (2024-06-17T17:42:57Z)
• RLAIF-V: Aligning MLLMs through Open-Source AI Feedback for Super GPT-4V Trustworthiness [94.03511733306296]
  我々は,MLLMを超GPT-4V信頼性のための完全なオープンソースパラダイムに整合させるフレームワークであるRLAIF-Vを紹介する。 RLAIF-Vは、高品質なフィードバックデータとオンラインフィードバック学習アルゴリズムを含む、2つの観点から、オープンソースフィードバックを最大限活用する。 実験により、RLAIF-Vは、他のタスクのパフォーマンスを犠牲にすることなく、モデルの信頼性を大幅に向上することが示された。
  論文  参考訳（メタデータ） (2024-05-27T14:37:01Z)
• DEEM: Diffusion Models Serve as the Eyes of Large Language Models for Image Perception [66.88792390480343]
  本稿では,拡散モデルの生成的フィードバックを利用して画像エンコーダのセマンティックな分布を整合させる,シンプルだが効果的なアプローチであるDEEMを提案する。 DEEMは、トレーニング可能なパラメータが少なく、事前学習データが少なく、ベースモデルのサイズが小さいことを利用して、モデル幻覚を軽減するために、強化された堅牢性と優れた能力を示す。
  論文  参考訳（メタデータ） (2024-05-24T05:46:04Z)
• How Easy is It to Fool Your Multimodal LLMs? An Empirical Analysis on Deceptive Prompts [54.07541591018305]
  提案するMAD-Benchは,既存のオブジェクト,オブジェクト数,空間関係などの5つのカテゴリに分割した1000の試験サンプルを含むベンチマークである。 我々は,GPT-4v,Reka,Gemini-Proから,LLaVA-NeXTやMiniCPM-Llama3といったオープンソースモデルに至るまで,一般的なMLLMを包括的に分析する。 GPT-4oはMAD-Bench上で82.82%の精度を達成するが、実験中の他のモデルの精度は9%から50%である。
  論文  参考訳（メタデータ） (2024-02-20T18:31:27Z)
• Large language models for aspect-based sentiment analysis [0.0]
  GPT-4 と GPT-3.5 の性能をゼロショット, 少ないショット, 微調整で評価した。 微調整 GPT-3.5 は、共同アスペクト項抽出と極性分類タスクにおいて最先端の F1 スコア 83.8 を達成する。
  論文  参考訳（メタデータ） (2023-10-27T10:03:21Z)
• Pruning Large Language Models via Accuracy Predictor [0.0]
  数十億のパラメータ(あるいはそれ以上)を含む大規模言語モデル(LLM)は、様々なNLPタスクにおいて印象的な機能を示している。 まず,一定の数のアーキテクチャと精度のペアのトレーニングセットを構築し,非ニューラルネットワークモデルを精度予測器として訓練する。
  論文  参考訳（メタデータ） (2023-09-18T06:38:24Z)
• Improving Visual Grounding by Encouraging Consistent Gradient-based Explanations [58.442103936918805]
  注意マスク整合性は,従来の方法よりも優れた視覚的グラウンドリング結果が得られることを示す。 AMCは効率的で実装が容易であり、どんな視覚言語モデルでも採用できるため一般的である。
  論文  参考訳（メタデータ） (2022-06-30T17:55:12Z)
• Sparse MoEs meet Efficient Ensembles [49.313497379189315]
  このようなモデルの2つの一般的なクラス、すなわちニューラルネットワークのアンサンブルと専門家のスパースミックス(スパースMoE)の相互作用について研究する。 Efficient Ensemble of Experts (E$3$)は、両モデルのクラスを最大限に活用するスケーラブルでシンプルなMoEのアンサンブルであり、深いアンサンブルよりも最大45%少ないFLOPを使用する。
  論文  参考訳（メタデータ） (2021-10-07T11:58:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。