論文の概要: Vision-Language and Large Language Model Performance in Gastroenterology: GPT, Claude, Llama, Phi, Mistral, Gemma, and Quantized Models

• arxiv url: http://arxiv.org/abs/2409.00084v2
• Date: Wed, 4 Sep 2024 08:22:28 GMT
• ステータス: 処理完了
• システム内更新日: 2024-09-06 17:07:21.821598
• Title: Vision-Language and Large Language Model Performance in Gastroenterology: GPT, Claude, Llama, Phi, Mistral, Gemma, and Quantized Models
• Title（参考訳）: GPT, Claude, Llama, Phi, Mistral, Gemma, Quantized Models
• Authors: Seyed Amir Ahmad Safavi-Naini, Shuhaib Ali, Omer Shahab, Zahra Shahhoseini, Thomas Savage, Sara Rafiee, Jamil S Samaan, Reem Al Shabeeb, Farah Ladak, Jamie O Yang, Juan Echavarria, Sumbal Babar, Aasma Shaukat, Samuel Margolis, Nicholas P Tatonetti, Girish Nadkarni, Bara El Kurdi, Ali Soroush,
• Abstract要約: 本研究では,大言語モデル (LLMs) と視覚言語モデル (VLMs) の胃腸科学における医学的推論性能を評価する。 我々は,300の胃腸科検査式多票質問紙を使用し,そのうち138は画像を含んでいた。
• 参考スコア（独自算出の注目度）: 0.06555599394344236
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Background and Aims: This study evaluates the medical reasoning performance of large language models (LLMs) and vision language models (VLMs) in gastroenterology. Methods: We used 300 gastroenterology board exam-style multiple-choice questions, 138 of which contain images to systematically assess the impact of model configurations and parameters and prompt engineering strategies utilizing GPT-3.5. Next, we assessed the performance of proprietary and open-source LLMs (versions), including GPT (3.5, 4, 4o, 4omini), Claude (3, 3.5), Gemini (1.0), Mistral, Llama (2, 3, 3.1), Mixtral, and Phi (3), across different interfaces (web and API), computing environments (cloud and local), and model precisions (with and without quantization). Finally, we assessed accuracy using a semiautomated pipeline. Results: Among the proprietary models, GPT-4o (73.7%) and Claude3.5-Sonnet (74.0%) achieved the highest accuracy, outperforming the top open-source models: Llama3.1-405b (64%), Llama3.1-70b (58.3%), and Mixtral-8x7b (54.3%). Among the quantized open-source models, the 6-bit quantized Phi3-14b (48.7%) performed best. The scores of the quantized models were comparable to those of the full-precision models Llama2-7b, Llama2--13b, and Gemma2-9b. Notably, VLM performance on image-containing questions did not improve when the images were provided and worsened when LLM-generated captions were provided. In contrast, a 10% increase in accuracy was observed when images were accompanied by human-crafted image descriptions. Conclusion: In conclusion, while LLMs exhibit robust zero-shot performance in medical reasoning, the integration of visual data remains a challenge for VLMs. Effective deployment involves carefully determining optimal model configurations, encouraging users to consider either the high performance of proprietary models or the flexible adaptability of open-source models.
• Abstract（参考訳）: 背景と課題: 胃腸科における大型言語モデル(LLM)と視覚言語モデル(VLM)の医学的推論性能を評価する。 方法:300項目の胃腸科試験式多票質問紙を用いた。そのうち138項目は,モデル構成とパラメータの影響を体系的に評価し,GPT-3.5を用いたエンジニアリング戦略を推進した。 次に, GPT (3.5, 4, 4o, 4omini), Claude (3, 3.5), Gemini (1.0), Mistral, Llama (2, 3, 3.1), Mixtral, Phi (3), さまざまなインターフェース (Web と API), コンピューティング環境 (クラウドとローカル), モデル精度 (量子化なしで) など,プロプライエタリでオープンソースの LLM (バージョン) の性能を評価した。 最後に,半自動パイプラインを用いた精度評価を行った。 結果: プロプライエタリモデルのうち GPT-4o (73.7%) と Claude3.5-Sonnet (74.0%) が最高精度を達成し、Llama3.1-405b (64%)、Llama3.1-70b (58.3%)、Mixtral-8x7b (54.3%) を抜いた。 量子化されたオープンソースモデルのうち、6ビットの量子化されたPhi3-14b (48.7%) が最もよく機能した。 量子化モデルのスコアは、Llama2-7b、Llama2--13b、Gemma2-9bのスコアに匹敵する。 特に、画像を含む質問に対するVLM性能は、画像が提供され、LLM生成キャプションが提供されると悪化する場合には改善しなかった。 一方,人為的な画像記述を伴う画像では,10%の精度向上が観察された。 結論: 結論として, LLM は医学的推論において堅牢なゼロショット性能を示す一方で, 視覚データの統合は VLM にとって依然として課題である。 効果的なデプロイメントには、最適なモデル構成を慎重に決定することと、プロプライエタリなモデルのハイパフォーマンスと、オープンソースモデルの柔軟な適応性のいずれかを検討することをユーザに奨励することが含まれる。

関連論文リスト

• DataComp-LM: In search of the next generation of training sets for language models [200.5293181577585]
  DataComp for Language Models (DCLM)は、制御されたデータセット実験のためのテストベッドであり、言語モデルを改善することを目的としている。 我々は、Common Crawlから抽出された240Tトークンの標準化コーパス、OpenLMフレームワークに基づく効果的な事前学習レシピ、53の下流評価スイートを提供する。 DCLMベンチマークの参加者は、412Mから7Bパラメータのモデルスケールでの重複、フィルタリング、データ混合などのデータキュレーション戦略を実験することができる。
  論文  参考訳（メタデータ） (2024-06-17T17:42:57Z)
• RLAIF-V: Aligning MLLMs through Open-Source AI Feedback for Super GPT-4V Trustworthiness [94.03511733306296]
  我々は,MLLMを超GPT-4V信頼性のための完全なオープンソースパラダイムに整合させるフレームワークであるRLAIF-Vを紹介する。 RLAIF-Vは、高品質なフィードバックデータとオンラインフィードバック学習アルゴリズムを含む、2つの観点から、オープンソースフィードバックを最大限活用する。 実験により、RLAIF-Vは、他のタスクのパフォーマンスを犠牲にすることなく、モデルの信頼性を大幅に向上することが示された。
  論文  参考訳（メタデータ） (2024-05-27T14:37:01Z)
• Comprehensive Multimodal Deep Learning Survival Prediction Enabled by a Transformer Architecture: A Multicenter Study in Glioblastoma [4.578027879885667]
  本研究は,変圧器を用いた深層学習モデルにMR画像,臨床および分子病理学的データを統合することにより,グリオーマの生存率予測を改善することを目的とする。 このモデルは、自己教師付き学習技術を用いて、高次元MRI入力を効果的に符号化し、クロスアテンションを用いた非画像データと統合する。
  論文  参考訳（メタデータ） (2024-05-21T17:44:48Z)
• Advancing LLM Reasoning Generalists with Preference Trees [119.57169648859707]
  推論に最適化された大規模言語モデル(LLM)のスイートであるEulusを紹介する。 Eurusモデルは、様々なベンチマークでオープンソースのモデルの間で最先端の結果を得る。
  論文  参考訳（メタデータ） (2024-04-02T16:25:30Z)
• How Easy is It to Fool Your Multimodal LLMs? An Empirical Analysis on Deceptive Prompts [54.07541591018305]
  提案するMAD-Benchは,既存のオブジェクト,オブジェクト数,空間関係などの5つのカテゴリに分割した1000の試験サンプルを含むベンチマークである。 我々は,GPT-4v,Reka,Gemini-Proから,LLaVA-NeXTやMiniCPM-Llama3といったオープンソースモデルに至るまで,一般的なMLLMを包括的に分析する。 GPT-4oはMAD-Bench上で82.82%の精度を達成するが、実験中の他のモデルの精度は9%から50%である。
  論文  参考訳（メタデータ） (2024-02-20T18:31:27Z)
• Decentralized Gossip Mutual Learning (GML) for automatic head and neck tumor segmentation [0.7402598986326535]
  フェデレートラーニング(FL)は、データ共有を必要とせずに、異なる医療センターから複雑な機械学習モデルを協調的にトレーニングするための有望な戦略として登場した。 我々は,Gossipプロトコルをピアツーピア通信に直接適用した分散協調学習フレームワークであるGossip Mutual Learning (GML)を提案する。 GMLはDice similarity Coefficient (DSC) を3.2%, 4.6%, 10.4%改善できることを示した。
  論文  参考訳（メタデータ） (2024-01-11T01:04:30Z)
• Large language models for aspect-based sentiment analysis [0.0]
  GPT-4 と GPT-3.5 の性能をゼロショット, 少ないショット, 微調整で評価した。 微調整 GPT-3.5 は、共同アスペクト項抽出と極性分類タスクにおいて最先端の F1 スコア 83.8 を達成する。
  論文  参考訳（メタデータ） (2023-10-27T10:03:21Z)
• Pruning Large Language Models via Accuracy Predictor [0.0]
  数十億のパラメータ(あるいはそれ以上)を含む大規模言語モデル(LLM)は、様々なNLPタスクにおいて印象的な機能を示している。 まず,一定の数のアーキテクチャと精度のペアのトレーニングセットを構築し,非ニューラルネットワークモデルを精度予測器として訓練する。
  論文  参考訳（メタデータ） (2023-09-18T06:38:24Z)
• Improving Visual Grounding by Encouraging Consistent Gradient-based Explanations [58.442103936918805]
  注意マスク整合性は,従来の方法よりも優れた視覚的グラウンドリング結果が得られることを示す。 AMCは効率的で実装が容易であり、どんな視覚言語モデルでも採用できるため一般的である。
  論文  参考訳（メタデータ） (2022-06-30T17:55:12Z)
• Sparse MoEs meet Efficient Ensembles [49.313497379189315]
  このようなモデルの2つの一般的なクラス、すなわちニューラルネットワークのアンサンブルと専門家のスパースミックス(スパースMoE)の相互作用について研究する。 Efficient Ensemble of Experts (E$3$)は、両モデルのクラスを最大限に活用するスケーラブルでシンプルなMoEのアンサンブルであり、深いアンサンブルよりも最大45%少ないFLOPを使用する。
  論文  参考訳（メタデータ） (2021-10-07T11:58:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。