論文の概要: A Comprehensive Evaluation of Large Language Models on Mental Illnesses

• arxiv url: http://arxiv.org/abs/2409.15687v1
• Date: Tue, 24 Sep 2024 02:58:52 GMT
• ステータス: 処理完了
• システム内更新日: 2024-09-26 09:11:12.516435
• Title: A Comprehensive Evaluation of Large Language Models on Mental Illnesses
• Title（参考訳）: 精神疾患における大規模言語モデルの包括的評価
• Authors: Abdelrahman Hanafi, Mohammed Saad, Noureldin Zahran, Radwa J. Hanafy, Mohammed E. Fouda,
• Abstract要約: GPT-4とLlama 3はバイナリ障害検出において優れた性能を示し、特定のデータセットで最大85%の精度に達した。 素早いエンジニアリングは モデル性能を高める上で 重要な役割を担った 有望な結果にもかかわらず、我々の分析では、データセット間のパフォーマンスのばらつきや、注意深いプロンプトエンジニアリングの必要性など、いくつかの課題を特定した。
• 参考スコア（独自算出の注目度）: 0.8458496687170665
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Large language models have shown promise in various domains, including healthcare. In this study, we conduct a comprehensive evaluation of LLMs in the context of mental health tasks using social media data. We explore the zero-shot (ZS) and few-shot (FS) capabilities of various LLMs, including GPT-4, Llama 3, Gemini, and others, on tasks such as binary disorder detection, disorder severity evaluation, and psychiatric knowledge assessment. Our evaluation involved 33 models testing 9 main prompt templates across the tasks. Key findings revealed that models like GPT-4 and Llama 3 exhibited superior performance in binary disorder detection, with accuracies reaching up to 85% on certain datasets. Moreover, prompt engineering played a crucial role in enhancing model performance. Notably, the Mixtral 8x22b model showed an improvement of over 20%, while Gemma 7b experienced a similar boost in performance. In the task of disorder severity evaluation, we observed that FS learning significantly improved the model's accuracy, highlighting the importance of contextual examples in complex assessments. Notably, the Phi-3-mini model exhibited a substantial increase in performance, with balanced accuracy improving by over 6.80% and mean average error dropping by nearly 1.3 when moving from ZS to FS learning. In the psychiatric knowledge task, recent models generally outperformed older, larger counterparts, with the Llama 3.1 405b achieving an accuracy of 91.2%. Despite promising results, our analysis identified several challenges, including variability in performance across datasets and the need for careful prompt engineering. Furthermore, the ethical guards imposed by many LLM providers hamper the ability to accurately evaluate their performance, due to tendency to not respond to potentially sensitive queries.
• Abstract（参考訳）: 大規模言語モデルは、医療を含む様々な領域で有望であることを示している。 本研究では,ソーシャルメディアデータを用いたメンタルヘルスタスクの文脈におけるLCMの包括的評価を行う。 GPT-4, Llama 3, Gemini など様々な LLM のゼロショット(ZS) と少数ショット(FS) 機能について, 2次障害検出, 障害重症度評価, 精神科的知識評価などの課題について検討した。 評価では,タスクにまたがる9つの主要なプロンプトテンプレートをテストする33のモデルについて検討した。 GPT-4やLlama 3のようなモデルでは、バイナリ障害の検出において優れたパフォーマンスを示し、特定のデータセットで最大85%の精度が達成された。 さらに、迅速な工学がモデル性能の向上に重要な役割を果たした。 特にMixtral 8x22bモデルでは20%以上の改善が見られ、Gemma 7bでは同様の性能が向上した。 障害重大度評価の課題では、FS学習がモデルの精度を大幅に向上させ、複雑な評価における文脈例の重要性を強調した。 特に、Phi-3-miniモデルの性能は大幅に向上し、ZSからFS学習に移行すると精度は6.80%以上向上し、平均誤差は1.3近く低下した。 精神医学的知識タスクでは、最近のモデルは一般的により古いより大きなモデルよりも優れており、Llama 3.1 405bは91.2%の精度を達成している。 有望な結果にもかかわらず、我々の分析では、データセット間のパフォーマンスのばらつきや、注意深いプロンプトエンジニアリングの必要性など、いくつかの課題を特定した。 さらに、多くのLLMプロバイダが課している倫理的保護は、潜在的にセンシティブなクエリに応答しない傾向があるため、そのパフォーマンスを正確に評価する能力を妨げている。

関連論文リスト

• STOP! Benchmarking Large Language Models with Sensitivity Testing on Offensive Progressions [6.19084217044276]
  大規模言語モデル(LLM)における明示的バイアスと暗黙的バイアスの緩和は、自然言語処理の分野において重要な焦点となっている。 我々は,2700のユニークな文を含む450の攻撃的進行を含む,攻撃的進行に関する感性テストデータセットを紹介した。 以上の結果から,最も優れたモデルでさえバイアスを不整合に検出し,成功率は19.3%から69.8%であった。
  論文  参考訳（メタデータ） (2024-09-20T18:34:38Z)
• Vision-Language and Large Language Model Performance in Gastroenterology: GPT, Claude, Llama, Phi, Mistral, Gemma, and Quantized Models [0.06555599394344236]
  本研究では,大言語モデル (LLMs) と視覚言語モデル (VLMs) の胃腸科学における医学的推論性能を評価する。 我々は,300の胃腸科検査式多票質問紙を使用し,そのうち138は画像を含んでいた。
  論文  参考訳（メタデータ） (2024-08-25T14:50:47Z)
• Enhanced Prediction of Ventilator-Associated Pneumonia in Patients with Traumatic Brain Injury Using Advanced Machine Learning Techniques [0.0]
  外傷性脳損傷(TBI)患者の呼吸器関連肺炎(VAP)は重大な死亡リスクをもたらす。 TBI患者のVAPのタイムリーな検出と予後は、患者の予後を改善し、医療資源の負担を軽減するために重要である。 我々はMIMIC-IIIデータベースを用いて6つの機械学習モデルを実装した。
  論文  参考訳（メタデータ） (2024-08-02T09:44:18Z)
• AgEval: A Benchmark for Zero-Shot and Few-Shot Plant Stress Phenotyping with Multimodal LLMs [19.7240633020344]
  AgEvalは12種類の植物ストレス表現タスクからなるベンチマークである。 本研究は、最先端モデルのゼロショットおよび少数ショットのインコンテキスト学習性能を評価する。
  論文  参考訳（メタデータ） (2024-07-29T00:39:51Z)
• ToolBeHonest: A Multi-level Hallucination Diagnostic Benchmark for Tool-Augmented Large Language Models [43.895478182631116]
  ツール拡張大型言語モデル(LLM)は、現実世界のアプリケーションに急速に統合されている。 この課題に対処するために、包括的な診断ベンチマークであるToolBHを導入する。 ツールセットの特徴に基づいた,必要なツールや潜在的なツール,限定的な機能ツールの3つのシナリオについて検討する。 結果は、ToolBHベンチマークで提示された重要な課題を示している。
  論文  参考訳（メタデータ） (2024-06-28T16:03:30Z)
• Uncertainty Aware Learning for Language Model Alignment [97.36361196793929]
  異なるタスクシナリオのモデルアライメントを改善するために,不確実性認識学習(UAL)を提案する。 トレーニングのラベルの平滑化値を個々のサンプルの不確実性に応じて適応的に設定する。 広く使われているベンチマーク実験では、我々のUALは標準教師あり微調整よりも著しく優れています。
  論文  参考訳（メタデータ） (2024-06-07T11:37:45Z)
• On the Calibration of Large Language Models and Alignment [63.605099174744865]
  信頼性キャリブレーションは、ディープモデルの信頼性を高める重要なツールである。 構築プロセス全体を通して、アライメント言語モデルの校正を体系的に検討する。 我々の研究は、人気のあるLCMが十分に校正されているか、トレーニングプロセスがモデルの校正にどのように影響するかに光を当てています。
  論文  参考訳（メタデータ） (2023-11-22T08:57:55Z)
• Tool-Augmented Reward Modeling [58.381678612409]
  本稿では,外部環境へのアクセスによるRMの強化により,制約に対処するツール拡張された嗜好モデリング手法であるThemisを提案する。 我々の研究は、外部ツールをRMに統合し、様々な外部ソースとの相互作用を可能にすることを目的としている。 人間の評価では、テミスで訓練されたRLHFはベースラインと比較して平均32%の勝利率を得る。
  論文  参考訳（メタデータ） (2023-10-02T09:47:40Z)
• A Comprehensive Evaluation and Analysis Study for Chinese Spelling Check [53.152011258252315]
  音声とグラフィックの情報を合理的に使用することは,中国語のスペルチェックに有効であることを示す。 モデルはテストセットのエラー分布に敏感であり、モデルの欠点を反映している。 一般的なベンチマークであるSIGHANは、モデルの性能を確実に評価できない。
  論文  参考訳（メタデータ） (2023-07-25T17:02:38Z)
• Let's Verify Step by Step [73.58107073356732]
  プロセスの監督は,課題を解決するためのトレーニングモデルにおいて,結果の監督を著しく上回っていることを示す。 我々のモデルは、MATHテストセットの代表部分集合から78%の問題を解く。 また、最高の報酬モデルをトレーニングするために使われる80,000段階の人間フィードバックラベルの完全なデータセットであるPRM800Kをリリースしています。
  論文  参考訳（メタデータ） (2023-05-31T17:24:00Z)
• How Robust is GPT-3.5 to Predecessors? A Comprehensive Study on Language Understanding Tasks [65.7949334650854]
  GPT-3.5モデルは様々な自然言語処理(NLP)タスクで顕著な性能を示した。 しかし、オープン世界の様々な複雑さに対処する堅牢性や能力はまだ検討されていない。 GPT-3.5は、不安定性、迅速な感度、数値感度など、いくつかの具体的な堅牢性課題に直面している。
  論文  参考訳（メタデータ） (2023-03-01T07:39:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。