論文の概要: The Aloe Family Recipe for Open and Specialized Healthcare LLMs

• arxiv url: http://arxiv.org/abs/2505.04388v1
• Date: Wed, 07 May 2025 13:13:14 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-08 19:07:36.08101
• Title: The Aloe Family Recipe for Open and Specialized Healthcare LLMs
• Title（参考訳）: オープン・スペシャルヘルスケアLLMのためのアローファミリーレシピ
• Authors: Dario Garcia-Gasulla, Jordi Bayarri-Planas, Ashwin Kumar Gururajan, Enrique Lopez-Cuena, Adrian Tormos, Daniel Hinjos, Pablo Bernabeu-Perez, Anna Arias-Duart, Pablo Agustin Martin-Torres, Marta Gonzalez-Mallo, Sergio Alvarez-Napagao, Eduard Ayguadé-Parra, Ulises Cortés,
• Abstract要約: この研究は、データ前処理とトレーニングの重要な段階を最適化することで、オープン医療用LDMの分野に貢献する。 結果として得られたモデルは、最高のプライベートな代替品と競合することが示され、パーミッシブなライセンスでリリースされている。
• 参考スコア（独自算出の注目度）: 0.49264222302472466
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Purpose: With advancements in Large Language Models (LLMs) for healthcare, the need arises for competitive open-source models to protect the public interest. This work contributes to the field of open medical LLMs by optimizing key stages of data preprocessing and training, while showing how to improve model safety (through DPO) and efficacy (through RAG). The evaluation methodology used, which includes four different types of tests, defines a new standard for the field. The resultant models, shown to be competitive with the best private alternatives, are released with a permisive license. Methods: Building on top of strong base models like Llama 3.1 and Qwen 2.5, Aloe Beta uses a custom dataset to enhance public data with synthetic Chain of Thought examples. The models undergo alignment with Direct Preference Optimization, emphasizing ethical and policy-aligned performance in the presence of jailbreaking attacks. Evaluation includes close-ended, open-ended, safety and human assessments, to maximize the reliability of results. Results: Recommendations are made across the entire pipeline, backed by the solid performance of the Aloe Family. These models deliver competitive performance across healthcare benchmarks and medical fields, and are often preferred by healthcare professionals. On bias and toxicity, the Aloe Beta models significantly improve safety, showing resilience to unseen jailbreaking attacks. For a responsible release, a detailed risk assessment specific to healthcare is attached to the Aloe Family models. Conclusion: The Aloe Beta models, and the recipe that leads to them, are a significant contribution to the open-source medical LLM field, offering top-of-the-line performance while maintaining high ethical requirements. This work sets a new standard for developing and reporting aligned LLMs in healthcare.
• Abstract（参考訳）: 目的: 医療用大規模言語モデル(LLM)の進歩に伴い、公衆の関心を守るために競合するオープンソースモデルの必要性が生じる。 この研究は、データ前処理とトレーニングの重要な段階を最適化し、モデルの安全性(DPO)と有効性(RAG)を改善する方法を示しながら、オープン医療LSMの分野に貢献する。 4種類のテストを含む評価手法は、フィールドの新しい標準を定義する。 結果として得られたモデルは、最高のプライベートな代替品と競合することが示され、パーミッシブなライセンスでリリースされている。 メソッド: Llama 3.1やQwen 2.5のような強力なベースモデルの上に構築されているAloe Betaは、カスタムデータセットを使用して、Synthetic Chain of Thoughtの例で公開データを強化する。 それらのモデルは、直接選好最適化(Direct Preference Optimization)と整合し、ジェイルブレイク攻撃(jailbreaking attack)の存在下での倫理的およびポリシーに沿ったパフォーマンスを強調している。 評価には、結果の信頼性を最大化するために、厳格でオープンな、安全性と人間の評価が含まれる。 結果: 推奨はパイプライン全体にわたって行われ、Aloe Familyのソリッドパフォーマンスに支えられている。 これらのモデルは、医療ベンチマークや医療分野にまたがる競争力のあるパフォーマンスを提供し、しばしば医療専門家に好まれる。 バイアスと毒性に関して、Aloe Betaモデルは安全性を大幅に改善し、目に見えないジェイルブレイク攻撃に対するレジリエンスを示している。 責任あるリリースでは、医療に特化した詳細なリスクアセスメントがAloe Familyモデルにアタッチされる。 結論: Aloe Betaモデルとそれにつながるレシピは、オープンソースの医療LLM分野に重要な貢献であり、高い倫理的要件を維持しながら、最上位のパフォーマンスを提供します。 この研究は、医療における協調型LSMの開発と報告のための新しい標準を定めている。

関連論文リスト

• PatientDx: Merging Large Language Models for Protecting Data-Privacy in Healthcare [2.1046377530356764]
  大規模言語モデル(LLM)の微調整は、与えられたタスクにおけるモデルパフォーマンスを改善するためのデフォルトのプラクティスとなっている。 patientDxはモデルマージのフレームワークであり、患者データへの微調整や適応を必要とせずに、健康予測タスクに有効なLCMを設計できる。
  論文  参考訳（メタデータ） (2025-04-24T08:21:04Z)
• Open Foundation Models in Healthcare: Challenges, Paradoxes, and Opportunities with GenAI Driven Personalized Prescription [3.9083860193371938]
  OpenAIのGPT-4のようなプロプライエタリなLarge Language Model(LLM)の成功を受けて、オープンで非プロプライエタリなAI基盤モデル(AIFM)の開発への関心が高まっている。 独自の機能に適合できないにもかかわらず、オープンモデルは医療アプリケーションに革命をもたらす大きな可能性を秘めている。
  論文  参考訳（メタデータ） (2025-02-04T19:16:56Z)
• Aligning (Medical) LLMs for (Counterfactual) Fairness [2.089191490381739]
  大規模言語モデル(LLM)は、医療および臨床決定支援アプリケーションのための有望なソリューションとして登場した。 LLMは様々な種類のバイアスを受けており、個人の不公平な扱い、健康格差の悪化、AIが強化された医療ツールへの信頼の低下につながる可能性がある。 本稿では, 知識蒸留フレームワークにおける優先最適化手法を用いて, LLMの整列化のための新しいモデルアライメント手法を提案する。
  論文  参考訳（メタデータ） (2024-08-22T01:11:27Z)
• ShieldGemma: Generative AI Content Moderation Based on Gemma [49.91147965876678]
  ShieldGemmaは、Gemma2上に構築された安全コンテンツモデレーションモデルのスイートである。 モデルは、主要な危険タイプにわたる安全リスクの堅牢で最先端の予測を提供する。
  論文  参考訳（メタデータ） (2024-07-31T17:48:14Z)
• Aloe: A Family of Fine-tuned Open Healthcare LLMs [0.0]
  そこで我々は,オープン医療LLMの規模内での競争力が高いAloeファミリーを紹介した。 Aloeモデルはアライメントフェーズを実行し、ポリシーに準拠した最初のオープンヘルスケア LLM の1つになった。 推論におけるLLMの限界を探るため,いくつかの先進的な技術戦略について検討する。
  論文  参考訳（メタデータ） (2024-05-03T07:14:07Z)
• Large Language Model Distilling Medication Recommendation Model [58.94186280631342]
  大規模言語モデル(LLM)の強力な意味理解と入力非依存特性を利用する。 本研究は, LLMを用いて既存の薬剤推奨手法を変換することを目的としている。 これを軽減するため,LLMの習熟度をよりコンパクトなモデルに伝達する機能レベルの知識蒸留技術を開発した。
  論文  参考訳（メタデータ） (2024-02-05T08:25:22Z)
• Improving Fairness in AI Models on Electronic Health Records: The Case for Federated Learning Methods [0.0]
  我々は、医療機関が連合学習パラダイムを通じて協力することで、バイアスの懸念を軽減する1つの可能なアプローチを示す。 本稿では,様々な公正度尺度に適合する,対向的偏りを伴う包括的FL手法とフェアアグリゲーション手法を提案する。 本手法は, 判定性能(精度)に最低限の影響を伴って, 有望な公平性を達成している。
  論文  参考訳（メタデータ） (2023-05-19T02:03:49Z)
• MedAlpaca -- An Open-Source Collection of Medical Conversational AI Models and Training Data [37.60056509129154]
  大規模言語モデル(LLM)は、医療、診断、患者医療、教育を改善するためのかなりの約束を持っている。 しかし、患者のプライバシを保護するために、オンプレミスでデプロイできるオープンソースモデルが緊急に必要である。 本稿では、160,000以上のエントリからなる革新的なデータセットについて紹介する。
  論文  参考訳（メタデータ） (2023-04-14T11:28:08Z)
• Privacy-preserving medical image analysis [53.4844489668116]
  医用画像におけるプライバシ保護機械学習(PPML)のためのソフトウェアフレームワークであるPriMIAを提案する。 集合型学習モデルの分類性能は,未発見データセットの人間専門家と比較して有意に良好である。 グラデーションベースのモデル反転攻撃に対するフレームワークのセキュリティを実証的に評価する。
  論文  参考訳（メタデータ） (2020-12-10T13:56:00Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。