論文の概要: Aqulia-Med LLM: Pioneering Full-Process Open-Source Medical Language Models

• arxiv url: http://arxiv.org/abs/2406.12182v1
• Date: Tue, 18 Jun 2024 01:30:07 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-19 23:18:17.371275
• Title: Aqulia-Med LLM: Pioneering Full-Process Open-Source Medical Language Models
• Title（参考訳）: Aqulia-Med LLM: オープンソース医療用言語モデルのパイオニア化
• Authors: Lulu Zhao, Weihao Zeng, Xiaofeng Shi, Hua Zhou, Donglin Hao, Yonghua Lin,
• Abstract要約: 我々はAquilaをベースとしたバイリンガル医療用LLMであるAquila-Medを提案する。 我々は,中国語と英語の大規模医療データセットを構築し,事前トレーニングを継続し,高品質なSFTデータセットを構築した。 Aquila-Medは、シングルターン、マルチターンダイアログ、医療マルチチョイスの質問で顕著な結果を得る。
• 参考スコア（独自算出の注目度）: 8.252044870864523
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recently, both closed-source LLMs and open-source communities have made significant strides, outperforming humans in various general domains. However, their performance in specific professional fields such as medicine, especially within the open-source community, remains suboptimal due to the complexity of medical knowledge. We propose Aquila-Med, a bilingual medical LLM based on Aquila, addressing these challenges through continue pre-training, supervised fine-tuning (SFT), and reinforcement learning from human feedback (RLHF). We construct a large-scale Chinese and English medical dataset for continue pre-training and a high-quality SFT dataset, covering extensive medical specialties. Additionally, we develop a high-quality Direct Preference Optimization (DPO) dataset for further alignment. Aquila-Med achieves notable results across single-turn, multi-turn dialogues, and medical multiple-choice questions, demonstrating the effectiveness of our approach. We open-source the datasets and the entire training process, contributing valuable resources to the research community. Our models and datasets will released at https://huggingface.co/BAAI/AquilaMed-RL.
• Abstract（参考訳）: 近年、オープンソースLLMとオープンソースコミュニティの両方が大きな進歩を遂げており、様々な一般領域において人間よりも優れています。 しかし、医学、特にオープンソースコミュニティにおける特定の専門分野におけるパフォーマンスは、医学知識の複雑さのため、依然として最適以下である。 本稿では,Aquilaをベースとしたバイリンガル医療用LLMであるAquila-Medを提案する。 我々は,漢英医学データセットを大規模に構築し,事前トレーニングを継続し,高品質なSFTデータセットを構築した。 さらに,さらなるアライメントを実現するために,高品質な直接参照最適化(DPO)データセットを開発した。 Aquila-Med はシングルターン,マルチターン対話,医療的マルチチョイス質問にまたがって顕著な結果を出し,提案手法の有効性を実証した。 データセットとトレーニングプロセス全体をオープンソースとして公開し、研究コミュニティに貴重なリソースを提供しています。 私たちのモデルとデータセットはhttps://huggingface.co/BAAI/AquilaMed-RL.orgで公開されます。

関連論文リスト

• STLLaVA-Med: Self-Training Large Language and Vision Assistant for Medical Question-Answering [58.79671189792399]
  STLLaVA-Medは、医療ビジュアルインストラクションデータを自動生成できるポリシーモデルを訓練するために設計されている。 STLLaVA-Medの有効性とデータ効率を3つの主要な医用視覚質問応答(VQA)ベンチマークで検証した。
  論文  参考訳（メタデータ） (2024-06-28T15:01:23Z)
• A Survey on Large Language Models from General Purpose to Medical Applications: Datasets, Methodologies, and Evaluations [5.265452667976959]
  本調査は,オープンソース汎用LSMをベースとした医療用LSMのトレーニング方法を体系的にまとめたものである。 a) トレーニングコーパスの取得方法、カスタマイズされた医療トレーニングセットの構築方法、(b) 適切なトレーニングパラダイムの選択方法、(d) 既存の課題と有望な研究方向性をカバーしている。
  論文  参考訳（メタデータ） (2024-06-14T02:42:20Z)
• UltraMedical: Building Specialized Generalists in Biomedicine [40.53028639007486]
  バイオメディカルドメインにおける高品質な手動および合成データセットからなるUltraMedicalコレクションについて述べる。 Llama-3シリーズに基づく専門的な医療モデル群を微調整し、様々な医療ベンチマークで呼吸能力を示す。
  論文  参考訳（メタデータ） (2024-06-06T10:50:26Z)
• Apollo: A Lightweight Multilingual Medical LLM towards Democratizing Medical AI to 6B People [68.59917533894608]
  我々は6つの最も広く話されている言語にまたがる医療用LLMの開発を目指しており、世界人口は610億人である。 この取り組みは、ApolloCorpora多言語医療データセットとXMedBenchベンチマークの作成で頂点に達した。 トレーニングコーパス、コード、モデルの重み付け、評価ベンチマークをオープンソースにします。
  論文  参考訳（メタデータ） (2024-03-06T11:56:02Z)
• LLM-Assisted Multi-Teacher Continual Learning for Visual Question Answering in Robotic Surgery [57.358568111574314]
  患者のデータのプライバシは、モデル更新時に古いデータの可用性を制限することが多い。 CL研究は外科領域で2つの重要な問題を見落としていた。 本稿では,多モーダル大規模言語モデル (LLM) と適応重み付け手法を用いて,これらの問題に対処することを提案する。
  論文  参考訳（メタデータ） (2024-02-26T15:35:24Z)
• BioMistral: A Collection of Open-Source Pretrained Large Language Models for Medical Domains [8.448541067852]
  大規模言語モデル(LLM)は近年,顕著な汎用性を示している。 健康状況に合わせて様々なオープンソース LLM が利用可能であるにもかかわらず、汎用 LLM を医療分野に適用することは重大な課題である。 我々は、Mistralを基盤モデルとして、バイオメディカルドメインに適したオープンソースのLLMであるBioMistralを紹介した。
  論文  参考訳（メタデータ） (2024-02-15T23:39:04Z)
• MEDITRON-70B: Scaling Medical Pretraining for Large Language Models [91.25119823784705]
  大きな言語モデル(LLM)は、医療知識へのアクセスを民主化することができる。 医療領域に適応した7Bおよび70BパラメータのオープンソースLLMスイートであるMEDITRONをリリースする。
  論文  参考訳（メタデータ） (2023-11-27T18:49:43Z)
• ChiMed-GPT: A Chinese Medical Large Language Model with Full Training Regime and Better Alignment to Human Preferences [51.66185471742271]
  我々は中国医学領域向けに明示的に設計されたベンチマークLSMであるChiMed-GPTを提案する。 ChiMed-GPTは、事前訓練、SFT、RLHFを含む総合的な訓練体制を実施。 我々は,ChiMed-GPTを患者識別に関する態度尺度の実行を促すことによって,潜在的なバイアスを分析した。
  論文  参考訳（メタデータ） (2023-11-10T12:25:32Z)
• CulturaX: A Cleaned, Enormous, and Multilingual Dataset for Large Language Models in 167 Languages [86.90220551111096]
  大規模言語モデル(LLM)のトレーニングデータセットは、完全には公開されないことが多い。 我々は167言語で6.3兆のトークンを持つ相当な多言語データセットであるCulturaXを紹介する。
  論文  参考訳（メタデータ） (2023-09-17T23:49:10Z)
• MedAlpaca -- An Open-Source Collection of Medical Conversational AI Models and Training Data [40.97474177100237]
  大規模言語モデル(LLM)は、医療、診断、患者医療、教育を改善するためのかなりの約束を持っている。 しかし、患者のプライバシを保護するために、オンプレミスでデプロイできるオープンソースモデルが緊急に必要である。 本稿では、160,000以上のエントリからなる革新的なデータセットについて紹介する。
  論文  参考訳（メタデータ） (2023-04-14T11:28:08Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。