論文の概要: UltraMedical: Building Specialized Generalists in Biomedicine
- arxiv url: http://arxiv.org/abs/2406.03949v2
- Date: Tue, 29 Oct 2024 07:17:08 GMT
- ステータス: 翻訳完了
- システム内更新日: 2024-10-30 13:37:20.097335
- Title: UltraMedical: Building Specialized Generalists in Biomedicine
- Title（参考訳）: ウルトラメディカル: バイオメディシン専門のジェネラリストの構築
- Authors: Kaiyan Zhang, Sihang Zeng, Ermo Hua, Ning Ding, Zhang-Ren Chen, Zhiyuan Ma, Haoxin Li, Ganqu Cui, Biqing Qi, Xuekai Zhu, Xingtai Lv, Hu Jinfang, Zhiyuan Liu, Bowen Zhou,
- Abstract要約: バイオメディカルドメインにおける高品質な手動および合成データセットからなるUltraMedicalコレクションについて述べる。
Llama-3シリーズに基づく専門的な医療モデル群を微調整し、様々な医療ベンチマークで呼吸能力を示す。
- 参考スコア（独自算出の注目度）: 40.53028639007486
- License:
- Abstract: Large Language Models (LLMs) have demonstrated remarkable capabilities across various domains and are moving towards more specialized areas. Recent advanced proprietary models such as GPT-4 and Gemini have achieved significant advancements in biomedicine, which have also raised privacy and security challenges. The construction of specialized generalists hinges largely on high-quality datasets, enhanced by techniques like supervised fine-tuning and reinforcement learning from human or AI feedback, and direct preference optimization. However, these leading technologies (e.g., preference learning) are still significantly limited in the open source community due to the scarcity of specialized data. In this paper, we present the UltraMedical collections, which consist of high-quality manual and synthetic datasets in the biomedicine domain, featuring preference annotations across multiple advanced LLMs. By utilizing these datasets, we fine-tune a suite of specialized medical models based on Llama-3 series, demonstrating breathtaking capabilities across various medical benchmarks. Moreover, we develop powerful reward models skilled in biomedical and general reward benchmark, enhancing further online preference learning within the biomedical LLM community. Datasets and models are available at https://github.com/TsinghuaC3I/UltraMedical
- Abstract（参考訳）: 大規模言語モデル(LLM)は、様々な領域にまたがる顕著な機能を示し、より専門的な領域に向かっています。
GPT-4やGeminiのような最近の先進的なプロプライエタリモデルでは、バイオメディシンの大幅な進歩が達成されており、プライバシとセキュリティの課題も提起されている。
専門的なジェネラリストの構築は、主に高品質なデータセットに基づいており、教師付き微調整や人間やAIのフィードバックからの強化学習、直接的な選好最適化といった技術によって強化されている。
しかし、これらの主要な技術(例えば、嗜好学習)は、特別なデータが不足しているため、オープンソースコミュニティでは依然として著しく制限されている。
本稿では,生物医学領域における高品質な手動および合成データセットからなるUltraMedicalコレクションについて述べる。
これらのデータセットを利用することで、Llama-3シリーズに基づいた専門的な医療モデル群を微調整し、様々な医療ベンチマークで呼吸能力を示す。
さらに、バイオメディカルおよび一般報酬ベンチマークに熟練した強力な報酬モデルを開発し、バイオメディカルLLMコミュニティ内でのオンライン嗜好学習をさらに強化する。
データセットとモデルはhttps://github.com/TsinghuaC3I/UltraMedicalで入手できる。
関連論文リスト
- LoRKD: Low-Rank Knowledge Decomposition for Medical Foundation Models [59.961172635689664]
知識分解」は、特定の医療課題のパフォーマンス向上を目的としている。
我々はLow-Rank Knowledge Decomposition(LoRKD)という新しいフレームワークを提案する。
LoRKDは、低ランクのエキスパートモジュールと効率的な知識分離畳み込みを組み込むことで、グラデーションを異なるタスクから明確に分離する。
論文 参考訳（メタデータ） (2024-09-29T03:56:21Z) - Mixture of Multicenter Experts in Multimodal Generative AI for Advanced Radiotherapy Target Delineation [43.21982155078846]
医用人工知能モデルをトレーニングするために,Mixture of Multicenter Experts (MoME) アプローチを導入する。
MoMEは様々な臨床戦略から専門知識を戦略的に統合し、AIモデルの一般化能力を高める。
このフレームワークは、リソース制約のある医療施設にAIベースのターゲットボリュームデラインモデルの展開を可能にする。
論文 参考訳（メタデータ） (2024-09-27T19:28:30Z) - The Era of Foundation Models in Medical Imaging is Approaching : A Scoping Review of the Clinical Value of Large-Scale Generative AI Applications in Radiology [0.0]
放射線技師の不足に起因する社会問題は激化しており、人工知能は潜在的な解決策として強調されている。
最近出現する大規模生成AIは、大規模言語モデル(LLM)からマルチモーダルモデルへと拡張されている。
このスコーピングレビューは、大規模生成型AIアプリケーションの臨床的価値に関する既存の文献を体系的に整理する。
論文 参考訳（メタデータ） (2024-09-03T00:48:50Z) - LLMs-in-the-loop Part-1: Expert Small AI Models for Bio-Medical Text Translation [0.0]
本研究では,医療用テキストに最適化された教師ありニューラルマシン翻訳モデルを開発するために,新しい"LLMs-in-the-loop"アプローチを提案する。
6つの言語での独自の平行コーパスは、科学論文、人工的に生成された臨床文書、医療文書から編纂された。
MarianMTベースのモデルは、Google Translate、DeepL、GPT-4-Turboより優れている。
論文 参考訳（メタデータ） (2024-07-16T19:32:23Z) - Aqulia-Med LLM: Pioneering Full-Process Open-Source Medical Language Models [8.252044870864523]
我々はAquilaをベースとしたバイリンガル医療用LLMであるAquila-Medを提案する。
我々は,中国語と英語の大規模医療データセットを構築し,事前トレーニングを継続し,高品質なSFTデータセットを構築した。
Aquila-Medは、シングルターン、マルチターンダイアログ、医療マルチチョイスの質問で顕著な結果を得る。
論文 参考訳（メタデータ） (2024-06-18T01:30:07Z) - Towards a clinically accessible radiology foundation model: open-access and lightweight, with automated evaluation [113.5002649181103]
オープンソースの小型マルチモーダルモデル(SMM)を訓練し、放射線学における未測定臨床ニーズに対する能力ギャップを埋める。
トレーニングのために,697万以上の画像テキストペアからなる大規模なデータセットを組み立てる。
評価のために,GPT-4に基づく実測値CheXpromptを提案する。
LlaVA-Radの推論は高速で、単一のV100 GPU上でプライベート設定で実行できる。
論文 参考訳（メタデータ） (2024-03-12T18:12:02Z) - OpenMEDLab: An Open-source Platform for Multi-modality Foundation Models
in Medicine [55.29668193415034]
マルチモダリティ基盤モデルのためのオープンソースプラットフォームであるOpenMEDLabについて紹介する。
これは、最前線臨床および生体情報学応用のための大規模言語とビジョンモデルを刺激し、微調整する先駆的な試みの解決策をカプセル化する。
様々な医用画像のモダリティ、臨床テキスト、タンパク質工学など、事前訓練された基礎モデル群へのアクセスが可能である。
論文 参考訳（メタデータ） (2024-02-28T03:51:02Z) - Diversifying Knowledge Enhancement of Biomedical Language Models using
Adapter Modules and Knowledge Graphs [54.223394825528665]
我々は、軽量なアダプターモジュールを用いて、構造化された生体医学的知識を事前訓練された言語モデルに注入するアプローチを開発した。
バイオメディカル知識システムUMLSと新しいバイオケミカルOntoChemの2つの大きなKGと、PubMedBERTとBioLinkBERTの2つの著名なバイオメディカルPLMを使用している。
計算能力の要件を低く保ちながら,本手法がいくつかの事例において性能改善につながることを示す。
論文 参考訳（メタデータ） (2023-12-21T14:26:57Z) - Boosting Low-Resource Biomedical QA via Entity-Aware Masking Strategies [25.990479833023166]
バイオメディカル質問応答(QA)は、膨大な科学文献から高品質な情報を提供する能力に注目が集まっている。
バイオメディカル・エンティティ・アウェア・マスキング(BEM)と呼ばれるシンプルなアプローチを提案する。
マスク付き言語モデルにより、ドメインを特徴づける重要なエンティティに基づいてエンティティ中心の知識を学び、それらのエンティティをLM微調整の推進に活用します。
実験結果から, バイオメディカルQAデータセットにおける最先端モデルと同等の性能を示す。
論文 参考訳（メタデータ） (2021-02-16T18:51:13Z) - GS-WGAN: A Gradient-Sanitized Approach for Learning Differentially
Private Generators [74.16405337436213]
我々は、GS-WGAN(Gradient-sanitized Wasserstein Generative Adrial Networks)を提案する。
GS-WGANは、厳格なプライバシー保証を備えた機密データの衛生的な形式での公開を可能にする。
このアプローチは、複数のメトリクスにわたる最先端のアプローチよりも一貫して優れています。
論文 参考訳（メタデータ） (2020-06-15T10:01:01Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。