論文の概要: COMFORT: A Continual Fine-Tuning Framework for Foundation Models Targeted at Consumer Healthcare
- arxiv url: http://arxiv.org/abs/2409.09549v1
- Date: Sat, 14 Sep 2024 22:24:52 GMT
- ステータス: 処理完了
- システム内更新日: 2024-09-17 20:17:37.552261
- Title: COMFORT: A Continual Fine-Tuning Framework for Foundation Models Targeted at Consumer Healthcare
- Title（参考訳）: COMFORT:消費者医療をターゲットとしたファウンデーションモデルのための継続的微調整フレームワーク
- Authors: Chia-Hao Li, Niraj K. Jha,
- Abstract要約: COMFORTはTransformerベースの基盤モデルとWMSベースの疾患検出のギャップを埋めることを目的としている。
本稿では,トランスフォーマーに基づく基礎モデルを生理的信号の大規模データセット上で事前学習するための新しいアプローチを提案する。
次に、低ランク適応(LoRA)とその変種など、パラメータ効率のよい各種細調整法(PEFT)を用いて、モデルを微調整し、下流の様々な疾患検出タスクに適応させる。
- 参考スコア（独自算出の注目度）: 3.088223994180069
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Wearable medical sensors (WMSs) are revolutionizing smart healthcare by enabling continuous, real-time monitoring of user physiological signals, especially in the field of consumer healthcare. The integration of WMSs and modern machine learning (ML) enables unprecedented solutions to efficient early-stage disease detection. Despite the success of Transformers in various fields, their application to sensitive domains, such as smart healthcare, remains underexplored due to limited data accessibility and privacy concerns. To bridge the gap between Transformer-based foundation models and WMS-based disease detection, we propose COMFORT, a continual fine-tuning framework for foundation models targeted at consumer healthcare. COMFORT introduces a novel approach for pre-training a Transformer-based foundation model on a large dataset of physiological signals exclusively collected from healthy individuals with commercially available WMSs. We adopt a masked data modeling (MDM) objective to pre-train this health foundation model. We then fine-tune the model using various parameter-efficient fine-tuning (PEFT) methods, such as low-rank adaptation (LoRA) and its variants, to adapt it to various downstream disease detection tasks that rely on WMS data. In addition, COMFORT continually stores the low-rank decomposition matrices obtained from the PEFT algorithms to construct a library for multi-disease detection. The COMFORT library enables scalable and memory-efficient disease detection on edge devices. Our experimental results demonstrate that COMFORT achieves highly competitive performance while reducing memory overhead by up to 52% relative to conventional methods. Thus, COMFORT paves the way for personalized and proactive solutions to efficient and effective early-stage disease detection for consumer healthcare.
- Abstract（参考訳）: ウェアラブル医療センサ(WMS)は、特に消費者向け医療分野において、ユーザーの生理的信号を継続的にリアルタイムにモニタリングすることで、スマートヘルスケアに革命をもたらしている。
WMSと現代の機械学習(ML)の統合は、効率的な早期疾患検出のための前例のない解決策を可能にする。
さまざまな分野でTransformerの成功にもかかわらず、スマートヘルスケアなどのセンシティブなドメインへの応用は、データアクセシビリティの制限とプライバシ上の懸念から、いまだ検討されていない。
トランスフォーマーベースの基盤モデルとWMSベースの疾患検出のギャップを埋めるため,消費者医療を対象とした基盤モデルのための連続的な微調整フレームワークCOMFORTを提案する。
COMFORTは、トランスフォーマーベースの基礎モデルを、市販のWMSを持つ健康な個人からのみ収集された生理的信号の大規模なデータセットに事前学習するための新しいアプローチを導入する。
我々は、この健康基盤モデルを事前訓練するために、マスク付きデータモデリング(MDM)の目的を採用する。
次に、低ランク適応(LoRA)やその変種など、パラメータ効率のよい各種細調整法(PEFT)を用いて、モデルを微調整し、WMSデータに依存する様々な下流疾患検出タスクに適応させる。
さらに、COMFORTはPEFTアルゴリズムから得られた低階分解行列を継続的に保存し、マルチディスリーズ検出のためのライブラリを構築する。
COMFORTライブラリは、エッジデバイス上でスケーラブルでメモリ効率のよい疾患検出を可能にする。
実験の結果,COMFORTは従来の手法と比較してメモリオーバーヘッドを最大52%削減し,高い競争力を発揮することが示された。
このように、COMFORTは、消費者医療において効率的かつ効果的な早期疾患検出のためのパーソナライズされた、プロアクティブなソリューションの道を開く。
関連論文リスト
- Scalable Drift Monitoring in Medical Imaging AI [37.1899538374058]
我々は,スケーラブルなドリフトモニタリングのための拡張フレームワークであるMCC+を開発した。
それは、医療画像AIモデルのためのリアルタイムドリフト検出を導入したCheXstrayフレームワークの上に構築されている。
MMC+は、継続的パフォーマンス監視の信頼性と費用対効果を提供する。
論文 参考訳（メタデータ） (2024-10-17T02:57:35Z) - Prediction and Detection of Terminal Diseases Using Internet of Medical Things: A Review [4.4389631374821255]
AI駆動モデルでは、心臓疾患、慢性腎臓病(CKD)、アルツハイマー病、肺がんの予測において98%以上の精度が達成されている。
IoMTデータは巨大で異種であり、患者のプライバシを保護するための相互運用性とセキュリティを確保するための複雑さが増している。
今後の研究は、データ品質と相互運用性を改善するために、データの標準化と高度な前処理技術に焦点を当てるべきである。
論文 参考訳（メタデータ） (2024-09-22T15:02:33Z) - Privacy-Preserving SAM Quantization for Efficient Edge Intelligence in Healthcare [9.381558154295012]
Segment Anything Model (SAM) はインテリジェントなイメージセグメンテーションに優れている。
SAMはリソース制限されたエッジデバイスにデプロイする上で大きな課題となる。
本研究では,原データなしで量子化パラメータを学習・校正する DFQ-SAM という,SAM のためのデータフリー量子化フレームワークを提案する。
論文 参考訳（メタデータ） (2024-09-14T10:43:35Z) - FEDMEKI: A Benchmark for Scaling Medical Foundation Models via Federated Knowledge Injection [83.54960238236548]
FEDMEKIはデータのプライバシーを守るだけでなく、医療基盤モデルの能力を高める。
FEDMEKIは、医療ファンデーションモデルに対して、直接データを公開することなく、幅広い医療知識から学ぶことを可能にする。
論文 参考訳（メタデータ） (2024-08-17T15:18:56Z) - Distributed Federated Learning-Based Deep Learning Model for Privacy MRI Brain Tumor Detection [11.980634373191542]
分散トレーニングは、大規模な医用画像データセットの処理を容易にし、疾患診断の精度と効率を向上させる。
本稿では,データプライバシと効率的な疾患診断という2つの課題に対処するために,Federated Learning(FL)を活用した医用画像分類の革新的なアプローチを提案する。
論文 参考訳（メタデータ） (2024-04-15T09:07:19Z) - Towards a clinically accessible radiology foundation model: open-access and lightweight, with automated evaluation [113.5002649181103]
オープンソースの小型マルチモーダルモデル(SMM)を訓練し、放射線学における未測定臨床ニーズに対する能力ギャップを埋める。
トレーニングのために,697万以上の画像テキストペアからなる大規模なデータセットを組み立てる。
評価のために,GPT-4に基づく実測値CheXpromptを提案する。
LlaVA-Radの推論は高速で、単一のV100 GPU上でプライベート設定で実行できる。
論文 参考訳（メタデータ） (2024-03-12T18:12:02Z) - PREM: A Simple Yet Effective Approach for Node-Level Graph Anomaly
Detection [65.24854366973794]
ノードレベルのグラフ異常検出(GAD)は、医学、ソーシャルネットワーク、eコマースなどの分野におけるグラフ構造化データから異常ノードを特定する上で重要な役割を果たす。
本稿では,GADの効率を向上させるために,PREM (preprocessing and Matching) という簡単な手法を提案する。
我々のアプローチは、強力な異常検出機能を維持しながら、GADを合理化し、時間とメモリ消費を削減します。
論文 参考訳（メタデータ） (2023-10-18T02:59:57Z) - Automatic diagnosis of knee osteoarthritis severity using Swin
transformer [55.01037422579516]
変形性膝関節症 (KOA) は膝関節の慢性的な痛みと硬直を引き起こす疾患である。
我々は,Swin Transformer を用いて KOA の重大度を予測する自動手法を提案する。
論文 参考訳（メタデータ） (2023-07-10T09:49:30Z) - Learnable Weight Initialization for Volumetric Medical Image Segmentation [66.3030435676252]
本稿では,学習可能な重みに基づくハイブリッド医療画像セグメンテーション手法を提案する。
我々のアプローチはどんなハイブリッドモデルにも簡単に統合でき、外部のトレーニングデータを必要としない。
多臓器・肺がんセグメンテーションタスクの実験は、我々のアプローチの有効性を実証している。
論文 参考訳（メタデータ） (2023-06-15T17:55:05Z) - Many-to-One Distribution Learning and K-Nearest Neighbor Smoothing for
Thoracic Disease Identification [83.6017225363714]
ディープラーニングは、病気の識別性能を改善するための最も強力なコンピュータ支援診断技術となった。
胸部X線撮影では、大規模データの注釈付けには専門的なドメイン知識が必要で、時間を要する。
本論文では、単一モデルにおける疾患同定性能を改善するために、複数対1の分布学習(MODL)とK-nearest neighbor smoothing(KNNS)手法を提案する。
論文 参考訳（メタデータ） (2021-02-26T02:29:30Z) - FIT: a Fast and Accurate Framework for Solving Medical Inquiring and
Diagnosing Tasks [10.687562550605739]
自己診断(Self-diagnosis)は、患者をクエリーし、疾患の予測を行うエージェントを介して、低コストでアクセス可能な医療を提供する。
我々は、次に収集するデータを決定するために情報理論の報酬を使用するFITと呼ばれる競合フレームワークを提案する。
シミュレーションした2つのデータセットから、FITは大規模な検索空間問題に効果的に対処でき、既存のベースラインよりも優れていることを示す。
論文 参考訳（メタデータ） (2020-12-02T10:12:49Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。