論文の概要: Sparsity- and Hybridity-Inspired Visual Parameter-Efficient Fine-Tuning for Medical Diagnosis
- arxiv url: http://arxiv.org/abs/2405.17877v1
- Date: Tue, 28 May 2024 06:56:39 GMT
- ステータス: 処理完了
- システム内更新日: 2024-05-29 20:07:07.494570
- Title: Sparsity- and Hybridity-Inspired Visual Parameter-Efficient Fine-Tuning for Medical Diagnosis
- Title（参考訳）: 空間性・ハイブリッド性に誘発される視覚パラメーター-医用診断のための効率的な微調整
- Authors: Mingyuan Liu, Lu Xu, Shengnan Liu, Jicong Zhang,
- Abstract要約: 大きなビジョンモデルLVMは、膨大なデータを医療診断に転送することができる。
近年の取り組みは、少量の重量を訓練し、残りを凍結する効率的な微調整(PEFT)を活用している。
SH-PEFTは、タスク固有の戦略とタスクに依存しない戦略の両方をハイブリッド化することによって、その重要性に基づいて、少量の重量を選定し、訓練する。
診断精度の観点からLVMを医療診断に転送する際の最先端性能を実現する。
- 参考スコア（独自算出の注目度）: 7.707393152662846
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The success of Large Vision Models (LVMs) is accompanied by vast data volumes, which are prohibitively expensive in medical diagnosis.To address this, recent efforts exploit Parameter-Efficient Fine-Tuning (PEFT), which trains a small number of weights while freezing the rest.However, they typically assign trainable weights to the same positions in LVMs in a heuristic manner, regardless of task differences, making them suboptimal for professional applications like medical diagnosis.To address this, we statistically reveal the nature of sparsity and hybridity during diagnostic-targeted fine-tuning, i.e., a small portion of key weights significantly impacts performance, and these key weights are hybrid, including both task-specific and task-agnostic parts.Based on this, we propose a novel Sparsity- and Hybridity-inspired Parameter Efficient Fine-Tuning (SH-PEFT).It selects and trains a small portion of weights based on their importance, which is innovatively estimated by hybridizing both task-specific and task-agnostic strategies.Validated on six medical datasets of different modalities, we demonstrate that SH-PEFT achieves state-of-the-art performance in transferring LVMs to medical diagnosis in terms of accuracy. By tuning around 0.01% number of weights, it outperforms full model fine-tuning.Moreover, SH-PEFT also achieves comparable performance to other models deliberately optimized for specific medical tasks.Extensive experiments demonstrate the effectiveness of each design and reveal that large model transfer holds great potential in medical diagnosis.
- Abstract（参考訳）: 大規模ビジョンモデル(LVM)の成功には、医療診断において極めて高価な膨大なデータ量が伴う。これに対応するため、近年の取り組みでは、少量の重量を凍結しながら少量の重量を訓練するパラメータ・エフェクト・ファインタニング(PEFT)を活用している。しかし、彼らは通常、タスクの違いにかかわらず、LVMの同じ位置にトレーニング可能な重量をヒューリスティックな方法で割り当て、医療診断のような専門的応用に最適なものにしている。これに対応するために、診断対象ファインタニングにおけるスパーシティとハイブリシティの性質を統計的に明らかにしている。すなわち、これらの重要な重量のごく一部がパフォーマンスに大きく影響し、これらの重要な重量は、タスク特化とタスク診断の両方を含むハイブリッドである。
課題特化戦略とタスク非依存戦略を混在させることによって,その重要性に基づいて,少量の重みを選択・訓練し,その精度でLVMを医療診断に移行する上で,SH-PEFTが最先端のパフォーマンスを達成できることを実証した。
約0.01%の重量を調整することにより、フルモデルファインチューニングよりも優れており、また、SH-PEFTは特定の医療タスクに意図的に最適化された他のモデルと同等の性能を発揮する。
関連論文リスト
- Probing the Efficacy of Federated Parameter-Efficient Fine-Tuning of Vision Transformers for Medical Image Classification [16.070261684997362]
様々な下流タスクのための微調整事前訓練モデルは、医療画像領域において重要な問題である。
これらのモデルの大規模なサイズは、フェデレート学習における通信負担を軽減するために、パラメータ効率のよい微調整(PEFT)を使用する必要がある。
本研究では,医用画像分類のためのビジョントランスフォーマー(ViT)モデルに適用するための各種PEFT戦略について検討する。
論文 参考訳（メタデータ） (2024-07-16T10:28:50Z) - Physical formula enhanced multi-task learning for pharmacokinetics prediction [54.13787789006417]
AIによる薬物発見の大きな課題は、高品質なデータの不足である。
薬物動態の4つの重要なパラメータを同時に予測するPEMAL法を開発した。
実験の結果,PEMALは一般的なグラフニューラルネットワークに比べてデータ需要を著しく低減することがわかった。
論文 参考訳（メタデータ） (2024-04-16T07:42:55Z) - DrFuse: Learning Disentangled Representation for Clinical Multi-Modal
Fusion with Missing Modality and Modal Inconsistency [18.291267748113142]
そこで本研究では,DrFuseを効果的に多モード核融合を実現するために提案する。
モダリティに共通する特徴と各モダリティに特有の特徴を分離することで、モダリティの欠如に対処する。
実世界の大規模データセットMIMIC-IVとMIMIC-CXRを用いて提案手法を検証する。
論文 参考訳（メタデータ） (2024-03-10T12:41:34Z) - Optimizing Skin Lesion Classification via Multimodal Data and Auxiliary
Task Integration [54.76511683427566]
本研究は, スマートフォンで撮影した画像と本質的な臨床および人口統計情報を統合することで, 皮膚病変を分類する新しいマルチモーダル手法を提案する。
この手法の特徴は、超高解像度画像予測に焦点を当てた補助的なタスクの統合である。
PAD-UFES20データセットを用いて,様々なディープラーニングアーキテクチャを用いて実験を行った。
論文 参考訳（メタデータ） (2024-02-16T05:16:20Z) - The Relevance Feature and Vector Machine for health applications [0.11538034264098687]
本稿では,臨床研究における脂肪データ問題に対処する新しいモデルを提案する。
モデル機能は、太いデータ問題のあるいくつかの医療データセットの最先端モデルに対してテストされる。
論文 参考訳（メタデータ） (2024-02-11T01:21:56Z) - When MOE Meets LLMs: Parameter Efficient Fine-tuning for Multi-task Medical Applications [57.342772288710044]
我々はMOELoRAと呼ばれるマルチタスク医療応用のためのパラメータ効率の良い微調整フレームワークを提案する。
MOEとLoRAを統一するために、トレーニング可能なパラメータとして複数の専門家を考案し、トレーニング可能なパラメータの小さなサイズを保持するために、各専門家は2つの低ランク行列から構成される。
マルチタスク医療データセットを用いて実験を行い、MOELoRAが既存のパラメータを効率よく微調整する手法よりも優れていることを示す。
論文 参考訳（メタデータ） (2023-10-21T17:18:09Z) - DVPT: Dynamic Visual Prompt Tuning of Large Pre-trained Models for
Medical Image Analysis [30.608225734194416]
医用画像解析のための動的視覚的プロンプトチューニング手法DVPTを提案する。
トレーニング可能なパラメータがいくつかある大きなモデルから、下流タスクに有益な知識を抽出することができる。
最大60%のラベル付きデータと、ViT-B/16の99%のストレージコストを節約できる。
論文 参考訳（メタデータ） (2023-07-19T07:11:11Z) - A Light-weight CNN Model for Efficient Parkinson's Disease Diagnostics [1.382077805849933]
提案モデルは,時系列信号の特性を適応させるために,畳み込みニューラルネットワーク(CNN)から短期記憶(LSTM)へと変換される。
実験結果から,提案モデルでは,パラメータや操作がはるかに少ない複数の評価指標に対して,高品質な診断結果が得られることがわかった。
論文 参考訳（メタデータ） (2023-02-02T09:49:07Z) - MS Lesion Segmentation: Revisiting Weighting Mechanisms for Federated
Learning [92.91544082745196]
フェデレートラーニング(FL)は医用画像解析に広く用いられている。
FLのパフォーマンスは、多発性硬化症(MS)病変セグメンテーションタスクに制限される。
2つの効果的な再重み付け機構によるFLMS病変分割フレームワークを提案する。
論文 参考訳（メタデータ） (2022-05-03T14:06:03Z) - Auto-FedRL: Federated Hyperparameter Optimization for
Multi-institutional Medical Image Segmentation [48.821062916381685]
Federated Learning(FL)は、明示的なデータ共有を避けながら協調的なモデルトレーニングを可能にする分散機械学習技術である。
本稿では,Auto-FedRLと呼ばれる,効率的な強化学習(RL)に基づくフェデレーションハイパーパラメータ最適化アルゴリズムを提案する。
提案手法の有効性は,CIFAR-10データセットと2つの実世界の医用画像セグメンテーションデータセットの不均一なデータ分割に対して検証される。
論文 参考訳（メタデータ） (2022-03-12T04:11:42Z) - Predicting Clinical Diagnosis from Patients Electronic Health Records
Using BERT-based Neural Networks [62.9447303059342]
医療コミュニティにおけるこの問題の重要性を示す。
本稿では,変換器 (BERT) モデルによる2方向表現の分類順序の変更について述べる。
約400万人のユニークな患者訪問からなる、大規模なロシアのEHRデータセットを使用します。
論文 参考訳（メタデータ） (2020-07-15T09:22:55Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。