Fugu-MT 論文翻訳(概要): Efficient Self-Supervised Adaptation for Medical Image Analysis

論文の概要: Efficient Self-Supervised Adaptation for Medical Image Analysis

arxiv url: http://arxiv.org/abs/2503.18873v1
Date: Mon, 24 Mar 2025 16:48:42 GMT
ステータス: 翻訳完了
システム内更新日: 2025-03-25 14:35:25.339953
Title: Efficient Self-Supervised Adaptation for Medical Image Analysis
Title（参考訳）: 医用画像解析のための効率的な自己監督型適応法
Authors: Moein Sorkhei, Emir Konuk, Jingyu Guo, Christos Matsoukas, Kevin Smith,
Abstract要約: 自己監督適応(SSA)は、基礎モデルの医療領域への移行を改善するが、計算的に禁止されている。本研究では,パラメータ効率のよい微調整手法をSSAに適用した,効率的な自己教師付き適応(ESSA)を提案する。
参考スコア（独自算出の注目度）: 3.0449145591105053
License:
Abstract: Self-supervised adaptation (SSA) improves foundation model transfer to medical domains but is computationally prohibitive. Although parameter efficient fine-tuning methods such as LoRA have been explored for supervised adaptation, their effectiveness for SSA remains unknown. In this work, we introduce efficient self-supervised adaptation (ESSA), a framework that applies parameter-efficient fine-tuning techniques to SSA with the aim of reducing computational cost and improving adaptation performance. Among the methods tested, Attention Projection Layer Adaptation (APLA) sets a new state-of-the-art, consistently surpassing full-parameter SSA and supervised fine-tuning across diverse medical tasks, while reducing GPU memory by up to 40.1% and increasing training throughput by 25.2%, all while maintaining inference efficiency.
Abstract（参考訳）: 自己監督適応(SSA)は、基礎モデルの医療領域への移行を改善するが、計算的に禁止されている。 LoRAのようなパラメータ効率のよい微調整法は、教師付き適応のために研究されているが、SSAの有効性は未だ不明である。本研究では,SSAにパラメータ効率のよい微調整技術を適用し,計算コストの低減と適応性能の向上を目的とした,効率的な自己教師付き適応(ESSA)を提案する。テストされた手法の中で、APLA(Attention Projection Layer Adaptation)は、新しい最先端のステート・オブ・ザ・アートを定め、一貫して全パラメータSSAを超過し、様々な医療タスクにわたって微調整を監督する一方で、GPUメモリを最大40.1%削減し、トレーニングスループットを25.2%向上させ、推論効率を維持している。

関連論文リスト

Fine Tuning without Catastrophic Forgetting via Selective Low Rank Adaptation [13.084333776247743]
微調整は分散シフトに対する堅牢性を低下させ、アウト・オブ・ディストリビューション(OOD)のパフォーマンスに影響を及ぼす。本稿では,低ランク適応(LoRA)ブロックを選択的に活性化するインジケータ関数を用いたパラメータ効率細調整(PEFT)手法を提案する。有効微調整は5%のアクティブブロックで実現でき、効率が大幅に向上することを示した。
論文参考訳（メタデータ） (2025-01-26T03:22:22Z)
SAM-DA: Decoder Adapter for Efficient Medical Domain Adaptation [3.5534229601986294]
本稿では,医用画像のセマンティックセグメンテーションにおける領域適応課題について述べる。モデルのエンド・ツー・エンドの微調整を行う最近の手法は、単に計算的に抽出できない。本稿では,訓練可能なパラメータの数を最小限に抑えつつ,完全微調整に匹敵する性能を実現する新しいSAMアダプタ手法を提案する。
論文参考訳（メタデータ） (2025-01-12T15:08:29Z)
Efficient Source-Free Time-Series Adaptation via Parameter Subspace Disentanglement [0.7558576228782637]
我々は、効率的なソースフリードメイン適応(SFDA)のためのフレームワークを提案する。提案手法は,ソースモデル作成およびターゲット側適応のための改良されたパラダイムを導入する。我々は,本フレームワークが様々なSFDA法と互換性があり,計算効率が高いことを実証した。
論文参考訳（メタデータ） (2024-10-03T02:12:03Z)
Parameter-Efficient Fine-Tuning With Adapters [5.948206235442328]
本研究では,UniPELTフレームワークをベースとした新しい適応手法を提案する。提案手法では, ベースモデルパラメータの最小限の再学習を行うことなく, 事前学習したモデルを新しいタスクに効率的に転送できるアダプタを用いる。
論文参考訳（メタデータ） (2024-05-09T01:40:38Z)
PYRA: Parallel Yielding Re-Activation for Training-Inference Efficient Task Adaptation [61.57833648734164]
本稿では, PYRA(Parallel Yielding Re-Activation)法を提案する。 PYRAは低圧縮率と高圧縮率の両方で競合する全ての手法より優れている。
論文参考訳（メタデータ） (2024-03-14T09:06:49Z)
Sparse Low-rank Adaptation of Pre-trained Language Models [79.74094517030035]
本稿では,適応過程における固有ランクの動的調整を可能にする疎低ランク適応(SoRA)を提案する。提案手法は,LoRAを高いランクで初期化すると同時に,一時的に増大するパラメータを効率的に利用することにより,LoRAの表現力を向上する。実験の結果,SoRAは70%の保持パラメータと70%のトレーニング時間でも,他のベースラインよりも優れていることがわかった。
論文参考訳（メタデータ） (2023-11-20T11:56:25Z)
Hyper-parameter Adaptation of Conformer ASR Systems for Elderly and Dysarthric Speech Recognition [64.9816313630768]
ファインチューニングは、多くの非高齢および健康な音声事前訓練モデルを利用するためにしばしば用いられる。本稿では,Librispeech corpus 上で事前学習した Conformer ASR システムのハイパーパラメータ適応について検討する。
論文参考訳（メタデータ） (2023-06-27T07:49:35Z)
A Study of Left Before Treatment Complete Emergency Department Patients: An Optimized Explanatory Machine Learning Framework [1.933681537640272]
本報告では,救急部門における治療完了前の左の要因について検討する枠組みを提案する。このフレームワークは機械学習、メタヒューリスティック最適化、モデル解釈技術を統合している。 ED治療中の患者に対するLBTC結果の予測に最適化されたXGBモデルを用いる。
論文参考訳（メタデータ） (2022-12-22T17:14:10Z)
Efficient Few-Shot Object Detection via Knowledge Inheritance [62.36414544915032]
Few-shot Object Detection (FSOD) は、未確認のタスクに少ないトレーニングサンプルで適応できるジェネリック検出器を学習することを目的としている。計算量の増加を伴わない効率的なプレトレイン・トランスファー・フレームワーク(PTF)のベースラインを提案する。また,予測された新しいウェイトと事前訓練されたベースウェイトとのベクトル長の不整合を軽減するために,適応長再スケーリング(ALR)戦略を提案する。
論文参考訳（メタデータ） (2022-03-23T06:24:31Z)
Efficient Sharpness-aware Minimization for Improved Training of Neural Networks [146.2011175973769]
本稿では,SAM s の効率を高コストで向上する高効率シャープネス認識最小化器 (M) を提案する。 Mには、Stochastic Weight PerturbationとSharpness-Sensitive Data Selectionという、2つの新しい効果的なトレーニング戦略が含まれている。我々は、CIFARとImageNetデータセットの広範な実験を通して、ESAMはSAMよりも100%余分な計算を40%のvis-a-visベースに必要とせずに効率を向上させることを示した。
論文参考訳（メタデータ） (2021-10-07T02:20:37Z)
Adaptive Gradient Method with Resilience and Momentum [120.83046824742455]
レジリエンスとモメンタム(AdaRem)を用いた適応勾配法を提案する。 AdaRemは、過去の1つのパラメータの変化方向が現在の勾配の方向と一致しているかどうかに応じてパラメータワイズ学習率を調整する。本手法は,学習速度とテスト誤差の観点から,従来の適応学習率に基づくアルゴリズムよりも優れていた。
論文参考訳（メタデータ） (2020-10-21T14:49:00Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。