論文の概要: Keeping Representation Similarity in Finetuning for Medical Image Analysis
- arxiv url: http://arxiv.org/abs/2503.07399v1
- Date: Mon, 10 Mar 2025 14:44:37 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-03-11 15:47:38.928109
- Title: Keeping Representation Similarity in Finetuning for Medical Image Analysis
- Title（参考訳）: 医用画像解析のためのファインタニングにおける表現類似性の維持
- Authors: Wenqiang Zu, Shenghao Xie, Hao Chen, Yiming Liang, Lei Ma,
- Abstract要約: 大規模自然画像に事前訓練された基礎モデルは、微調整によって医療画像解析に適応するために広く利用されている。
本稿では、事前訓練された表現と微調整された表現との距離を最小化する新しい微調整手法RepSimを提案する。
競合精度を維持しながら表現類似性を30%以上改善し、5つの医用画像分類データセットにおいてシャープネスを42%削減する。
- 参考スコア（独自算出の注目度）: 6.100738370924397
- License:
- Abstract: Foundation models pretrained on large-scale natural images have been widely used to adapt to medical image analysis through finetuning. This is largely attributed to pretrained representations capturing universal, robust, and generalizable features, which can be reutilized by downstream tasks. However, these representations are later found to gradually vanish during finetuning, accompanied by a degradation of foundation model's original abilities, e.g., generalizability. In this paper, we argue that pretrained representations can be well preserved while still effectively adapting to downstream tasks. We study this by proposing a new finetuning method RepSim, which minimizes the distance between pretrained and finetuned representations via constraining learnable orthogonal manifold based on similarity invariance. Compared to standard finetuning methods, e.g., full finetuning, our method improves representation similarity by over 30% while maintaining competitive accuracy, and reduces sharpness by 42% across five medical image classification datasets. The code will be released.
- Abstract（参考訳）: 大規模自然画像に事前訓練された基礎モデルは、微調整によって医療画像解析に適応するために広く利用されている。
これは主に、ダウンストリームタスクによって再利用できる普遍的で堅牢で一般化可能な特徴をキャプチャする事前訓練された表現に起因している。
しかし、これらの表現はその後、基礎モデルの本来の能力、例えば一般化可能性の低下とともに、微調整中に徐々に消えていくことが判明した。
本稿では,下流タスクに適応しながら,事前学習した表現を適切に保存することができることを論じる。
本研究では、類似性不変性に基づいて学習可能な直交多様体を制約することにより、事前訓練された表現と微調整された表現との距離を最小化する新しい微調整手法RepSimを提案する。
標準的なファインタニング手法であるフルファインタニングと比較して、競合精度を維持しながら表現類似性を30%以上改善し、5つの医用画像分類データセットにおいてシャープネスを42%削減する。
コードはリリースされます。
関連論文リスト
- Fast constrained sampling in pre-trained diffusion models [77.21486516041391]
拡散モデルは、大規模な生成画像モデルの分野を支配してきた。
本研究では,大規模な事前学習拡散モデルにおける高速拘束サンプリングのアルゴリズムを提案する。
論文 参考訳（メタデータ） (2024-10-24T14:52:38Z) - Towards Unsupervised Blind Face Restoration using Diffusion Prior [12.69610609088771]
ブラインド顔復元法は、教師付き学習による大規模合成データセットの訓練において、顕著な性能を示した。
これらのデータセットは、手作りの画像分解パイプラインで、低品質の顔イメージをシミュレートすることによって生成されることが多い。
本稿では, 入力画像の集合のみを用いて, 劣化が不明で, 真理の目標がない場合にのみ, 復元モデルの微調整を行うことにより, この問題に対処する。
我々の最良のモデルは、合成と実世界の両方のデータセットの最先端の結果も達成します。
論文 参考訳（メタデータ） (2024-10-06T20:38:14Z) - Adaptive Correspondence Scoring for Unsupervised Medical Image Registration [9.294341405888158]
既存の手法では、画像再構成を主要な監視信号として用いている。
そこで本研究では,学習中の誤り残差を対応スコアマップで再重み付けする適応フレームワークを提案する。
我々のフレームワークは、量的にも質的にも、他の手法よりも一貫して優れています。
論文 参考訳（メタデータ） (2023-12-01T01:11:22Z) - Masked Images Are Counterfactual Samples for Robust Fine-tuning [77.82348472169335]
微調整の深層学習モデルは、分布内(ID)性能と分布外(OOD)堅牢性の間のトレードオフにつながる可能性がある。
そこで本研究では,マスク付き画像を対物サンプルとして用いて,ファインチューニングモデルのロバスト性を向上させる新しいファインチューニング手法を提案する。
論文 参考訳（メタデータ） (2023-03-06T11:51:28Z) - Rethinking Semi-Supervised Medical Image Segmentation: A
Variance-Reduction Perspective [51.70661197256033]
医用画像セグメンテーションのための階層化グループ理論を用いた半教師付きコントラスト学習フレームワークARCOを提案する。
まず、分散還元推定の概念を用いてARCOを構築することを提案し、特定の分散還元技術が画素/ボクセルレベルのセグメンテーションタスクにおいて特に有用であることを示す。
5つの2D/3D医療データセットと3つのセマンティックセグメンテーションデータセットのラベル設定が異なる8つのベンチマークで、我々のアプローチを実験的に検証する。
論文 参考訳（メタデータ） (2023-02-03T13:50:25Z) - ProCo: Prototype-aware Contrastive Learning for Long-tailed Medical
Image Classification [12.399428395862639]
我々は、長い尾の医療不均衡問題に取り組むために、対照的な学習を採用する。
全体的なフレームワーク、すなわちPrototype-aware Contrastive Learning (ProCo)は、単一のステージパイプラインとして統合されている。
提案手法は既存の最先端手法よりも大きなマージンで性能を向上する。
論文 参考訳（メタデータ） (2022-09-01T02:24:16Z) - Deblurring via Stochastic Refinement [85.42730934561101]
条件付き拡散モデルに基づくブラインドデブロアリングのための代替フレームワークを提案する。
提案手法は,PSNRなどの歪み指標の点で競合する。
論文 参考訳（メタデータ） (2021-12-05T04:36:09Z) - A low-rank representation for unsupervised registration of medical
images [10.499611180329804]
本稿では,低ランク表現,すなわちRegnet-LRRに基づく新しい手法を提案する。
低ランク表現は、モデルの能力と堅牢性を高め、ノイズの多いデータ登録シナリオにおいて大幅な改善をもたらすことを示す。
論文 参考訳（メタデータ） (2021-05-20T07:04:10Z) - Rank-smoothed Pairwise Learning In Perceptual Quality Assessment [26.599014990168836]
階層的確率でペアワイドな経験的確率を正規化することで、より信頼性の高いトレーニング損失がもたらされることを示す。
画像品質評価モデルのトレーニングにおいて,ランクスムースな損失が人間の嗜好を予測する精度を常に向上させることを示す。
論文 参考訳（メタデータ） (2020-11-21T23:33:14Z) - Background Splitting: Finding Rare Classes in a Sea of Background [55.03789745276442]
我々は,少数の稀なカテゴリの画像分類のための,高精度な深層モデルの訓練という現実的な問題に焦点をあてる。
これらのシナリオでは、ほとんどの画像はデータセットの背景カテゴリに属します(データセットの95%は背景です)。
非バランスなデータセットをトレーニングするための標準的な微調整アプローチと最先端アプローチの両方が、この極端な不均衡の存在下で正確な深層モデルを生成していないことを実証する。
論文 参考訳（メタデータ） (2020-08-28T23:05:15Z) - Better Fine-Tuning by Reducing Representational Collapse [77.44854918334232]
既存の訓練済み言語モデルに対するアプローチは不安定であることが示されている。
本稿では,従来使用されていた対数目的をパラメトリックノイズに置き換える信頼領域理論に根ざした手法を提案する。
事前学習されたモデルは、微調整されるたびにより一般化可能な表現を維持している。
論文 参考訳（メタデータ） (2020-08-06T02:13:16Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。