論文の概要: Keeping Representation Similarity in Finetuning for Medical Image Analysis

• arxiv url: http://arxiv.org/abs/2503.07399v1
• Date: Mon, 10 Mar 2025 14:44:37 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-11 20:09:44.984044
• Title: Keeping Representation Similarity in Finetuning for Medical Image Analysis
• Title（参考訳）: 医用画像解析のためのファインタニングにおける表現類似性の維持
• Authors: Wenqiang Zu, Shenghao Xie, Hao Chen, Yiming Liang, Lei Ma,
• Abstract要約: 大規模自然画像に事前訓練された基礎モデルは、微調整によって医療画像解析に適応するために広く利用されている。 本稿では、事前訓練された表現と微調整された表現との距離を最小化する新しい微調整手法RepSimを提案する。 競合精度を維持しながら表現類似性を30%以上改善し、5つの医用画像分類データセットにおいてシャープネスを42%削減する。
• 参考スコア（独自算出の注目度）: 6.100738370924397
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Foundation models pretrained on large-scale natural images have been widely used to adapt to medical image analysis through finetuning. This is largely attributed to pretrained representations capturing universal, robust, and generalizable features, which can be reutilized by downstream tasks. However, these representations are later found to gradually vanish during finetuning, accompanied by a degradation of foundation model's original abilities, e.g., generalizability. In this paper, we argue that pretrained representations can be well preserved while still effectively adapting to downstream tasks. We study this by proposing a new finetuning method RepSim, which minimizes the distance between pretrained and finetuned representations via constraining learnable orthogonal manifold based on similarity invariance. Compared to standard finetuning methods, e.g., full finetuning, our method improves representation similarity by over 30% while maintaining competitive accuracy, and reduces sharpness by 42% across five medical image classification datasets. The code will be released.
• Abstract（参考訳）: 大規模自然画像に事前訓練された基礎モデルは、微調整によって医療画像解析に適応するために広く利用されている。 これは主に、ダウンストリームタスクによって再利用できる普遍的で堅牢で一般化可能な特徴をキャプチャする事前訓練された表現に起因している。 しかし、これらの表現はその後、基礎モデルの本来の能力、例えば一般化可能性の低下とともに、微調整中に徐々に消えていくことが判明した。 本稿では,下流タスクに適応しながら,事前学習した表現を適切に保存することができることを論じる。 本研究では、類似性不変性に基づいて学習可能な直交多様体を制約することにより、事前訓練された表現と微調整された表現との距離を最小化する新しい微調整手法RepSimを提案する。 標準的なファインタニング手法であるフルファインタニングと比較して、競合精度を維持しながら表現類似性を30%以上改善し、5つの医用画像分類データセットにおいてシャープネスを42%削減する。 コードはリリースされます。

関連論文リスト

• Interpretability-Aware Pruning for Efficient Medical Image Analysis [1.747623282473278]
  予測性能と透明性の両方を保ちながら、モデルの複雑さを軽減できる解釈可能性誘導型プルーニングフレームワークを導入する。 複数の医用画像分類ベンチマークによる実験により, 精度の低下を最小限に抑えた高い圧縮率が得られることが示された。
  論文  参考訳（メタデータ） (2025-07-11T05:58:22Z)
• Boundless Across Domains: A New Paradigm of Adaptive Feature and Cross-Attention for Domain Generalization in Medical Image Segmentation [1.93061220186624]
  ドメイン不変表現学習は、ドメイン一般化の強力な方法である。 従来のアプローチでは、高い計算要求、トレーニングの不安定性、高次元データによる限られた有効性といった課題に直面していた。 本研究では,分布空間を探索しながら分布外サンプルを生成する適応的特徴ブレンディング(AFB)手法を提案する。
  論文  参考訳（メタデータ） (2024-11-22T12:06:24Z)
• Fast constrained sampling in pre-trained diffusion models [77.21486516041391]
  拡散モデルは、大規模な生成画像モデルの分野を支配してきた。 本研究では,大規模な事前学習拡散モデルにおける高速拘束サンプリングのアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2024-10-24T14:52:38Z)
• Towards Unsupervised Blind Face Restoration using Diffusion Prior [12.69610609088771]
  ブラインド顔復元法は、教師付き学習による大規模合成データセットの訓練において、顕著な性能を示した。 これらのデータセットは、手作りの画像分解パイプラインで、低品質の顔イメージをシミュレートすることによって生成されることが多い。 本稿では, 入力画像の集合のみを用いて, 劣化が不明で, 真理の目標がない場合にのみ, 復元モデルの微調整を行うことにより, この問題に対処する。 我々の最良のモデルは、合成と実世界の両方のデータセットの最先端の結果も達成します。
  論文  参考訳（メタデータ） (2024-10-06T20:38:14Z)
• Adaptive Correspondence Scoring for Unsupervised Medical Image Registration [9.294341405888158]
  既存の手法では、画像再構成を主要な監視信号として用いている。 そこで本研究では,学習中の誤り残差を対応スコアマップで再重み付けする適応フレームワークを提案する。 我々のフレームワークは、量的にも質的にも、他の手法よりも一貫して優れています。
  論文  参考訳（メタデータ） (2023-12-01T01:11:22Z)
• PGDiff: Guiding Diffusion Models for Versatile Face Restoration via Partial Guidance [65.5618804029422]
  これまでの研究は、明示的な劣化モデルを用いて解空間を制限することで、注目すべき成功を収めてきた。 実世界の劣化に適応可能な新しい視点である部分的ガイダンスを導入することでPGDiffを提案する。 提案手法は,既存の拡散優先手法に勝るだけでなく,タスク固有モデルと良好に競合する。
  論文  参考訳（メタデータ） (2023-09-19T17:51:33Z)
• Supervised Contrastive Learning with Heterogeneous Similarity for Distribution Shifts [3.7819322027528113]
  本稿では,教師付きコントラスト学習を用いた新たな正規化手法を提案する。 サブポピュレーションシフトや領域一般化などの分布シフトをエミュレートするベンチマークデータセットの実験は,提案手法の利点を実証している。
  論文  参考訳（メタデータ） (2023-04-07T01:45:09Z)
• Masked Images Are Counterfactual Samples for Robust Fine-tuning [77.82348472169335]
  微調整の深層学習モデルは、分布内(ID)性能と分布外(OOD)堅牢性の間のトレードオフにつながる可能性がある。 そこで本研究では,マスク付き画像を対物サンプルとして用いて,ファインチューニングモデルのロバスト性を向上させる新しいファインチューニング手法を提案する。
  論文  参考訳（メタデータ） (2023-03-06T11:51:28Z)
• Rethinking Semi-Supervised Medical Image Segmentation: A Variance-Reduction Perspective [51.70661197256033]
  医用画像セグメンテーションのための階層化グループ理論を用いた半教師付きコントラスト学習フレームワークARCOを提案する。 まず、分散還元推定の概念を用いてARCOを構築することを提案し、特定の分散還元技術が画素/ボクセルレベルのセグメンテーションタスクにおいて特に有用であることを示す。 5つの2D/3D医療データセットと3つのセマンティックセグメンテーションデータセットのラベル設定が異なる8つのベンチマークで、我々のアプローチを実験的に検証する。
  論文  参考訳（メタデータ） (2023-02-03T13:50:25Z)
• ProCo: Prototype-aware Contrastive Learning for Long-tailed Medical Image Classification [12.399428395862639]
  我々は、長い尾の医療不均衡問題に取り組むために、対照的な学習を採用する。 全体的なフレームワーク、すなわちPrototype-aware Contrastive Learning (ProCo)は、単一のステージパイプラインとして統合されている。 提案手法は既存の最先端手法よりも大きなマージンで性能を向上する。
  論文  参考訳（メタデータ） (2022-09-01T02:24:16Z)
• (Certified!!) Adversarial Robustness for Free! [116.6052628829344]
  逆方向の摂動が0.5の2ノルム以内であることに制約された場合,ImageNetでは71%の精度が証明された。 これらの結果は,モデルパラメータの微調整や再学習を必要とせず,事前学習した拡散モデルと画像分類器のみを用いて得られる。
  論文  参考訳（メタデータ） (2022-06-21T17:27:27Z)
• Deblurring via Stochastic Refinement [85.42730934561101]
  条件付き拡散モデルに基づくブラインドデブロアリングのための代替フレームワークを提案する。 提案手法は,PSNRなどの歪み指標の点で競合する。
  論文  参考訳（メタデータ） (2021-12-05T04:36:09Z)
• A low-rank representation for unsupervised registration of medical images [10.499611180329804]
  本稿では,低ランク表現,すなわちRegnet-LRRに基づく新しい手法を提案する。 低ランク表現は、モデルの能力と堅牢性を高め、ノイズの多いデータ登録シナリオにおいて大幅な改善をもたらすことを示す。
  論文  参考訳（メタデータ） (2021-05-20T07:04:10Z)
• Rank-smoothed Pairwise Learning In Perceptual Quality Assessment [26.599014990168836]
  階層的確率でペアワイドな経験的確率を正規化することで、より信頼性の高いトレーニング損失がもたらされることを示す。 画像品質評価モデルのトレーニングにおいて,ランクスムースな損失が人間の嗜好を予測する精度を常に向上させることを示す。
  論文  参考訳（メタデータ） (2020-11-21T23:33:14Z)
• Posterior Differential Regularization with f-divergence for Improving Model Robustness [95.05725916287376]
  クリーン入力とノイズ入力のモデル後部差を規則化する手法に着目する。 後微分正則化を$f$-divergencesの族に一般化する。 実験の結果, 後方微分を$f$-divergenceで正規化することで, モデルロバスト性の向上が期待できることがわかった。
  論文  参考訳（メタデータ） (2020-10-23T19:58:01Z)
• Learning Invariant Representations and Risks for Semi-supervised Domain Adaptation [109.73983088432364]
  半教師付きドメイン適応(Semi-DA)の設定の下で不変表現とリスクを同時に学習することを目的とした最初の手法を提案する。 共同で textbfLearning textbfInvariant textbfRepresentations と textbfRisks の LIRR アルゴリズムを導入する。
  論文  参考訳（メタデータ） (2020-10-09T15:42:35Z)
• Background Splitting: Finding Rare Classes in a Sea of Background [55.03789745276442]
  我々は,少数の稀なカテゴリの画像分類のための,高精度な深層モデルの訓練という現実的な問題に焦点をあてる。 これらのシナリオでは、ほとんどの画像はデータセットの背景カテゴリに属します(データセットの95%は背景です)。 非バランスなデータセットをトレーニングするための標準的な微調整アプローチと最先端アプローチの両方が、この極端な不均衡の存在下で正確な深層モデルを生成していないことを実証する。
  論文  参考訳（メタデータ） (2020-08-28T23:05:15Z)
• Better Fine-Tuning by Reducing Representational Collapse [77.44854918334232]
  既存の訓練済み言語モデルに対するアプローチは不安定であることが示されている。 本稿では,従来使用されていた対数目的をパラメトリックノイズに置き換える信頼領域理論に根ざした手法を提案する。 事前学習されたモデルは、微調整されるたびにより一般化可能な表現を維持している。
  論文  参考訳（メタデータ） (2020-08-06T02:13:16Z)
• Robust model training and generalisation with Studentising flows [22.757298187704745]
  本稿では、ロバストな(特に耐性のある)統計からの洞察に基づいて、これらの手法をさらに改善する方法について論じる。 本稿では, ガウス分布の簡易なドロップイン置換として, 太い尾の潜伏分布を持つフローベースモデルを提案する。 いくつかの異なるデータセットの実験により、提案手法の有効性が確認された。
  論文  参考訳（メタデータ） (2020-06-11T16:47:01Z)
• Convex Representation Learning for Generalized Invariance in Semi-Inner-Product Space [32.442549424823355]
  本研究では, 半ノルムにおける多種多様な一般化表現のアルゴリズムを開発し, 先頭の表現子を定式化し, 境界を定式化する。 これにより、正確な予測とともに、我々の実験で確認されているように、表現を効率的かつ効果的に学習することができる。
  論文  参考訳（メタデータ） (2020-04-25T18:54:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。