論文の概要: Pre-trained Models Succeed in Medical Imaging with Representation Similarity Degradation

• arxiv url: http://arxiv.org/abs/2503.07958v1
• Date: Tue, 11 Mar 2025 01:37:54 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-12 15:43:53.122310
• Title: Pre-trained Models Succeed in Medical Imaging with Representation Similarity Degradation
• Title（参考訳）: 表現類似性劣化を伴う医用画像の事前訓練モデル
• Authors: Wenqiang Zu, Shenghao Xie, Hao Chen, Lei Ma,
• Abstract要約: 本研究は,表現類似性軌跡の定量化と解析を中心とした厳密な問題定義を確立する。 実験結果から,タスクの精度と事前学習した起源との類似性の両方を保った高性能モデルが存在する可能性が示唆された。
• 参考スコア（独自算出の注目度）: 6.545152478351316
• License:
• Abstract: This paper investigates the critical problem of representation similarity evolution during cross-domain transfer learning, with particular focus on understanding why pre-trained models maintain effectiveness when adapted to medical imaging tasks despite significant domain gaps. The study establishes a rigorous problem definition centered on quantifying and analyzing representation similarity trajectories throughout the fine-tuning process, while carefully delineating the scope to encompass both medical image analysis and broader cross-domain adaptation scenarios. Our empirical findings reveal three critical discoveries: the potential existence of high-performance models that preserve both task accuracy and representation similarity to their pre-trained origins; a robust linear correlation between layer-wise similarity metrics and representation quality indicators; and distinct adaptation patterns that differentiate supervised versus self-supervised pre-training paradigms. The proposed similarity space framework not only provides mechanistic insights into knowledge transfer dynamics but also raises fundamental questions about optimal utilization of pre-trained models. These results advance our understanding of neural network adaptation processes while offering practical implications for transfer learning strategies that extend beyond medical imaging applications. The code will be available once accepted.
• Abstract（参考訳）: 本稿では、ドメイン間移動学習における表現類似性進化の重要課題について検討し、特に、ドメイン間差が大きいにもかかわらず、医療画像タスクに適応する際に、事前学習したモデルが有効である理由を理解することに焦点を当てる。 本研究は、微調整過程を通じて表現類似性軌跡の定量化と解析を主眼とした厳密な問題定義を確立し、医療画像解析とクロスドメイン適応シナリオの両方を包含する範囲を慎重に規定する。 実験結果から,タスク精度と表現類似性の両方を保持する高性能モデルの存在の可能性,レイヤワイド類似度指標と表現品質指標との堅牢な線形相関,教師付き事前学習パラダイムと自己指導型事前学習パラダイムを区別する適応パターン,の3つの重要な発見が明らかになった。 提案した類似性空間フレームワークは、知識伝達力学の力学的な洞察を提供するだけでなく、事前学習されたモデルの最適利用に関する根本的な疑問も提起する。 これらの結果は、医用画像アプリケーションを超えて広がる伝達学習戦略に実践的な意味を提供しながら、ニューラルネットワーク適応プロセスの理解を深める。 コードは一度受け入れられるでしょう。

関連論文リスト

• When Medical Imaging Met Self-Attention: A Love Story That Didn't Quite Work Out [8.113092414596679]
  2つの異なる医療データセットに異なる自己注意変異を持つ、広く採用されている2つの畳み込みアーキテクチャを拡張します。 完全畳み込みモデルに比べてバランスの取れた精度は著しく改善されていない。 また, 皮膚病変画像における皮膚内視鏡像などの重要な特徴は, 自己注意を用いても学ばないことが明らかとなった。
  論文  参考訳（メタデータ） (2024-04-18T16:18:41Z)
• Boosting Few-Shot Learning with Disentangled Self-Supervised Learning and Meta-Learning for Medical Image Classification [8.975676404678374]
  低データ体制下で訓練されたモデルの性能と一般化能力を改善するための戦略を提案する。 提案手法は、自己教師付き学習環境において学習した特徴をアンタングル化して、下流タスクの表現の堅牢性を向上する事前学習段階から開始する。 次に、メタファインニングのステップを導入し、メタトレーニングとメタテストフェーズの関連クラスを活用するが、レベルは変化する。
  論文  参考訳（メタデータ） (2024-03-26T09:36:20Z)
• Understanding Calibration of Deep Neural Networks for Medical Image Classification [3.461503547789351]
  本研究では,異なるトレーニング体制下でのモデル性能とキャリブレーションについて検討する。 本研究は,完全教師付きトレーニングと,移動学習を伴わない回転型自己教師方式について考察する。 本研究では,重み分布や学習表現の類似性などの要因が,モデルで観測されるキャリブレーション傾向と相関していることを明らかにする。
  論文  参考訳（メタデータ） (2023-09-22T18:36:07Z)
• Causality-Driven One-Shot Learning for Prostate Cancer Grading from MRI [1.049712834719005]
  本稿では,画像中の弱い因果信号を学習し,活用する医用画像の自動分類手法を提案する。 我々のフレームワークは畳み込みニューラルネットワークのバックボーンと因果抽出モジュールで構成されている。 本研究は,特徴間の因果関係が,関連情報を識別するモデルの能力を高める上で重要な役割を担っていることを示す。
  論文  参考訳（メタデータ） (2023-09-19T16:08:33Z)
• Taxonomy Adaptive Cross-Domain Adaptation in Medical Imaging via Optimization Trajectory Distillation [73.83178465971552]
  自動医用画像解析の成功は、大規模かつ専門家による注釈付きトレーニングセットに依存する。 非教師なしドメイン適応(UDA)はラベル付きデータ収集の負担を軽減するための有望なアプローチである。 本稿では,2つの技術的課題に新しい視点から対処する統一的手法である最適化トラジェクトリ蒸留を提案する。
  論文  参考訳（メタデータ） (2023-07-27T08:58:05Z)
• Data-driven emergence of convolutional structure in neural networks [83.4920717252233]
  識別タスクを解くニューラルネットワークが、入力から直接畳み込み構造を学習できることを示す。 データモデルを慎重に設計することにより、このパターンの出現は、入力の非ガウス的、高次局所構造によって引き起こされることを示す。
  論文  参考訳（メタデータ） (2022-02-01T17:11:13Z)
• On the Robustness of Pretraining and Self-Supervision for a Deep Learning-based Analysis of Diabetic Retinopathy [70.71457102672545]
  糖尿病網膜症における訓練方法の違いによる影響を比較検討した。 本稿では,定量的性能,学習した特徴表現の統計,解釈可能性,画像歪みに対する頑健性など,さまざまな側面について検討する。 以上の結果から,ImageNet事前学習モデルでは,画像歪みに対する性能,一般化,堅牢性が著しく向上していることが示唆された。
  論文  参考訳（メタデータ） (2021-06-25T08:32:45Z)
• Deep Co-Attention Network for Multi-View Subspace Learning [73.3450258002607]
  マルチビューサブスペース学習のための深層コアテンションネットワークを提案する。 共通情報と相補情報の両方を敵意で抽出することを目的としている。 特に、新しいクロス再構成損失を使用し、ラベル情報を利用して潜在表現の構築を誘導する。
  論文  参考訳（メタデータ） (2021-02-15T18:46:44Z)
• Few-shot Medical Image Segmentation using a Global Correlation Network with Discriminative Embedding [60.89561661441736]
  医療画像分割のための新しい手法を提案する。 深層畳み込みネットワークを用いた数ショット画像セグメンタを構築します。 深層埋め込みの識別性を高め,同一クラスの特徴領域のクラスタリングを促進する。
  論文  参考訳（メタデータ） (2020-12-10T04:01:07Z)
• Semi-supervised Medical Image Classification with Relation-driven Self-ensembling Model [71.80319052891817]
  医用画像分類のための関係駆動型半教師付きフレームワークを提案する。 これは、摂動下で与えられた入力の予測一貫性を促進することでラベルのないデータを利用する。 本手法は,シングルラベルおよびマルチラベル画像分類のシナリオにおいて,最先端の半教師付き学習手法よりも優れる。
  論文  参考訳（メタデータ） (2020-05-15T06:57:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。