論文の概要: Self-supervised Pre-training Helps Retinal Disease Progression Modelling Most When Data Is Scarce

• arxiv url: http://arxiv.org/abs/2609.12834v1
• Date: Fri, 11 Sep 2026 13:28:36 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-15 07:38:31.759998
• Title: Self-supervised Pre-training Helps Retinal Disease Progression Modelling Most When Data Is Scarce
• Title（参考訳）: 自己教師による事前トレーニングは、データが失われるときに網膜疾患の進行をモデル化するのに役立つ
• Abstract要約: 病気の進行をモデル化するには、画像の縦方向のコホートが必要である。 このようなデータに対する自己教師付き事前トレーニングは、このギャップを埋める方法を提供する。 加齢黄斑変性症(AMD)に対する検討 汎用(DINOv2)とドメイン固有(RETFound)ファウンデーションモデルとの比較を行った。
• 参考スコア（独自算出の注目度）: 5.183784643227601
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Modelling how a disease progresses over time requires longitudinal imaging cohorts, which are scarce and small, whereas cross-sectional data -- one image per participant -- is abundant. Self-supervised pre-training on such data offers a way to bridge this gap, but it is unclear which strategy best supports progression modelling, or how that answer depends on the amount of labelled longitudinal data. We study this for age-related macular degeneration (AMD), pre-training encoders on the large cross-sectional NAKO cohort and predicting time to late AMD on the longitudinal AREDS dataset. We compare in-house self-supervised encoders against a general-purpose (DINOv2) and a domain-specific (RETFound) foundation model, across contrastive, masked-autoencoding, and self-distillation objectives, under frozen and fine-tuned protocols, and across labelled training sets from 100 to 32,250 examples. Which model performs best depends on how the encoder is used. When the encoder is frozen and labels are few -- the regime typical of longitudinal cohorts -- pre-trained representations reach clinically reasonable discrimination from a few hundred labelled samples, while models trained from scratch do not; this advantage fades under fine-tuning. Transfer is governed by the self-supervision objective rather than corpus scale or domain match, so that an encoder pre-trained on a modest cross-sectional cohort matches or exceeds a far larger in-domain foundation model. Together, these results offer a practical recipe for building progression models where longitudinal data is scarce: a frozen self-supervised encoder with a lightweight survival head.
• Abstract（参考訳）: 病気が時間とともにどのように進行するかをモデル化するには、短い画像と小さい画像の縦方向のコホートが必要である。 このようなデータに対する自己教師付き事前トレーニングは、このギャップを埋める手段を提供するが、どの戦略が進行モデリングを最もサポートしているか、その答えがラベル付き長手データの量に依存するかは不明である。 年齢関連黄斑変性(AMD),大断面NAKOコホートにおける事前訓練エンコーダ,縦軸AREDSデータセットにおけるAMDの遅延時間予測について検討した。 汎用(DINOv2)とドメイン固有(RETFound)ファンデーションモデル(コントラスト、マスク付きオートコーディング、自己蒸留目的)を、冷凍・微調整されたプロトコルの下で、100から32,250例のラベル付きトレーニングセットで比較した。 どのモデルが最も機能するかは、エンコーダの使用方法によって異なる。 エンコーダが凍結され、ラベルがほとんどない場合(縦長のコホートに典型的)、事前訓練された表現は数百のラベル付きサンプルから臨床的に合理的に識別され、一方、スクラッチから訓練されたモデルはそうではない。 転送は、コーパススケールやドメインマッチではなく、セルフスーパービジョンの目的によって管理されるので、適度なクロスセクションコホートマッチで事前訓練されたエンコーダは、はるかに大きなドメイン内基盤モデルを超える。 これらの結果は,凍結した自己教師型エンコーダと軽量サバイバルヘッドという,長手データが少ない進行モデルを構築するための実用的なレシピを提供する。

関連論文リスト

• MAE-Based Self-Supervised Pretraining for Data-Efficient Medical Image Segmentation Using nnFormer [0.5437050212139087]
  nnFormerを含むトランスフォーマーアーキテクチャは、ボリューム医療画像セグメンテーションにおいて有望な結果を示してきた。 これらのモデルは大量のラベル付きトレーニングデータを必要とし、過度に適合し、トレーニングが不安定になる可能性がある。 これは、時間を要しただけでなく、専門家が注記した医用画像の入手にも費用がかかるため、深刻な実務上の問題である。 我々は、自己教師付き事前学習フレームワークを用いて、nnFormerの効率を向上することで、これらの欠点を解決した。
  論文  参考訳（メタデータ） (2026-04-22T11:29:08Z)
• The Mean is the Mirage: Entropy-Adaptive Model Merging under Heterogeneous Domain Shifts in Medical Imaging [3.597779662054083]
  予期せぬテスト時間分散シフトの下でのモデルのマージは、平均的な信頼性の低下など、単純な戦略を反映することが多い。 本稿では,前方パスのみを介してバッチ固有のマージモデルを生成するエントロピー適応型完全オンラインモデルマージ手法を提案する。 本研究では,9つの医学領域および自然領域の一般化画像分類データセットにまたがる2つのバックボーンを用いて,最先端のベースラインを用いた手法を広範に評価した。
  論文  参考訳（メタデータ） (2026-02-24T21:06:19Z)
• CoDA: From Text-to-Image Diffusion Models to Training-Free Dataset Distillation [71.52209438343928]
  コア分散アライメント(Core Distribution Alignment, CoDA)は、市販のテキスト・ツー・イメージモデルのみを使用して効果的な蒸留(DD)を可能にするフレームワークである。 私たちのキーとなるアイデアは、まず、ロバストな密度ベースの発見メカニズムを使用して、ターゲットデータセットの"固有のコア分布"を識別することです。 そうすることで、CoDAは汎用的な生成先行とターゲットセマンティクスのギャップを効果的に埋める。
  論文  参考訳（メタデータ） (2025-12-03T14:45:57Z)
• Unlabeled Data vs. Pre-trained Knowledge: Rethinking SSL in the Era of Large Models [24.291082472792905]
  半教師付き学習(SSL)は、ラベルのないデータを活用することにより、データラベリングプロセスのコストを軽減する。 事前トレーニングされたモデルを活用することは、下流タスクのラベル不足に対処するための有望な方法になる。 ラベル付きデータが制限されている場合、ラベルなしのデータや事前訓練済みのモデルに頼るべきか?
  論文  参考訳（メタデータ） (2025-05-19T16:29:20Z)
• Domain Adaptive Diabetic Retinopathy Grading with Model Absence and Flowing Data [45.75724873443564]
  ドメインシフトは、糖尿病網膜症などの臨床応用において重要な課題である。 本稿では,データ中心の観点から適応可能なGUES(Generative Unadversarial Examples)を提案する。
  論文  参考訳（メタデータ） (2024-12-02T07:14:25Z)
• Towards Theoretical Understandings of Self-Consuming Generative Models [56.84592466204185]
  本稿では,自己消費ループ内で生成モデルを訓練する新たな課題に取り組む。 我々は,このトレーニングが将来のモデルで学習したデータ分布に与える影響を厳格に評価するための理論的枠組みを構築した。 カーネル密度推定の結果は,混合データトレーニングがエラー伝播に与える影響など,微妙な洞察を与える。
  論文  参考訳（メタデータ） (2024-02-19T02:08:09Z)
• Refine, Discriminate and Align: Stealing Encoders via Sample-Wise Prototypes and Multi-Relational Extraction [57.16121098944589]
  RDAは、事前訓練されたエンコーダを盗むために、以前の取り組みで普及した2つの主要な欠陥に対処するために設計された先駆的なアプローチである。 これは、サンプルの様々な視点に対してターゲットエンコーダの表現を統一するサンプルワイドプロトタイプによって達成される。 より強力な有効性を得るために、我々はサロゲートエンコーダを訓練し、ミスマッチした埋め込み-プロトタイプペアを識別するマルチリレーショナル抽出損失を開発する。
  論文  参考訳（メタデータ） (2023-12-01T15:03:29Z)
• Complexity Matters: Rethinking the Latent Space for Generative Modeling [65.64763873078114]
  生成的モデリングにおいて、多くの成功したアプローチは、例えば安定拡散のような低次元の潜在空間を利用する。 本研究では, モデル複雑性の観点から潜在空間を再考することにより, 未探索の話題に光を当てることを目的としている。
  論文  参考訳（メタデータ） (2023-07-17T07:12:29Z)
• Self-Distillation for Further Pre-training of Transformers [83.84227016847096]
  我々は、さらなる事前学習段階の正則化として自己蒸留を提案する。 画像およびテキスト分類タスクのための様々なベンチマークデータセットにおける自己蒸留の有効性を実証的に検証する。
  論文  参考訳（メタデータ） (2022-09-30T02:25:12Z)
• Improving self-supervised pretraining models for epileptic seizure detection from EEG data [0.23624125155742057]
  本稿では、時系列に基づく拡散畳み込みニューラルネットワーク(DCRNN)モデルの性能を高めるための様々な自己超越戦略を提案する。 自己超越事前訓練フェーズの学習重量は、モデルの予測能力を高めるために教師付きトレーニングフェーズに移行することができる。
  論文  参考訳（メタデータ） (2022-06-28T17:15:49Z)
• SANSformers: Self-Supervised Forecasting in Electronic Health Records with Attention-Free Models [48.07469930813923]
  本研究は,医療施設への患者訪問数を予測することにより,医療サービスの需要を予測することを目的とする。 SNSformerは、特定の帰納バイアスを設計し、EHRデータの特異な特徴を考慮に入れた、注意のない逐次モデルである。 本研究は, 各種患者集団を対象とした医療利用予測の修正における, 注意力のないモデルと自己指導型事前訓練の有望な可能性について考察した。
  論文  参考訳（メタデータ） (2021-08-31T08:23:56Z)
• Contrastive Model Inversion for Data-Free Knowledge Distillation [60.08025054715192]
  そこで、データ多様性を最適化可能な目的として明示的にモデル化するContrastive Model Inversionを提案します。 我々の主な観察では、同じ量のデータの制約の下では、高いデータの多様性は、通常より強いインスタンス識別を示す。 CIFAR-10, CIFAR-100, Tiny-ImageNetを用いた実験により, 生成したデータを知識蒸留に使用する場合, CMIは極めて優れた性能を示すことが示された。
  論文  参考訳（メタデータ） (2021-05-18T15:13:00Z)
• Self-Training with Improved Regularization for Sample-Efficient Chest X-Ray Classification [80.00316465793702]
  挑戦的なシナリオで堅牢なモデリングを可能にするディープラーニングフレームワークを提案する。 その結果,85%のラベル付きデータを用いて,大規模データ設定で学習した分類器の性能に適合する予測モデルを構築することができた。
  論文  参考訳（メタデータ） (2020-05-03T02:36:00Z)
• Synthetic vascular structure generation for unsupervised pre-training in CTA segmentation tasks [0.0]
  我々は脳卒中患者の治療における洞察を提供するために,血管セグメンテーションタスクでU-netアーキテクチャを訓練する。 そこで我々は,頭部のCTスキャンにブレンド可能な人工血管構造を生成する計算モデルを構築した。
  論文  参考訳（メタデータ） (2020-01-02T23:21:22Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。