論文の概要: CAMEL: Cross-Architecture Masked Embedding Learning for Ultra-Lightweight Retinal Foundation Models

• arxiv url: http://arxiv.org/abs/2610.40954v1
• Date: Thu, 29 Oct 2026 20:33:32 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-11-02 22:05:31.49031
• Title: CAMEL: Cross-Architecture Masked Embedding Learning for Ultra-Lightweight Retinal Foundation Models
• Title（参考訳）: CAMEL:超軽量網膜基礎モデルのためのクロスアーキテクチャ仮面埋め込み学習
• Abstract要約: 近年の深層学習の進歩は眼科疾患の段階的自動評価に大きく進歩している。 最先端のパフォーマンスと臨床のスケーラビリティの間には、大きなギャップが残っている。 CAMELは、新しいクロスアーキテクチャ・マスケード・埋め込み学習フレームワークである。
• 参考スコア（独自算出の注目度）: 0.6445594641258018
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Recent progress in deep learning has substantially advanced automated grading of ophthalmologic pathologies, supported by large annotated datasets and improved representation learning. However, a significant gap remains between state-of-the-art performance and clinical scalability. In particular, foundation models have reshaped image-based medical screening and diagnosis. These large-scale architectures trained on extensive datasets learn rich, generalizable feature representations that can be adapted to a wide range of downstream tasks. In ophthalmology, RETFound, one of the most relevant foundation models for retinal images, performs strongly across classification, segmentation, and risk prediction tasks. Despite their effectiveness, foundation models are often computationally prohibitive, hindering their deployment in real-world clinical environments where hardware constraints and latency are critical. To bridge this gap, we introduce CAMEL (Cross-Architecture Masked Embedding Learning), a novel cross-architecture distillation framework that uses an asymmetric masking strategy during embedding learning to effectively transfer knowledge from massive teacher foundation models to compact, lightweight student models. Our experimental evaluation across four datasets shows that CAMEL preserves accuracy while drastically reducing computational complexity, enabling lightweight yet highly accurate models suitable for resource-limited clinical settings.
• Abstract（参考訳）: 近年の深層学習の進歩により,眼科疾患の段階的自動評価が大幅に進歩し,大きな注釈付きデータセットがサポートされ,表現学習が改善されている。 しかし、最先端の性能と臨床のスケーラビリティの間には大きなギャップが残っている。 特に、基礎モデルでは、画像ベースの医療スクリーニングと診断が再形成されている。 広範なデータセットに基づいてトレーニングされたこれらの大規模アーキテクチャは、幅広い下流タスクに適応可能なリッチで一般化可能な特徴表現を学習する。 眼科学において、網膜画像の最も関連性の高い基盤モデルであるRETFoundは、分類、セグメンテーション、リスク予測タスクを強く横断する。 その効果にもかかわらず、ファンデーションモデルはしばしば計算的に禁止され、ハードウェアの制約と遅延が重要となる実際の臨床環境への展開を妨げる。 このギャップを埋めるために、我々はCAMEL(Cross-Architecture Masked Embedding Learning)という新しいクロスアーキテクチャ蒸留フレームワークを紹介した。 4つのデータセットを対象とした実験の結果,CAMELは計算量を大幅に削減しながら精度を保ち,リソース制限された臨床環境に適した軽量かつ高精度なモデルを実現することができた。

関連論文リスト

• MIL-PF: Multiple Instance Learning on Precomputed Features for Mammography Classification [1.137457877869062]
  本稿では,凍結基盤エンコーダと軽量MILヘッドを併用してマンモグラフィ分類を行うスケーラブルなフレームワークを提案する。 MIL-PFは、臨床レベルでの最先端の分類性能を達成し、トレーニングの複雑さを著しく低減する。
  論文  参考訳（メタデータ） (2026-03-10T08:49:33Z)
• A Semantically Enhanced Generative Foundation Model Improves Pathological Image Synthesis [82.01597026329158]
  本稿では,組織合成のための相関調整フレームワーク(CRAFTS)について紹介する。 CRAFTSは、生物学的精度を確保するためにセマンティックドリフトを抑制する新しいアライメント機構を組み込んでいる。 本モデルは,30種類の癌にまたがる多彩な病理像を生成する。
  論文  参考訳（メタデータ） (2025-12-15T10:22:43Z)
• Benchmarking Foundation Models for Mitotic Figure Classification [0.37334049820361814]
  自己教師付き学習技術は、大規模なニューラルネットワークのトレーニングに大量のラベルのないデータを使用することを可能にした。 本研究では,ミオティックフィギュア分類における基礎モデルの利用について検討する。 我々は、すべてのモデルと、CNNとVision Transformerの両方のエンドツーエンドトレーニングベースラインを比較した。
  論文  参考訳（メタデータ） (2025-08-06T13:30:40Z)
• Iterative Misclassification Error Training (IMET): An Optimized Neural Network Training Technique for Image Classification [0.5115559623386964]
  カリキュラム学習とコアセット選択に触発された新しいフレームワークであるIMET(Iterative Misclassification Error Training)を紹介する。 IMETは、トレーニングプロセスの合理化を図りつつ、エッジケースに対するモデルの注意を先入観的かつ稀な結果に優先順位付けしながら、誤分類されたサンプルを特定することを目的としている。 本稿では,最新のResNetアーキテクチャに対するベンチマーク医用画像分類データセット上でのIMETの性能を評価する。
  論文  参考訳（メタデータ） (2025-07-01T04:14:16Z)
• PRETI: Patient-Aware Retinal Foundation Model via Metadata-Guided Representation Learning [3.771396977579353]
  PreTIは、メタデータ認識学習と堅牢な自己教師付き表現学習を統合した網膜基盤モデルである。 患者レベルのデータペアを構築し、同一人物の画像を関連付けることにより、非臨床的変動に対する堅牢性を向上させる。 実験では、PreTIは様々な疾患やバイオマーカー予測にまたがって最先端の結果を達成することを示した。
  論文  参考訳（メタデータ） (2025-05-18T04:59:03Z)
• Advancing Multiple Instance Learning with Continual Learning for Whole Slide Imaging [42.60974095443297]
  MILモデルの注意層でCLを解析し,主にMILモデルの注意層に集中していることを確認した。 MILにおけるCL改善のための2つのコンポーネントを提案する: 意識的知識蒸留(AKD)と擬似Bagメモリプール(PMP)。
  論文  参考訳（メタデータ） (2025-05-15T18:41:49Z)
• Benchmarking Retinal Blood Vessel Segmentation Models for Cross-Dataset and Cross-Disease Generalization [5.237321836999284]
  公開されているFIVESファウンダスイメージデータセット上で,5つの公開モデルをトレーニングし,評価する。 画像の品質がセグメンテーションの結果を決定する重要な要因であることがわかった。
  論文  参考訳（メタデータ） (2024-06-21T09:12:34Z)
• An Adversarial Active Sampling-based Data Augmentation Framework for Manufacturable Chip Design [55.62660894625669]
  リソグラフィーモデリングは、チップ設計マスクが製造可能であることを保証するため、チップ設計において重要な問題である。 機械学習の最近の進歩は、時間を要するリソグラフィーシミュレーションをディープニューラルネットワークに置き換えるための代替ソリューションを提供している。 本稿では,限られたデータのジレンマを解消し,機械学習モデルの性能を向上させるために,データ拡張フレームワークを提案する。
  論文  参考訳（メタデータ） (2022-10-27T20:53:39Z)
• Intelligent Masking: Deep Q-Learning for Context Encoding in Medical Image Analysis [48.02011627390706]
  我々は,対象地域を排除し,事前訓練の手順を改善する,新たな自己指導型アプローチを開発した。 予測モデルに対してエージェントを訓練することで、下流の分類タスクで抽出した意味的特徴を大幅に改善できることを示す。
  論文  参考訳（メタデータ） (2022-03-25T19:05:06Z)
• Many-to-One Distribution Learning and K-Nearest Neighbor Smoothing for Thoracic Disease Identification [83.6017225363714]
  ディープラーニングは、病気の識別性能を改善するための最も強力なコンピュータ支援診断技術となった。 胸部X線撮影では、大規模データの注釈付けには専門的なドメイン知識が必要で、時間を要する。 本論文では、単一モデルにおける疾患同定性能を改善するために、複数対1の分布学習(MODL)とK-nearest neighbor smoothing(KNNS)手法を提案する。
  論文  参考訳（メタデータ） (2021-02-26T02:29:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。