論文の概要: Learning When to Recur: Token-Adaptive Recursion for Imbalanced Ophthalmic Domain Incremental Learning
- arxiv url: http://arxiv.org/abs/2609.32785v1
- Date: Sat, 26 Sep 2026 17:01:35 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-06 20:16:32.763166
- Title: Learning When to Recur: Token-Adaptive Recursion for Imbalanced Ophthalmic Domain Incremental Learning
- Title(参考訳): 不均衡眼科インクリメンタルラーニングにおけるトークン適応型再帰の学習
- Abstract要約: ToReは、ドメインインクリメンタル学習のためのリハーサル不要でパラメータ効率のよいフレームワークである。
ラベル分布シフトとスタイルバリエーションの両方によって引き起こされる破滅的な忘れを緩和する。
Toreは、全体的なパフォーマンスにおいて、最先端のメソッドを一貫して上回る。
- 参考スコア(独自算出の注目度): 14.43013141251379
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Domain incremental learning is essential for adapting ophthalmic deep learning models to sequential clinical domains while preserving diagnostic expertise. Existing domain incremental learning methods predominantly address the domain shift induced by style variations. However, they often overlook the severe class imbalance inherent in real-world clinical scenarios, such as clinical referral systems. Institutions in these systems encounter drastic fluctuations in class priors, resulting in label distribution shift, a critical form of domain shift that triggers severe catastrophic forgetting. To address these challenges, we propose ToRe, a rehearsal-free and parameter-efficient framework that leverages frozen ophthalmic foundation models for robust incremental adaptation. ToRe employs a parameter isolation strategy to decouple domain-specific optimization paths, thereby helping mitigate catastrophic forgetting driven by both label distribution shift and style variations. Simultaneously, it introduces token-adaptive recursion that adaptively allocates additional computational depth across tokens, allowing simple tokens to exit the recursion loop early while subjecting complex tokens, such as those associated with lesions, to deeper recursive processing. This mechanism enhances the feature representations for minority classes, thereby supporting generalization throughout the domain incremental learning process. Extensive evaluations on nine heterogeneous datasets demonstrate that ToRe consistently outperforms state-of-the-art methods in overall performance across the three benchmarks, while maintaining near-zero forgetting. Together, these results support the applicability of ToRe to dynamic and imbalanced clinical environments. The code is available at https://github.com/Nancyolo/ToRe
- Abstract(参考訳): ドメインインクリメンタルな学習は、診断の専門知識を維持しながら、眼科の深層学習モデルを逐次的な臨床領域に適応させるのに不可欠である。
既存のドメインインクリメンタルな学習方法は、スタイルのバリエーションによって引き起こされるドメインシフトに主に対処する。
しかし、彼らはしばしば、臨床紹介システムのような実際の臨床シナリオに固有の深刻な階級的不均衡を見落としている。
これらのシステムの制度は、クラス先行の劇的な変動に遭遇し、重度の破滅的な忘れ込みを引き起こす重要なドメインシフトであるラベル分布シフトをもたらす。
これらの課題に対処するために,凍結眼底モデルを利用したリハーサルフリーでパラメータ効率のよいToReを提案する。
ToReは、パラメータ分離戦略を用いて、ドメイン固有の最適化パスを分離し、ラベル分布シフトとスタイルバリエーションの両方によって駆動される破滅的な忘れを緩和する。
同時にトークン適応再帰を導入し、トークン間で追加の計算深度を適応的に割り当て、単純なトークンを早期に再帰ループから抜け出し、病変に関連するような複雑なトークンを深く再帰処理することを可能にする。
このメカニズムはマイノリティクラスの特徴表現を強化し、ドメインインクリメンタル学習プロセス全体の一般化を支援する。
9つの異種データセットに対する広範囲な評価は、ToReが3つのベンチマーク全体のパフォーマンスにおいて、ほぼゼロに近い忘れを保ちながら、最先端のメソッドを一貫して上回っていることを示している。
これらの結果は、ダイナミックで不均衡な臨床環境へのToReの適用性を支持する。
コードはhttps://github.com/Nancyolo/ToReで公開されている。
関連論文リスト
- Adaptive Recurrent Message Passing for Test Time Computing on Graphs [80.56829418752513]
繰り返しグラフモデルでは,グラフデータとアーキテクチャ設計の固有のミスマッチを克服できることを示す。
本稿では,アダプティブ・リカレントグラフモデルであるAdaRを提案する。
論文 参考訳(メタデータ) (2026-06-21T12:14:11Z) - Online Continual Learning with Dynamic Label Hierarchies [72.33335166136045]
粒度をまたいで重大度が進化する新しい問題設定であるDHOCLを導入し,各サンプルは単一階層レベルでの監視を行う。
i) 混合粒度の部分的監視は、塑性を制約し、階層間のセマンティック一貫性を損なう、進化するパスワイド階層上のポイントワイド信号のみを提供する。
本稿では,相補的分類を適応的に組み合わせ,学習可能な階層型プロトタイプによって正規化し,素早い適応,階層的整合性,構造的知識の統合を可能にするHALOを提案する。
論文 参考訳(メタデータ) (2026-05-12T08:20:23Z) - Rethinking Entropy Minimization in Test-Time Adaptation for Autoregressive Models [52.18157855348584]
エントロピー最小化(EM)によるテスト時間適応(TTA)は分類作業に有効であることが証明されているが、その応用は理論的に断片化されている。
本研究では,自己回帰モデルに適した厳密なEMの定式化を導出する。
本研究の目的は,トークンレベルの政策勾配損失とトークンレベルのエントロピー損失に自然に分解されることを示し,従来の手法を統一された定式化の部分的実現として再解釈する。
テストベッドとしてWhisper ASRを用いることで、音響ノイズ、アクセント、多言語設定を含む20以上の異なる領域のパフォーマンスを継続的に向上することを示す。
論文 参考訳(メタデータ) (2026-05-05T12:00:06Z) - Self-Supervised Multi-Stage Domain Unlearning for White-Matter Lesion Segmentation [0.0]
自己教師型多段階アンラーニングに基づく教師なしドメイン適応手法を提案する。
一方、SSMSUは、病変の感度を高め、誤検出を制限することにより、未学習の利点を示した。
論文 参考訳(メタデータ) (2026-03-04T22:27:20Z) - Learning by Steering the Neural Dynamics: A Statistical Mechanics Perspective [0.0]
我々は、ニューラルネットワークが完全に局所的な分散学習をサポートする方法について研究する。
そこで本研究では,任意のバイナリ再帰ネットワークを用いた教師あり学習のための生物学的に妥当なアルゴリズムを提案する。
論文 参考訳(メタデータ) (2025-10-13T22:28:34Z) - Preserving Plasticity in Continual Learning with Adaptive Linearity Injection [10.641213440191551]
ディープニューラルネットワークにおける可塑性の喪失は、漸進的に学習するモデルの能力が徐々に低下することである。
近年の研究では、深い線形ネットワークは可塑性の喪失に対して弾力性があることが示されている。
適応線形化(AdaLin)は,各ニューロンの活性化機能を動的に適応し,可塑性損失を軽減する一般的な手法である。
論文 参考訳(メタデータ) (2025-05-14T15:36:51Z) - ECLIPSE: Efficient Continual Learning in Panoptic Segmentation with Visual Prompt Tuning [54.68180752416519]
パノプティカルセグメンテーション(英: Panoptic segmentation)は、コンピュータビジョンの最先端タスクである。
ECLIPSE と呼ばれる Visual Prompt Tuning をベースとした,新規で効率的なパノプティカルセグメンテーション手法を提案する。
我々のアプローチは、基本モデルのパラメータを凍結し、小さなプロンプト埋め込みだけを微調整することであり、破滅的な忘れ物と塑性の両方に対処する。
論文 参考訳(メタデータ) (2024-03-29T11:31:12Z) - Split-Boost Neural Networks [1.1549572298362787]
本稿では,スプリットブートと呼ばれるフィードフォワードアーキテクチャの革新的なトレーニング戦略を提案する。
このような新しいアプローチは、最終的に正規化項を明示的にモデル化することを避けることができる。
提案した戦略は、ベンチマーク医療保険設計問題内の実世界の(匿名化された)データセットでテストされる。
論文 参考訳(メタデータ) (2023-09-06T17:08:57Z) - Regularization, early-stopping and dreaming: a Hopfield-like setup to
address generalization and overfitting [0.0]
正規化損失関数に勾配降下を適用し,最適ネットワークパラメータを求める。
この枠組みの中で、最適なニューロン相互作用行列は、繰り返し学習プロトコルによって修正されたヘビアン核に対応する。
論文 参考訳(メタデータ) (2023-08-01T15:04:30Z) - Taxonomy Adaptive Cross-Domain Adaptation in Medical Imaging via
Optimization Trajectory Distillation [73.83178465971552]
自動医用画像解析の成功は、大規模かつ専門家による注釈付きトレーニングセットに依存する。
非教師なしドメイン適応(UDA)はラベル付きデータ収集の負担を軽減するための有望なアプローチである。
本稿では,2つの技術的課題に新しい視点から対処する統一的手法である最適化トラジェクトリ蒸留を提案する。
論文 参考訳(メタデータ) (2023-07-27T08:58:05Z) - Gradient Regularized Contrastive Learning for Continual Domain
Adaptation [86.02012896014095]
本稿では,ラベル付きソースドメインと非ラベル付きターゲットドメインのシーケンスでモデルを提示する連続的なドメイン適応の問題について検討する。
障害を解決するため,グラディエント正規化コントラスト学習(GRCL)を提案する。
Digits、DomainNet、Office-Caltechベンチマークの実験は、我々のアプローチの強力なパフォーマンスを示しています。
論文 参考訳(メタデータ) (2021-03-23T04:10:42Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。