論文の概要: All Centers Are at most a Few Tokens Apart: Knowledge Distillation with Domain Invariant Prompt Tuning

• arxiv url: http://arxiv.org/abs/2511.22739v1
• Date: Thu, 27 Nov 2025 20:18:04 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-12-01 19:47:55.705117
• Title: All Centers Are at most a Few Tokens Apart: Knowledge Distillation with Domain Invariant Prompt Tuning
• Title（参考訳）: ドメイン不変のプロンプトチューニングによる知識蒸留
• Authors: Amir Mohammad Ezzati, Alireza Malekhosseini, Armin Khosravi, Mohammad Hossein Rohban,
• Abstract要約: ドメイン一般化は計算病理学(CPath)において重要である 知識蒸留プロセスにおけるドメイン不変プロンプトチューニング(DIPT)を提案する。 本手法は,既存の最先端知識蒸留法に対して,F1スコアの平均値を大幅に向上させる。
• 参考スコア（独自算出の注目度）: 6.706482416007361
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Domain generalization is critical in computational pathology (CPath) due to inherent domain shifts caused by variations in staining protocols, scanner devices, and imaging settings across clinical centers. Vision-language models (VLMs), such as PLIP-a pathology-tuned CLIP-trained on image-text pairs across diverse domains, serve as strong knowledge distillation sources. However, their zero-shot performance with predefined prompts remains limited due to sensitivity to prompt variations. Moreover, unlike natural images, histopathology centers lack semantic descriptors (e.g., 'sketch'), making it difficult to define domain-specific prompts for clinical centers. This requires a data-driven approach for learning domain-specific and ultimately class-generic continuous prompts. We propose Domain Invariant Prompt Tuning (DIPT) for knowledge distillation process, a novel step that learns multiple input tokens for each domain. These tokens are trained separately for each domain and are averaged across domains, leading to domain-invariant prompts. Our student model then distills knowledge from PLIP's text encoder by leveraging the prompts learned by DIPT. This leads to alignment of visual features with domain-invariant embeddings, enhancing generalization by training on multiple domains. Our method adds a significant improvement in average F1-score to existing state-of-the-art (SOTA) knowledge distillation approaches in domain generalization with histopathology datasets. This work helps the way of deploying robust CPath models in real-world clinical problems with heterogeneous data sources.
• Abstract（参考訳）: ドメインの一般化は、染色プロトコル、スキャナーデバイス、臨床センター全体にわたる画像設定の変化に起因する固有のドメインシフトのために、計算病理学(CPath)において重要である。 視覚言語モデル(VLM)、例えば、様々な領域にわたる画像テキストペアに基づいて訓練されたPLIP-apathology-tuned CLIPは、強力な知識蒸留源として機能する。 しかし、事前定義されたプロンプトを持つゼロショット性能は、変分に対する感度のために制限されている。 さらに、自然画像とは異なり、病理組織学センターには意味記述子(例:sketch)が欠如しており、臨床センターの領域固有のプロンプトを定義することは困難である。 これは、ドメイン固有の、究極的にはクラスジェネリックな継続的プロンプトを学ぶために、データ駆動のアプローチを必要とする。 本稿では,ドメインごとの複数の入力トークンを学習する新しいステップである知識蒸留プロセスのためのドメイン不変プロンプトチューニング(DIPT)を提案する。 これらのトークンはドメイン毎に個別にトレーニングされ、ドメイン間で平均化され、ドメイン不変のプロンプトにつながる。 学生モデルは、DIPTで学習したプロンプトを利用してPLIPのテキストエンコーダから知識を抽出する。 これにより、視覚的特徴とドメイン不変の埋め込みが一致し、複数のドメインでのトレーニングによる一般化が強化される。 本手法は,病理組織学的データセットを用いた領域一般化における既存のSOTA知識蒸留手法に対して,F1スコアの平均値を大幅に改善する。 この研究は、異種データソースを用いた実世界の臨床問題に堅牢なCPathモデルをデプロイする方法に役立つ。

関連論文リスト

• DiPrompT: Disentangled Prompt Tuning for Multiple Latent Domain Generalization in Federated Learning [20.51179258856028]
  フェデレートラーニング(FL)は、分散データから学ぶための強力なパラダイムとして登場した。 既存のFLメソッドの多くは、トレーニング中にドメインラベルが提供されると仮定し、その評価はドメインの数に明確な制約を課している。 本稿では,ドメイン一般化のための適応的なプロンプトを分散的に学習することで,上記の制約に対処するDistangled Prompt Tuning(DiPrompT)を提案する。
  論文  参考訳（メタデータ） (2024-03-11T15:58:15Z)
• Prompt-driven Latent Domain Generalization for Medical Image Classification [23.914889221925552]
  ドメインラベルに依存しない医用画像分類のための新しい枠組みを提案する。 PLDGは教師なしのドメイン発見と迅速な学習で構成されている。 提案手法は従来のDGアルゴリズムと同等あるいはそれ以上の性能を達成できる。
  論文  参考訳（メタデータ） (2024-01-05T05:24:07Z)
• Domain-Controlled Prompt Learning [49.45309818782329]
  既存の素早い学習方法はドメイン認識やドメイン転送機構を欠いていることが多い。 特定のドメインに対するtextbfDomain-Controlled Prompt Learningを提案する。 本手法は,特定の領域画像認識データセットにおける最先端性能を実現する。
  論文  参考訳（メタデータ） (2023-09-30T02:59:49Z)
• EPVT: Environment-aware Prompt Vision Transformer for Domain Generalization in Skin Lesion Recognition [12.91556412209546]
  深層学習を用いた皮膚病変認識は目覚ましい進歩を遂げており、現実のシナリオにこれらのシステムをデプロイする必要性が高まっている。 近年の研究では、皮膚病変認識のためのディープニューラルネットワークが、疾患に関連のない画像アーティファクトに過度に依存する可能性があることが判明している。 本研究では、視覚変換器にプロンプトを埋め込んで様々な領域から知識を協調的に学習するEPVTと呼ばれる新しい領域一般化手法を提案する。
  論文  参考訳（メタデータ） (2023-04-04T03:36:14Z)
• Generalizing through Forgetting -- Domain Generalization for Symptom Event Extraction in Clinical Notes [0.0]
  プレトレーニングデータと微調整データを用いた症状抽出のための領域一般化を提案する。 ソース領域における頻繁な症状語を動的にマスキングする領域一般化手法を提案する。 実験の結果,対象領域からの距離が遠い場合,マスキングおよび適応型事前学習法により性能が著しく向上することが示唆された。
  論文  参考訳（メタデータ） (2022-09-20T05:53:22Z)
• Domain Invariant Masked Autoencoders for Self-supervised Learning from Multi-domains [73.54897096088149]
  マルチドメインからの自己教師型学習のためのドメイン不変のMasked AutoEncoder (DiMAE)を提案する。 中心となる考え方は、入力画像を異なるドメインからのスタイルノイズで拡張し、拡張イメージの埋め込みからイメージを再構築することである。 PACSとDomainNetの実験は、最近の最先端の手法と比較して、DiMAEがかなりの利益を得ていることを示している。
  論文  参考訳（メタデータ） (2022-05-10T09:49:40Z)
• Dynamic Instance Domain Adaptation [109.53575039217094]
  教師なしのドメイン適応に関するほとんどの研究は、各ドメインのトレーニングサンプルがドメインラベルを伴っていると仮定している。 適応的な畳み込みカーネルを持つ動的ニューラルネットワークを開発し、各インスタンスにドメインに依存しない深い特徴を適応させるために、インスタンス適応残差を生成する。 我々のモデルはDIDA-Netと呼ばれ、複数の一般的な単一ソースおよび複数ソースのUDAデータセット上で最先端のパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2022-03-09T20:05:54Z)
• Self-Rule to Adapt: Generalized Multi-source Feature Learning Using Unsupervised Domain Adaptation for Colorectal Cancer Tissue Detection [9.074125289002911]
  教師付き学習はラベル付きデータの可用性によって制限される。 本稿では、自己教師付き学習を利用してドメイン適応を行うSRAを提案する。
  論文  参考訳（メタデータ） (2021-08-20T13:52:33Z)
• Structured Latent Embeddings for Recognizing Unseen Classes in Unseen Domains [108.11746235308046]
  本稿では,異なる領域からの画像を投影することで,ドメインに依存しない遅延埋め込みを学習する手法を提案する。 挑戦的なDomainNetとDomainNet-LSベンチマークの実験は、既存のメソッドよりもアプローチの方が優れていることを示している。
  論文  参考訳（メタデータ） (2021-07-12T17:57:46Z)
• Cross-domain Contrastive Learning for Unsupervised Domain Adaptation [108.63914324182984]
  教師なしドメイン適応(Unsupervised domain adapt、UDA)は、完全にラベル付けされたソースドメインから異なるラベル付けされていないターゲットドメインに学習した知識を転送することを目的としている。 対照的な自己教師型学習に基づいて、トレーニングとテストセット間のドメインの相違を低減するために、機能を整列させます。
  論文  参考訳（メタデータ） (2021-06-10T06:32:30Z)
• Curriculum CycleGAN for Textual Sentiment Domain Adaptation with Multiple Sources [68.31273535702256]
  我々は,C-CycleGAN(C-CycleGAN)という,新しいインスタンスレベルのMDAフレームワークを提案する。 C-CycleGANは、(1)異なるドメインからのテキスト入力を連続的な表現空間にエンコードする事前訓練されたテキストエンコーダ、(2)ソースとターゲットドメイン間のギャップを埋めるカリキュラムインスタンスレベルの適応を伴う中間ドメインジェネレータ、(3)中間ドメインで最終感情分類のために訓練されたタスク分類器の3つのコンポーネントから構成される。 3つのベンチマークデータセットに対して広範な実験を行い、最先端のDAアプローチよりも大幅に向上した。
  論文  参考訳（メタデータ） (2020-11-17T14:50:55Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。