論文の概要: Memory-Efficient Prompt Tuning for Incremental Histopathology Classification

• arxiv url: http://arxiv.org/abs/2401.11674v1
• Date: Mon, 22 Jan 2024 03:24:45 GMT
• ステータス: 処理完了
• システム内更新日: 2024-01-23 15:08:26.258699
• Title: Memory-Efficient Prompt Tuning for Incremental Histopathology Classification
• Title（参考訳）: インクリメンタル組織病理分類のためのメモリ効率の高いプロンプトチューニング
• Authors: Yu Zhu, Kang Li, Lequan Yu, Pheng-Ann Heng
• Abstract要約: 本稿では,経済的なメモリコストのモデル一般化ポテンシャルを育成するための,メモリ効率の良いプロンプトチューニングフレームワークを提案する。 乳癌転移分類と上皮間質組織分類の2つの病理組織学的タスクにより,我々の枠組みを広く評価した。
• 参考スコア（独自算出の注目度）: 69.46798702300042
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Recent studies have made remarkable progress in histopathology classification. Based on current successes, contemporary works proposed to further upgrade the model towards a more generalizable and robust direction through incrementally learning from the sequentially delivered domains. Unlike previous parameter isolation based approaches that usually demand massive computation resources during model updating, we present a memory-efficient prompt tuning framework to cultivate model generalization potential in economical memory cost. For each incoming domain, we reuse the existing parameters of the initial classification model and attach lightweight trainable prompts into it for customized tuning. Considering the domain heterogeneity, we perform decoupled prompt tuning, where we adopt a domain-specific prompt for each domain to independently investigate its distinctive characteristics, and one domain-invariant prompt shared across all domains to continually explore the common content embedding throughout time. All domain-specific prompts will be appended to the prompt bank and isolated from further changes to prevent forgetting the distinctive features of early-seen domains. While the domain-invariant prompt will be passed on and iteratively evolve by style-augmented prompt refining to improve model generalization capability over time. In specific, we construct a graph with existing prompts and build a style-augmented graph attention network to guide the domain-invariant prompt exploring the overlapped latent embedding among all delivered domains for more domain generic representations. We have extensively evaluated our framework with two histopathology tasks, i.e., breast cancer metastasis classification and epithelium-stroma tissue classification, where our approach yielded superior performance and memory efficiency over the competing methods.
• Abstract（参考訳）: 近年,病理組織学的分類が著しく進歩している。 現在の成功に基づいて、シーケンシャルに提供された領域から漸進的に学習することで、モデルをより一般化可能で堅牢な方向にさらにアップグレードすることを提案した。 モデル更新時に大量の計算資源を必要とする従来のパラメータ分離に基づくアプローチとは異なり、メモリ効率の良いプロンプトチューニングフレームワークを用いて、モデル一般化ポテンシャルを経済的メモリコストで育成する。 各入力ドメインに対して、初期分類モデルの既存のパラメータを再利用し、カスタマイズされたチューニングのために軽量なトレーニング可能なプロンプトを付加する。 ドメインの不均一性を考慮すると、各ドメインに固有のプロンプトを適用してその特性を独立に調査し、各ドメイン間で共有される1つのドメイン不変プロンプトを用いて、時間を通じて共通コンテンツの埋め込みを継続的に探究する。 ドメイン固有のプロンプトはすべてプロンプトバンクに追加され、早期のドメイン特有の特徴を忘れないように、さらなる変更から分離される。 ドメイン不変プロンプトは渡され、スタイル拡張プロンプト精製によって反復的に進化し、時間とともにモデルの一般化能力を改善する。 具体的には、既存のプロンプトを持つグラフを構築し、よりドメインのジェネリック表現のために、提供されたすべてのドメインに重複した潜在埋め込みを探索するドメイン不変プロンプトを導くために、スタイル指定のグラフアテンションネットワークを構築する。 我々は,乳癌転移分類と上皮間質組織分類という2つの病理組織学的課題により,その枠組みを広範囲に評価した。

関連論文リスト

• Boundless Across Domains: A New Paradigm of Adaptive Feature and Cross-Attention for Domain Generalization in Medical Image Segmentation [1.93061220186624]
  ドメイン不変表現学習は、ドメイン一般化の強力な方法である。 従来のアプローチでは、高い計算要求、トレーニングの不安定性、高次元データによる限られた有効性といった課題に直面していた。 本研究では,分布空間を探索しながら分布外サンプルを生成する適応的特徴ブレンディング(AFB)手法を提案する。
  論文  参考訳（メタデータ） (2024-11-22T12:06:24Z)
• Domain Expansion and Boundary Growth for Open-Set Single-Source Domain Generalization [70.02187124865627]
  オープンソースの単一ソースドメインの一般化は、単一のソースドメインを使用して、未知のターゲットドメインに一般化可能な堅牢なモデルを学ぶことを目的としている。 本稿では,領域拡大と境界成長に基づく新しい学習手法を提案する。 提案手法は,いくつかの領域横断画像分類データセットにおいて,大幅な改善と最先端性能を実現することができる。
  論文  参考訳（メタデータ） (2024-11-05T09:08:46Z)
• StyDeSty: Min-Max Stylization and Destylization for Single Domain Generalization [85.18995948334592]
  単一のドメインの一般化(単一DG)は、単一のトレーニングドメインからのみ見えないドメインに一般化可能な堅牢なモデルを学ぶことを目的としている。 最先端のアプローチは、主に新しいデータを合成するために、敵対的な摂動やスタイルの強化といったデータ拡張に頼っている。 データ拡張の過程で、ソースと擬似ドメインのアライメントを明示的に考慮したemphStyDeStyを提案する。
  論文  参考訳（メタデータ） (2024-06-01T02:41:34Z)
• Prompting Diffusion Representations for Cross-Domain Semantic Segmentation [101.04326113360342]
  拡散事前学習は、セマンティックセグメンテーションのための並外れた領域一般化結果を達成する。 本研究では,シーンプロンプトとプロンプトランダム化戦略を導入し,セグメンテーションヘッドを訓練する際に,ドメイン不変情報をさらに混乱させる。
  論文  参考訳（メタデータ） (2023-07-05T09:28:25Z)
• Learning Domain Invariant Prompt for Vision-Language Models [31.581652862478965]
  本稿では,メタプロンプト(MetaPrompt)と呼ばれる未確認領域に一般化可能な,固有領域不変プロンプトを直接生成する新しいプロンプト学習パラダイムを提案する。 我々の手法は既存の手法より一貫して大幅に優れています。
  論文  参考訳（メタデータ） (2022-12-08T11:23:24Z)
• Domain-incremental Cardiac Image Segmentation with Style-oriented Replay and Domain-sensitive Feature Whitening [67.6394526631557]
  M&Mは、各受信データセットから漸進的に学習し、時間が経つにつれて改善された機能で漸進的に更新する必要がある。 医学的シナリオでは、データのプライバシのため、過去のデータへのアクセスや保存が一般的に許可されないため、これは特に困難である。 本稿では,まず過去のドメイン入力を復元し,モデル最適化中に定期的に再生する新しいドメイン増分学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2022-11-09T13:07:36Z)
• Context-Conditional Adaptation for Recognizing Unseen Classes in Unseen Domains [48.17225008334873]
  我々は,COCOA (COntext Conditional Adaptive) Batch-Normalization と統合された特徴生成フレームワークを提案する。 生成されたビジュアル機能は、基礎となるデータ分散をよりよくキャプチャすることで、テスト時に見つからないクラスやドメインに一般化できます。 確立した大規模ベンチマークであるDomainNetに対する我々のアプローチを徹底的に評価し、分析する。
  論文  参考訳（メタデータ） (2021-07-15T17:51:16Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。