論文の概要: Attention to detail: inter-resolution knowledge distillation

• arxiv url: http://arxiv.org/abs/2401.06010v1
• Date: Thu, 11 Jan 2024 16:16:20 GMT
• ステータス: 処理完了
• システム内更新日: 2024-01-12 13:44:28.081975
• Title: Attention to detail: inter-resolution knowledge distillation
• Title（参考訳）: 詳細への注意:解決間知識蒸留
• Authors: Roc\'io del Amor, Julio Silva-Rodr\'iguez, Adri\'an Colomer and Valery Naranjo
• Abstract要約: デジタル病理学におけるギガピクセル画像のためのコンピュータビジョンソリューションの開発は、スライド画像全体の大きさによって妨げられる。 近年の文献では, 画像分解能の低下によるモデル性能の向上を目的として, 知識蒸留法が提案されている。 本研究では,トレーニング中に注意マップを組み込むことで,これらの情報を抽出することを提案する。
• 参考スコア（独自算出の注目度）: 1.927195358774599
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The development of computer vision solutions for gigapixel images in digital pathology is hampered by significant computational limitations due to the large size of whole slide images. In particular, digitizing biopsies at high resolutions is a time-consuming process, which is necessary due to the worsening results from the decrease in image detail. To alleviate this issue, recent literature has proposed using knowledge distillation to enhance the model performance at reduced image resolutions. In particular, soft labels and features extracted at the highest magnification level are distilled into a model that takes lower-magnification images as input. However, this approach fails to transfer knowledge about the most discriminative image regions in the classification process, which may be lost when the resolution is decreased. In this work, we propose to distill this information by incorporating attention maps during training. In particular, our formulation leverages saliency maps of the target class via grad-CAMs, which guides the lower-resolution Student model to match the Teacher distribution by minimizing the l2 distance between them. Comprehensive experiments on prostate histology image grading demonstrate that the proposed approach substantially improves the model performance across different image resolutions compared to previous literature.
• Abstract（参考訳）: デジタル病理学におけるギガピクセル画像のためのコンピュータビジョンソリューションの開発は、スライド画像全体のサイズが大きいことによる計算上の制限によって妨げられている。 特に,高分解能での生検のデジタル化は時間を要するプロセスであり,画像のディテールの低下による悪化が原因で必要である。 この問題を軽減するため、近年の文献では、画像解像度の低減によるモデル性能の向上に知識蒸留を用いることが提案されている。 特に、最も高い倍率レベルで抽出された軟質なラベルと特徴を、低画像を入力とするモデルに蒸留する。 しかし、このアプローチでは分類過程における最も識別的な画像領域に関する知識の伝達に失敗し、解像度が低下すると失われる可能性がある。 本研究では,トレーニング中に注意マップを組み込むことにより,この情報を蒸留することを提案する。 特に,目標クラスの給与マップをgrad-camsで活用し,l2距離を最小化することにより,教師分布に適合する低分解能学生モデルを指導する。 前立腺組織像グレーディングに関する総合的な実験により,提案手法は過去の文献と比較して,画像解像度の異なるモデル性能を大幅に向上することを示した。

関連論文リスト

• Look One and More: Distilling Hybrid Order Relational Knowledge for Cross-Resolution Image Recognition [30.568519905346253]
  本稿では,ハイブリッド順序関係知識蒸留による低分解能画像認識を容易にするための教師学生学習手法を提案する。 提案手法は,教師ストリームを高精度に高精細画像を認識するために事前訓練し,教師の行動を模倣して低精細画像の識別を学習し,余分な補助ストリームを橋渡しとして導入し,教師から生徒への知識伝達を支援する。
  論文  参考訳（メタデータ） (2024-09-09T07:32:18Z)
• One Step Diffusion-based Super-Resolution with Time-Aware Distillation [60.262651082672235]
  拡散に基づく画像超解像(SR)法は,低解像度画像から細部まで細部まで,高解像度画像の再構成に有望であることを示す。 近年,拡散型SRモデルの知識蒸留によるサンプリング効率の向上が試みられている。 我々は,効率的な画像超解像を実現するため,TAD-SRというタイムアウェア拡散蒸留法を提案する。
  論文  参考訳（メタデータ） (2024-08-14T11:47:22Z)
• ScaleCrafter: Tuning-free Higher-Resolution Visual Generation with Diffusion Models [126.35334860896373]
  本研究では,事前学習した拡散モデルから,トレーニング画像サイズよりもはるかに高解像度で画像を生成する能力について検討する。 注意ベースや共同拡散アプローチのような、高分解能な生成のための既存の研究は、これらの問題にうまく対処できない。 本稿では,推論中の畳み込み知覚場を動的に調整できる簡易かつ効果的な再拡張法を提案する。
  論文  参考訳（メタデータ） (2023-10-11T17:52:39Z)
• Training-free Diffusion Model Adaptation for Variable-Sized Text-to-Image Synthesis [45.19847146506007]
  拡散モデル(DM)は近年,テキスト・画像合成における最先端性能に注目されている。 本稿では,視覚的忠実度を維持しながら多彩性を扱うためにテキスト・画像拡散モデルを適用することに焦点を当てる。
  論文  参考訳（メタデータ） (2023-06-14T17:23:07Z)
• Categorical Relation-Preserving Contrastive Knowledge Distillation for Medical Image Classification [75.27973258196934]
  そこで本研究では,一般的な平均教師モデルであるCRCKD(Categorical Relation-Reserving Contrastive Knowledge Distillation)アルゴリズムを提案する。 この正規化により、学生モデルの特徴分布はクラス内類似度が高く、クラス間分散を示す。 CCDとCRPの貢献により、我々のCRCKDアルゴリズムはより包括的に関係知識を蒸留することができる。
  論文  参考訳（メタデータ） (2021-07-07T13:56:38Z)
• Enhancing Fine-Grained Classification for Low Resolution Images [97.82441158440527]
  低解像度画像は、限られた情報内容の固有の課題と、サブカテゴリ分類に有用な詳細の欠如に悩まされる。 本研究では,補助情報を用いて分類の識別的特徴を学習する,新たな属性支援損失を提案する。 提案する損失関数により、モデルは属性レベルの分離性を取り入れながら、クラス固有の識別特徴を学習することができる。
  論文  参考訳（メタデータ） (2021-05-01T13:19:02Z)
• Resolution-Based Distillation for Efficient Histology Image Classification [29.603903713682275]
  本論文では,ヒストロジー画像分類の計算効率向上のための深層学習に基づく新しい手法を提案する。 提案手法は,入力解像度を低減し,限定ラベルデータを用いて効果的にトレーニングできる画像に対して頑健である。 セリアック病(CD)と肺腺癌(LUAD)に関連する2つの組織学的画像データセットに対するアプローチを評価した。
  論文  参考訳（メタデータ） (2021-01-11T20:00:35Z)
• Invertible Image Rescaling [118.2653765756915]
  Invertible Rescaling Net (IRN) を開発した。 我々は、ダウンスケーリングプロセスにおいて、指定された分布に従う潜在変数を用いて、失われた情報の分布をキャプチャする。
  論文  参考訳（メタデータ） (2020-05-12T09:55:53Z)
• Gated Fusion Network for Degraded Image Super Resolution [78.67168802945069]
  本稿では,基本特徴と回復特徴を別々に抽出する二分岐畳み込みニューラルネットワークを提案する。 特徴抽出ステップを2つのタスク非依存ストリームに分解することで、デュアルブランチモデルがトレーニングプロセスを容易にすることができる。
  論文  参考訳（メタデータ） (2020-03-02T13:28:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。