論文の概要: Reverse Knowledge Distillation: Training a Large Model using a Small One for Retinal Image Matching on Limited Data

• arxiv url: http://arxiv.org/abs/2307.10698v2
• Date: Fri, 21 Jul 2023 05:05:52 GMT
• ステータス: 処理完了
• システム内更新日: 2023-07-24 15:00:53.406887
• Title: Reverse Knowledge Distillation: Training a Large Model using a Small One for Retinal Image Matching on Limited Data
• Title（参考訳）: 逆知識蒸留:限定データを用いた網膜画像マッチングのための小型モデルによる大規模モデルの訓練
• Authors: Sahar Almahfouz Nasser, Nihar Gupte, and Amit Sethi
• Abstract要約: 限られたデータで大規模モデルを訓練するための逆知識蒸留に基づく新しい手法を提案する。 我々は、より軽量なCNNモデルを用いて、視覚変換器エンコーダに基づく計算的に重いモデルを訓練する。 実験結果から,表現空間における高次元フィッティングは,最終出力に適合するトレーニングと異なり,過度な適合を防止できる可能性が示唆された。
• 参考スコア（独自算出の注目度）: 1.9521342770943706
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Retinal image matching plays a crucial role in monitoring disease progression and treatment response. However, datasets with matched keypoints between temporally separated pairs of images are not available in abundance to train transformer-based model. We propose a novel approach based on reverse knowledge distillation to train large models with limited data while preventing overfitting. Firstly, we propose architectural modifications to a CNN-based semi-supervised method called SuperRetina that help us improve its results on a publicly available dataset. Then, we train a computationally heavier model based on a vision transformer encoder using the lighter CNN-based model, which is counter-intuitive in the field knowledge-distillation research where training lighter models based on heavier ones is the norm. Surprisingly, such reverse knowledge distillation improves generalization even further. Our experiments suggest that high-dimensional fitting in representation space may prevent overfitting unlike training directly to match the final output. We also provide a public dataset with annotations for retinal image keypoint detection and matching to help the research community develop algorithms for retinal image applications.
• Abstract（参考訳）: 網膜画像マッチングは、疾患の進行と治療反応のモニタリングにおいて重要な役割を果たす。 しかしながら、時間分割された画像のペア間で一致したキーポイントを持つデータセットは、トランスフォーマティブベースのモデルのトレーニングには不十分である。 本稿では, オーバーフィッティングを防止しつつ, 限られたデータで大規模モデルを訓練するための, 逆知識蒸留に基づく新しい手法を提案する。 まず,一般公開されたデータセット上での結果を改善するために,cnnベースのsuperretinaと呼ばれる半教師付きメソッドのアーキテクチャ修正を提案する。 次に,より重いモデルに基づくより軽いモデルを訓練する分野の知識蒸留研究において直観に反するcnnベースのモデルを用いて,視覚トランスフォーマエンコーダに基づく計算量より重いモデルを訓練する。 驚くべきことに、このような逆知識蒸留は一般化をさらに改善する。 実験により,表現空間における高次元の嵌合は,最終出力に適合する訓練と異なり過度な適合を防止できる可能性が示唆された。 また、網膜画像のキーポイント検出とマッチングのためのアノテーションを付加したパブリックデータセットを提供し、網膜画像応用のためのアルゴリズムの開発を支援する。

関連論文リスト

• Causal Transformer for Fusion and Pose Estimation in Deep Visual Inertial Odometry [1.2289361708127877]
  深部視覚-慣性眼振におけるポーズ推定のための因果的視覚-慣性融合変換器 (VIFT) を提案する。 提案手法はエンドツーエンドのトレーニングが可能であり,単眼カメラとIMUのみを必要とする。
  論文  参考訳（メタデータ） (2024-09-13T12:21:25Z)
• Deep Domain Adaptation: A Sim2Real Neural Approach for Improving Eye-Tracking Systems [80.62854148838359]
  眼球画像のセグメンテーションは、最終視線推定に大きな影響を及ぼす眼球追跡の重要なステップである。 対象視線画像と合成訓練データとの重なり合いを測定するために,次元還元法を用いている。 提案手法は,シミュレーションと実世界のデータサンプルの相違に対処する際の頑健で,性能が向上する。
  論文  参考訳（メタデータ） (2024-03-23T22:32:06Z)
• ExposureDiffusion: Learning to Expose for Low-light Image Enhancement [87.08496758469835]
  この研究は、拡散モデルと物理ベースの露光モデルとをシームレスに統合することで、この問題に対処する。 提案手法は,バニラ拡散モデルと比較して性能が大幅に向上し,推論時間を短縮する。 提案するフレームワークは、実際のペア付きデータセット、SOTAノイズモデル、および異なるバックボーンネットワークの両方で動作する。
  論文  参考訳（メタデータ） (2023-07-15T04:48:35Z)
• Terrain Classification using Transfer Learning on Hyperspectral Images: A Comparative study [0.13999481573773068]
  畳み込みニューラルネットワーク(CNN)とMulti-Layer Perceptron(MLP)は画像分類の有効な方法であることが証明されている。 しかし、彼らは長いトレーニング時間と大量のラベル付きデータの要求の問題に悩まされている。 本稿では,移動学習法を用いてトレーニング時間を短縮し,大規模ラベル付きデータセットへの依存を減らすことを提案する。
  論文  参考訳（メタデータ） (2022-06-19T14:36:33Z)
• On-the-Fly Test-time Adaptation for Medical Image Segmentation [63.476899335138164]
  ソースモデルをテスト時にターゲットデータに適応させることは、データシフト問題に対する効率的な解決策である。 本稿では、各畳み込みブロックに適応バッチ正規化層を設けるAdaptive UNetという新しいフレームワークを提案する。 テスト期間中、モデルは新しいテストイメージのみを取り込み、ドメインコードを生成して、テストデータに従ってソースモデルの特徴を適応させる。
  論文  参考訳（メタデータ） (2022-03-10T18:51:29Z)
• Learning Discriminative Shrinkage Deep Networks for Image Deconvolution [122.79108159874426]
  本稿では,これらの用語を暗黙的にモデル化する識別的縮小関数を学習することで,効果的に非盲検デコンボリューション手法を提案する。 実験結果から,提案手法は最先端の手法に対して,効率と精度の点で好適に動作することがわかった。
  論文  参考訳（メタデータ） (2021-11-27T12:12:57Z)
• Conditional Variational Autoencoder for Learned Image Reconstruction [5.487951901731039]
  本研究では,未知画像の後部分布を問合せ観測で近似する新しいフレームワークを開発する。 暗黙のノイズモデルと先行処理を処理し、データ生成プロセス(フォワード演算子)を組み込み、学習された再構成特性は異なるデータセット間で転送可能である。
  論文  参考訳（メタデータ） (2021-10-22T10:02:48Z)
• Y-GAN: Learning Dual Data Representations for Efficient Anomaly Detection [0.0]
  本稿では,Y-GANと呼ばれる新しい再構成モデルを提案する。 モデルはY字型のオートエンコーダで構成され、2つの別々の潜在空間の画像を表現している。
  論文  参考訳（メタデータ） (2021-09-28T20:17:04Z)
• How to train your ViT? Data, Augmentation, and Regularization in Vision Transformers [74.06040005144382]
  ビジョントランスフォーマー(ViT)は、幅広いビジョンアプリケーションにおいて高い競争力を発揮することが示されている。 我々は,トレーニングデータの量,AugReg,モデルサイズ,計算予算の相互作用をよりよく理解するために,体系的な実証的研究を行う。 私たちは、パブリックなImageNet-21kデータセットでさまざまなサイズのViTモデルをトレーニングします。
  論文  参考訳（メタデータ） (2021-06-18T17:58:20Z)
• Visformer: The Vision-friendly Transformer [105.52122194322592]
  我々は視覚に優しいトランスフォーマーから短縮したvisformerという新しいアーキテクチャを提案する。 同じ計算の複雑さにより、VisformerはTransformerベースのモデルとConvolutionベースのモデルの両方をImageNet分類精度で上回る。
  論文  参考訳（メタデータ） (2021-04-26T13:13:03Z)
• Data-Efficient Ranking Distillation for Image Retrieval [15.88955427198763]
  近年のアプローチでは、より深く重いアーキテクチャからより小さなネットワークへ知識を伝達するために、知識蒸留を用いてこの問題に対処している。 本稿では,計量学習問題に対する知識蒸留について述べる。 従来の手法とは違って,提案手法では,教師モデルに対する限定的なクエリ,最終出力表現へのアクセスを伴うブラックボックス教師モデル,および第3に,基本トラストラベルのないオリジナルトレーニングデータのごく一部に対処する。
  論文  参考訳（メタデータ） (2020-07-10T10:59:16Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。