Fugu-MT 論文翻訳(概要): ACT-Net: Asymmetric Co-Teacher Network for Semi-supervised Memory-efficient Medical Image Segmentation

論文の概要: ACT-Net: Asymmetric Co-Teacher Network for Semi-supervised Memory-efficient Medical Image Segmentation

arxiv url: http://arxiv.org/abs/2207.01900v1
Date: Tue, 5 Jul 2022 08:58:15 GMT
ステータス: 処理完了
システム内更新日: 2022-07-06 13:51:22.763979
Title: ACT-Net: Asymmetric Co-Teacher Network for Semi-supervised Memory-efficient Medical Image Segmentation
Title（参考訳）: ACT-Net:半教師付き記憶効率医用画像セグメンテーションのための非対称共学教員ネットワーク
Authors: Ziyuan Zhao, Andong Zhu, Zeng Zeng, Bharadwaj Veeravalli, Cuntai Guan
Abstract要約: 高精度のディープモデルは通常、大きなモデルサイズで提供され、実際のシナリオでの雇用を制限する。半学生の知識蒸留における高価なアノテーションと計算コストの負担を軽減するために, ACT-Net という非対称な非対称型共学学習フレームワークを提案する。
参考スコア（独自算出の注目度）: 19.528360162691342
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: While deep models have shown promising performance in medical image segmentation, they heavily rely on a large amount of well-annotated data, which is difficult to access, especially in clinical practice. On the other hand, high-accuracy deep models usually come in large model sizes, limiting their employment in real scenarios. In this work, we propose a novel asymmetric co-teacher framework, ACT-Net, to alleviate the burden on both expensive annotations and computational costs for semi-supervised knowledge distillation. We advance teacher-student learning with a co-teacher network to facilitate asymmetric knowledge distillation from large models to small ones by alternating student and teacher roles, obtaining tiny but accurate models for clinical employment. To verify the effectiveness of our ACT-Net, we employ the ACDC dataset for cardiac substructure segmentation in our experiments. Extensive experimental results demonstrate that ACT-Net outperforms other knowledge distillation methods and achieves lossless segmentation performance with 250x fewer parameters.
Abstract（参考訳）: ディープモデルは医用画像セグメンテーションにおいて有望な性能を示したが、特に臨床実践においてアクセスが困難である大量の注釈付きデータに大きく依存している。一方で、高精度なディープモデルは通常、大きなモデルサイズで行われ、実際のシナリオでの雇用を制限する。本稿では,半教師付き知識蒸留における高価なアノテーションと計算コストの負担を軽減するために,非対称な共教師フレームワークであるact-netを提案する。本研究では,大規模モデルから小モデルへの非対称な知識蒸留を促進するために,教員養成ネットワークを用いた教師学生学習を推進し,学生と教師の役割を交互に行い,医療従事のための小さな精度の高いモデルを得る。 ACT-Netの有効性を検証するため,実験ではACDCデータセットを用いて心サブ構造セグメンテーションを行った。 ACT-Netは他の知識蒸留法よりも優れており,250倍少ないパラメータで無作為なセグメンテーション性能を実現している。

関連論文リスト

Faithful Label-free Knowledge Distillation [8.572967695281054]
本稿では,中期教師(TinTeM)と呼ばれるラベルフリーな知識蒸留手法を提案する。より忠実な学生を生み出し、教師ネットワークの振る舞いをよりよく再現し、モデルの堅牢性、一般化可能性、アウト・オブ・ディストリビューション検出などをテストする。
論文参考訳（メタデータ） (2024-11-22T01:48:44Z)
Multi-Task Multi-Scale Contrastive Knowledge Distillation for Efficient Medical Image Segmentation [0.0]
本論文は,医用画像分割作業におけるニューラルネットワーク間の知識伝達の実現可能性を検討することを目的とする。データボリュームが制限される医療画像の文脈では、より大きなトレーニング済みネットワークからの知識を活用することが有用である。
論文参考訳（メタデータ） (2024-06-05T12:06:04Z)
TSCM: A Teacher-Student Model for Vision Place Recognition Using Cross-Metric Knowledge Distillation [6.856317526681759]
視覚的位置認識は、移動ロボットの自律的な探索とナビゲーションにおいて重要な役割を果たす。既存の手法では、強力だが大規模なネットワークを利用することでこれを克服している。本稿では,TSCMと呼ばれる高性能な教師と軽量な学生蒸留フレームワークを提案する。
論文参考訳（メタデータ） (2024-04-02T02:29:41Z)
Knowledge Distillation for Adaptive MRI Prostate Segmentation Based on Limit-Trained Multi-Teacher Models [4.711401719735324]
圧縮法と加速技術として知識蒸留(KD)が提案されている。 KDは、負担の多いモデルから軽量モデルに知識を移行できる効率的な学習戦略である。本研究では,KDに基づく前立腺MRIセグメンテーションの深部モデルを構築し,Kellback-Leiblerの発散,Lovasz,Diceの損失と特徴量に基づく蒸留を組み合わせる。
論文参考訳（メタデータ） (2023-03-16T17:15:08Z)
EmbedDistill: A Geometric Knowledge Distillation for Information Retrieval [83.79667141681418]
大規模なニューラルモデル(トランスフォーマーなど)は、情報検索(IR)のための最先端のパフォーマンスを達成する本研究では,大規模教師モデルで学習したクエリとドキュメント間の相対的幾何を利用した新しい蒸留手法を提案する。提案手法は, 両エンコーダ (DE) とクロスエンコーダ (CE) の2種類の教師モデルから, 95～97%の教師性能を維持できる1/10の非対称な学生への蒸留に成功した。
論文参考訳（メタデータ） (2023-01-27T22:04:37Z)
SECP-Net: SE-Connection Pyramid Network of Organ At Risk Segmentation for Nasopharyngeal Carcinoma [0.0]
深層学習モデルは医用画像セグメンテーションタスクに広く応用されている。従来のディープニューラルネットワークは、グローバルおよびマルチサイズ情報の使用が欠如しているため、セグメンテーション時に性能が低下する。本稿ではセグメンテーション性能を向上させるための新しいSE-Connection Pyramid Network(SECP-Net)を提案する。
論文参考訳（メタデータ） (2021-12-28T07:48:18Z)
Knowledge distillation: A good teacher is patient and consistent [71.14922743774864]
最先端のパフォーマンスを実現する大規模モデルと、実用的な用途で手頃な価格のモデルとの間には、コンピュータビジョンの相違が増えている。蒸留の有効性に大きな影響を及ぼす可能性のある,特定の暗黙的な設計選択を同定する。 ImageNetの最先端ResNet-50モデルが82.8%の精度で実現されている。
論文参考訳（メタデータ） (2021-06-09T17:20:40Z)
DisCo: Remedy Self-supervised Learning on Lightweight Models with Distilled Contrastive Learning [94.89221799550593]
SSL(Self-supervised representation Learning)はコミュニティから広く注目を集めている。最近の研究では、モデルサイズが小さくなれば、その性能は低下すると主張している。単純かつ効果的な蒸留コントラスト学習(DisCo)を提案し、問題を大きなマージンで緩和します。
論文参考訳（メタデータ） (2021-04-19T08:22:52Z)
MixKD: Towards Efficient Distillation of Large-scale Language Models [129.73786264834894]
データに依存しない蒸留フレームワークであるMixKDを提案する。妥当な条件下では、MixKDは誤差と経験的誤差の間のギャップを小さくする。限定的なデータ設定とアブレーションによる実験は、提案手法の利点をさらに証明している。
論文参考訳（メタデータ） (2020-11-01T18:47:51Z)
Contrastive Distillation on Intermediate Representations for Language Model Compression [89.31786191358802]
本稿では,中間表現に関するコントラスト蒸留(Contrastive Distillation on Intermediate Representation, CoDIR)について, 基本知識蒸留フレームワークとして提案する。ポジティブなサンプルと大量のネガティブなサンプルを区別することを学ぶことで、CoDIRは教師の隠れた層におけるリッチな情報の利用を促進する。 CoDIRは、事前学習と微調整の両方の段階で大規模言語モデルに容易に適用でき、GLUEベンチマークで最高性能を達成できる。
論文参考訳（メタデータ） (2020-09-29T17:31:43Z)
Neural Networks Are More Productive Teachers Than Human Raters: Active Mixup for Data-Efficient Knowledge Distillation from a Blackbox Model [57.41841346459995]
我々は,ブラックボックス教師モデルから知識を抽出し,学生の深層ニューラルネットワークを視覚認識のために訓練する方法を,データ効率のよい方法で研究する。混合学習とアクティブラーニングを融合した手法を提案する。
論文参考訳（メタデータ） (2020-03-31T05:44:55Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。