論文の概要: EchoDFKD: Data-Free Knowledge Distillation for Cardiac Ultrasound Segmentation using Synthetic Data

• arxiv url: http://arxiv.org/abs/2409.07566v1
• Date: Wed, 11 Sep 2024 18:38:02 GMT
• ステータス: 処理完了
• システム内更新日: 2024-09-13 18:42:28.899962
• Title: EchoDFKD: Data-Free Knowledge Distillation for Cardiac Ultrasound Segmentation using Synthetic Data
• Title（参考訳）: EchoDFKD:合成データを用いた心エコー区分けのためのデータフリー知識蒸留
• Authors: Grégoire Petit, Nathan Palluau, Axel Bauer, Clemens Dlaska,
• Abstract要約: 本稿では, 実データおよび合成データに基づいて, 知識蒸留を専門に訓練したモデルを提案する。 我々は,終末期および終末期のフレームを識別するタスクにおいて,最先端のSOTA(State-of-the-art)値を得る。 また,人間のアノテーションを必要とせず,大規模な補助モデルに依存する新たな評価手法を提案する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: The application of machine learning to medical ultrasound videos of the heart, i.e., echocardiography, has recently gained traction with the availability of large public datasets. Traditional supervised tasks, such as ejection fraction regression, are now making way for approaches focusing more on the latent structure of data distributions, as well as generative methods. We propose a model trained exclusively by knowledge distillation, either on real or synthetical data, involving retrieving masks suggested by a teacher model. We achieve state-of-the-art (SOTA) values on the task of identifying end-diastolic and end-systolic frames. By training the model only on synthetic data, it reaches segmentation capabilities close to the performance when trained on real data with a significantly reduced number of weights. A comparison with the 5 main existing methods shows that our method outperforms the others in most cases. We also present a new evaluation method that does not require human annotation and instead relies on a large auxiliary model. We show that this method produces scores consistent with those obtained from human annotations. Relying on the integrated knowledge from a vast amount of records, this method overcomes certain inherent limitations of human annotator labeling. Code: https://github.com/GregoirePetit/EchoDFKD
• Abstract（参考訳）: 心臓の医療用超音波ビデオ(エコー心エコー法)への機械学習の応用は、最近、大規模な公開データセットが利用可能になったことで、注目を集めている。 従来の教師付きタスク、例えば射出分数回帰は、データ分布の潜在構造と生成方法にもっと焦点を絞ったアプローチの道を開いた。 本稿では,教師モデルによって提案されるマスクの検索を含む実データと合成データに基づいて,知識蒸留に特化して訓練されたモデルを提案する。 我々は,終末期および終末期のフレームを識別するタスクにおいて,最先端のSOTA(State-of-the-art)値を得る。 モデルを合成データのみでトレーニングすることにより、実際のデータでトレーニングした際の性能に近いセグメンテーション能力に到達し、重量を大幅に削減する。 既存の5つのメソッドと比較すると、ほとんどの場合、我々のメソッドは他のメソッドよりも優れています。 また,人間のアノテーションを必要とせず,大規模な補助モデルに依存する新たな評価手法を提案する。 本手法は,人間のアノテーションから得られたスコアと一致したスコアを生成する。 膨大な量のレコードから統合された知識に基づいて、この手法は人間のアノテータラベリングに固有の制限を克服する。 コード:https://github.com/GregoirePetit/EchoDFKD

関連論文リスト

• Extracting Training Data from Unconditional Diffusion Models [76.85077961718875]
  拡散確率モデル(DPM)は、生成人工知能(AI)の主流モデルとして採用されている。 本研究の目的は,1) 理論解析のための記憶量,2) 情報ラベルとランダムラベルを用いた条件記憶量,3) 記憶量測定のための2つのより良い評価指標を用いて,DPMにおける記憶量の理論的理解を確立することである。 提案手法は,理論解析に基づいて,SIDE (textbfSurrogate condItional Data extract) と呼ばれる新しいデータ抽出手法を提案する。
  論文  参考訳（メタデータ） (2024-06-18T16:20:12Z)
• Noisy Self-Training with Synthetic Queries for Dense Retrieval [49.49928764695172]
  合成クエリと組み合わせた,ノイズの多い自己学習フレームワークを提案する。 実験結果から,本手法は既存手法よりも一貫した改善が得られた。 我々の手法はデータ効率が良く、競争のベースラインより優れています。
  論文  参考訳（メタデータ） (2023-11-27T06:19:50Z)
• XAL: EXplainable Active Learning Makes Classifiers Better Low-resource Learners [71.8257151788923]
  低リソーステキスト分類のための新しい説明可能なアクティブラーニングフレームワーク(XAL)を提案する。 XALは分類器に対して、推論を正当化し、合理的な説明ができないラベルのないデータを掘り下げることを推奨している。 6つのデータセットの実験では、XALは9つの強いベースラインに対して一貫した改善を達成している。
  論文  参考訳（メタデータ） (2023-10-09T08:07:04Z)
• Synthetic Augmentation with Large-scale Unconditional Pre-training [4.162192894410251]
  アノテーション付きデータへの依存性を低減するため,HistoDiffusionという合成拡張手法を提案する。 HistoDiffusionは、大規模にラベル付けされていないデータセットで事前トレーニングし、その後、拡張トレーニングのために小さなラベル付きデータセットに適用することができる。 本手法は,3つの病理組織学的データセットを事前学習し,大腸癌の病理組織学的データセット(CRC)を事前学習データセットから除外して評価する。
  論文  参考訳（メタデータ） (2023-08-08T03:34:04Z)
• Self-omics: A Self-supervised Learning Framework for Multi-omics Cancer Data [4.843654097048771]
  SSL(Self-Supervised Learning)メソッドは、通常はラベル付きデータを扱うために使用される。 我々は、SSLコンポーネントからなる新しい事前学習パラダイムを開発する。 本手法はTGAパン癌データセットの癌型分類における最先端の手法よりも優れている。
  論文  参考訳（メタデータ） (2022-10-03T11:20:12Z)
• Combining Feature and Instance Attribution to Detect Artifacts [62.63504976810927]
  トレーニングデータアーティファクトの識別を容易にする手法を提案する。 提案手法は,トレーニングデータのアーティファクトの発見に有効であることを示す。 我々は,これらの手法が実際にNLP研究者にとって有用かどうかを評価するために,小規模なユーザスタディを実施している。
  論文  参考訳（メタデータ） (2021-07-01T09:26:13Z)
• Contrastive Model Inversion for Data-Free Knowledge Distillation [60.08025054715192]
  そこで、データ多様性を最適化可能な目的として明示的にモデル化するContrastive Model Inversionを提案します。 我々の主な観察では、同じ量のデータの制約の下では、高いデータの多様性は、通常より強いインスタンス識別を示す。 CIFAR-10, CIFAR-100, Tiny-ImageNetを用いた実験により, 生成したデータを知識蒸留に使用する場合, CMIは極めて優れた性能を示すことが示された。
  論文  参考訳（メタデータ） (2021-05-18T15:13:00Z)
• Omni-supervised Facial Expression Recognition via Distilled Data [120.11782405714234]
  ネットワークトレーニングにおいて,信頼度の高いサンプルを多量のラベルのないデータで活用するためのオムニ教師付き学習を提案する。 我々は,新しいデータセットが学習したFERモデルの能力を大幅に向上させることができることを実験的に検証した。 そこで本研究では,生成したデータセットを複数のクラスワイド画像に圧縮するために,データセット蒸留戦略を適用することを提案する。
  論文  参考訳（メタデータ） (2020-05-18T09:36:51Z)
• A generic ensemble based deep convolutional neural network for semi-supervised medical image segmentation [7.141405427125369]
  深層畳み込みニューラルネットワーク(DCNN)に基づく画像セグメンテーションのための汎用的な半教師付き学習フレームワークを提案する。 本手法は,ラベルなしデータを組み込むことで,完全教師付きモデル学習を超えて大幅に改善することができる。
  論文  参考訳（メタデータ） (2020-04-16T23:41:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。