論文の概要: Improving Respiratory Sound Classification with Architecture-Agnostic Knowledge Distillation from Ensembles

• arxiv url: http://arxiv.org/abs/2505.22027v1
• Date: Wed, 28 May 2025 06:49:18 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-29 17:35:50.452473
• Title: Improving Respiratory Sound Classification with Architecture-Agnostic Knowledge Distillation from Ensembles
• Title（参考訳）: 構造に依存しないエンサンブルからの知識蒸留による呼吸音の分類の改善
• Authors: Miika Toikkanen, June-Woo Kim,
• Abstract要約: 呼吸音分類のためのソフトラベルは、訓練時にのみ余分なコストで効率よく蒸留知識を抽出する。 我々はICHBI上で64.39の最先端スコアを新たに達成し、以前の最高値である0.85を超え、アーキテクチャ全体の平均スコアを1.16以上改善した。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Respiratory sound datasets are limited in size and quality, making high performance difficult to achieve. Ensemble models help but inevitably increase compute cost at inference time. Soft label training distills knowledge efficiently with extra cost only at training. In this study, we explore soft labels for respiratory sound classification as an architecture-agnostic approach to distill an ensemble of teacher models into a student model. We examine different variations of our approach and find that even a single teacher, identical to the student, considerably improves performance beyond its own capability, with optimal gains achieved using only a few teachers. We achieve the new state-of-the-art Score of 64.39 on ICHBI, surpassing the previous best by 0.85 and improving average Scores across architectures by more than 1.16. Our results highlight the effectiveness of knowledge distillation with soft labels for respiratory sound classification, regardless of size or architecture.
• Abstract（参考訳）: 呼吸音のデータセットはサイズと品質に制限があり、高い性能を実現するのが困難である。 アンサンブルモデルは推論時に計算コストを必然的に増加させるのに役立つ。 ソフトラベルトレーニングは、トレーニング時にのみ、余分なコストで知識を効率よく蒸留する。 本研究では,教師モデルの集合体を学生モデルに抽出するアーキテクチャに依存しない手法として,呼吸音分類のためのソフトラベルについて検討する。 提案手法の異なるバリエーションを検証した結果,学生と同一の1人の教師でも,その能力以上の性能向上が達成され,数名の教師しか利用できないことが判明した。 我々はICHBI上で64.39の最先端スコアを新たに達成し、以前の最高値である0.85を超え、アーキテクチャ全体の平均スコアを1.16以上改善した。 本研究は, サイズや構造によらず, 呼吸音の分類にソフトラベルを用いた知識蒸留の有効性を強調した。

関連論文リスト

• ReffAKD: Resource-efficient Autoencoder-based Knowledge Distillation [3.301728339780329]
  本稿では,資源量の多い教師モデルを必要としない知識蒸留効率を向上させる革新的な手法を提案する。 そこで本研究では,ソフトラベルを効率的に生成する手法を提案し,大規模な教師モデルの必要性を排除した。 CIFAR-100、Tiny Imagenet、Fashion MNISTなど、さまざまなデータセットに関する実験は、我々のアプローチの優れたリソース効率を実証している。
  論文  参考訳（メタデータ） (2024-04-15T15:54:30Z)
• One-for-All: Bridge the Gap Between Heterogeneous Architectures in Knowledge Distillation [69.65734716679925]
  知識蒸留は,教師が指導する学習手法を通じて,モデル性能を向上させる上で,極めて効果的な手法であることが証明されている。 既存の蒸留法のほとんどは、教師と生徒のモデルが同じモデルファミリーに属するという前提で設計されている。 我々は, ヘテロジニアスアーキテクチャ間の蒸留性能を大幅に向上させる, OFA-KDという, 単純で効果的な一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元
  論文  参考訳（メタデータ） (2023-10-30T11:13:02Z)
• Learning Lightweight Object Detectors via Multi-Teacher Progressive Distillation [56.053397775016755]
  本稿では,教師検出器の知識を学生に段階的に伝達する,知識蒸留への逐次的アプローチを提案する。 私たちの知識を最大限に活用するために、私たちはTransformerベースの教師検出器から、畳み込みベースの学生まで、初めて知識を抽出しました。
  論文  参考訳（メタデータ） (2023-08-17T17:17:08Z)
• DisWOT: Student Architecture Search for Distillation WithOut Training [0.0]
  我々は,教師にとって最高の学生アーキテクチャを探すための,新しい学習自由フレームワークを探究する。 我々の研究は、バニラトレーニングにおける最適モデルが蒸留の勝者にはならないことを実証的に示している。 CIFAR, ImageNet, NAS-Bench-201 を用いた実験により, 異なる検索空間における最先端の結果が得られた。
  論文  参考訳（メタデータ） (2023-03-28T01:58:45Z)
• EmbedDistill: A Geometric Knowledge Distillation for Information Retrieval [83.79667141681418]
  大規模なニューラルモデル(トランスフォーマーなど)は、情報検索(IR)のための最先端のパフォーマンスを達成する 本研究では,大規模教師モデルで学習したクエリとドキュメント間の相対的幾何を利用した新しい蒸留手法を提案する。 提案手法は, 両エンコーダ (DE) とクロスエンコーダ (CE) の2種類の教師モデルから, 95～97%の教師性能を維持できる1/10の非対称な学生への蒸留に成功した。
  論文  参考訳（メタデータ） (2023-01-27T22:04:37Z)
• Robust Distillation for Worst-class Performance [38.80008602644002]
  我々は,学生の最低級のパフォーマンス向上に適した蒸留技術を開発した。 我々は,我々の頑健な蒸留技術が最悪の性能を向上させることを実証的に示す。 私たちは、堅牢な学生のトレーニングを目標とするときに、良い教師を何にするかについて、洞察を与えます。
  論文  参考訳（メタデータ） (2022-06-13T21:17:00Z)
• Knowledge Distillation with the Reused Teacher Classifier [31.22117343316628]
  簡単な知識蒸留技術では,教師と学生のパフォーマンスギャップを大幅に狭めるのに十分であることを示す。 提案手法は, プロジェクタの追加による圧縮率の最小コストで, 最先端の結果を得る。
  論文  参考訳（メタデータ） (2022-03-26T06:28:46Z)
• On the benefits of knowledge distillation for adversarial robustness [53.41196727255314]
  知識蒸留は, 対向ロバスト性において, 最先端モデルの性能を高めるために直接的に利用できることを示す。 本稿では,モデルの性能向上のための新しいフレームワークであるAdversarial Knowledge Distillation (AKD)を提案する。
  論文  参考訳（メタデータ） (2022-03-14T15:02:13Z)
• Online Ensemble Model Compression using Knowledge Distillation [51.59021417947258]
  本稿では,学生アンサンブルからなる知識蒸留に基づくモデル圧縮フレームワークを提案する。 圧縮された各学生モデルに対して同時に学習したアンサンブル知識の蒸留を可能にする。 フレームワークの有効性を検証するために,最先端の分類モデルを用いた総合的な実験を行った。
  論文  参考訳（メタデータ） (2020-11-15T04:46:29Z)
• Knowledge Distillation Meets Self-Supervision [109.6400639148393]
  知識蒸留では、教師ネットワークから「暗黒の知識」を抽出し、学生ネットワークの学習を指導する。 一見異なる自己超越的なタスクが、単純だが強力なソリューションとして機能することを示します。 これらの自己超越信号の類似性を補助的タスクとして活用することにより、隠された情報を教師から生徒に効果的に転送することができる。
  論文  参考訳（メタデータ） (2020-06-12T12:18:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。