論文の概要: AMRD: Adaptive Multi-Teacher Relational Distillation for Lightweight Speech Emotion Recognition

• arxiv url: http://arxiv.org/abs/2607.25289v1
• Date: Tue, 28 Jul 2026 04:53:27 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-29 20:50:42.714919
• Title: AMRD: Adaptive Multi-Teacher Relational Distillation for Lightweight Speech Emotion Recognition
• Title（参考訳）: AMRD:軽量音声認識のための適応型マルチ教師関係蒸留
• Abstract要約: 音声感情認識(SER)はリアルタイムアプリケーションには不可欠だが、エッジデバイスには高機能な大規模な自己教師型モデルではコストがかかりすぎる。 適応型多教師蒸留 (AMRD) を提案し, バッチ間での教師の信頼性, およびロジトレベルの蒸留の2つの課題に対処する。 IECAPとCREMA-DMOでは、AMRDは、ほとんどの設定でシングルティーチンガー蒸留ベースラインを上回っている。
• 参考スコア（独自算出の注目度）: 28.481172353868725
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: On-device speech emotion recognition (SER) is critical for real-time applications, yet large self-supervised models that excel at SER are too costly for edge devices. Multi-teacher knowledge distillation can compress them into a lightweight student, but two challenges remain: teacher reliability varies across batches, and logit-level distillation ignores inter-sample relational structure. We propose Adaptive Multi-teacher Relational Distillation (AMRD) to address both. A one-class SVM on each teacher's logit similarity matrix assigns per-batch weights favoring more coherent teachers. A relational distillation loss aligns teacher and student similarity matrices, capturing structure that logit matching misses. On IEMOCAP and CREMA-D datasets across four student architectures, AMRD outperforms single-teacher distillation baselines in most settings, and ablations confirm both components yield complementary gains.
• Abstract（参考訳）: オンデバイス音声の感情認識(SER)はリアルタイムアプリケーションには不可欠だが、SERが優れている大規模な自己教師型モデルはエッジデバイスには高すぎる。 マルチ教師の知識蒸留は、それらを軽量な学生に圧縮することができるが、教師の信頼性はバッチによって異なり、ロジトレベルの蒸留はサンプル間の関係構造を無視している。 本稿では,適応型多教師関係蒸留(AMRD)を提案し,その両方に対処する。 各教師のロジット類似度行列上の一級SVMは、より一貫性のある教師に有利なバッチ単位の重みを割り当てる。 リレーショナル蒸留損失は、教師と生徒の類似度行列を整列させ、一致したミスをログトする構造をキャプチャする。 4つの学生アーキテクチャにわたるIEMOCAPとCREMA-Dデータセットでは、AMRDは、ほとんどの設定でシングルティーラー蒸留ベースラインを上回り、両方のコンポーネントが相補的な利得が得られることを確認する。

関連論文リスト

• GaitKD: A Universal Decoupled Distillation Framework for Efficient Gait Recognition [51.75783918486982]
  歩行認識は、長距離および接触のない識別のための魅力的な生体計測モダリティである。 知識蒸留は、強力な教師から効率的な学生に知識を伝達する自然な方法を提供する。 本稿では,ゲート知識伝達を2つの相補成分に分解する蒸留フレームワークであるGaitKDを提案する。
  論文  参考訳（メタデータ） (2026-04-29T03:24:38Z)
• CLIP-RD: Relational Distillation for Efficient CLIP Knowledge Distillation [3.6554065297669953]
  本稿では,2つの新しい方法を紹介する知識蒸留フレームワークを提案する。 VRDとXRDは, 分散レベルにおける教師と学生の蒸留強度の一致を強制する。 多方向リレーショナル構造を共同でモデル化することにより、CLI-RDは生徒の埋め込み幾何学と教師の幾何学の忠実なアライメントを促進し、既存の手法を0.8%向上させる。
  論文  参考訳（メタデータ） (2026-03-26T12:34:18Z)
• Uncertainty-Aware Knowledge Distillation for Multimodal Large Language Models [26.06143154557816]
  知識蒸留は、データ監督と教師指導の両方を活用する学習パラダイムを確立する。 本研究では,教師の指導にどの程度依存しているかを規定する不確実性を考慮した蒸留フレームワークであるBeta-KDを提案する。
  論文  参考訳（メタデータ） (2026-03-22T22:33:25Z)
• Merge-of-Thought Distillation [23.53356244978525]
  マージ・オブ・ソート蒸留(Merge-of-Thought Distillation、MoT)は、教師固有の教師付き微調整ブランチと、結果として生じる生徒の変種をマージする重み空間を代替する軽量フレームワークである。 競合数学のベンチマークでは、Qwen3-14Bの学生にMoTを適用すると、Deepseek-R1、Qwen3-32B、OpenAI-O1といった強力なモデルを超える。 MoTは、最高の単教師蒸留よりも優れており、数学以外の一般的な推論を改善し、分散シフトとピアレベルの教師に対して堅牢性を示している。
  論文  参考訳（メタデータ） (2025-09-10T17:46:57Z)
• Learning from Stochastic Teacher Representations Using Student-Guided Knowledge Distillation [64.15918654558816]
  教師表現のフィルタリングと重み付けのための自己蒸留(SSD)訓練戦略を導入し,タスク関連表現のみから抽出する。 UCR Archiveのウェアラブル/バイオサインデータセット、HARデータセット、画像分類データセットなどの実世界の感情コンピューティングに関する実験結果は、提案したSSD手法が最先端の手法より優れていることを示している。
  論文  参考訳（メタデータ） (2025-04-19T14:08:56Z)
• Efficient Verified Machine Unlearning For Distillation [7.269476063438961]
  PURGE(Partitioned Unlearning with Retraining Guarantee for Ensembles)は、未学習と蒸留を統合した新しいフレームワークである。 理論的解析,未学習プロセスにおける重要なスピードアップの定量化,および複数のデータセットに対する実証的検証を行う。
  論文  参考訳（メタデータ） (2025-03-28T15:38:07Z)
• Hybrid Distillation: Connecting Masked Autoencoders with Contrastive Learners [102.20090188997301]
  コントラスト学習(CL)とマスクド画像モデリング(MIM)の強みを組み合わせたモデルを得る方法について検討する。 識別と多様性の両立を図るため, 単純かつ効果的なハイブリッド蒸留戦略を提案する。 実験の結果、Hybrid Distillは異なるベンチマークで優れた性能が得られることが証明された。
  論文  参考訳（メタデータ） (2023-06-28T02:19:35Z)
• EmbedDistill: A Geometric Knowledge Distillation for Information Retrieval [83.79667141681418]
  大規模なニューラルモデル(トランスフォーマーなど)は、情報検索(IR)のための最先端のパフォーマンスを達成する 本研究では,大規模教師モデルで学習したクエリとドキュメント間の相対的幾何を利用した新しい蒸留手法を提案する。 提案手法は, 両エンコーダ (DE) とクロスエンコーダ (CE) の2種類の教師モデルから, 95～97%の教師性能を維持できる1/10の非対称な学生への蒸留に成功した。
  論文  参考訳（メタデータ） (2023-01-27T22:04:37Z)
• Representation Consolidation for Training Expert Students [54.90754502493968]
  マルチヘッド多タスク蒸留法は,タスク固有の教師の表現を集約し,下流のパフォーマンスを向上させるのに十分であることを示す。 また,本手法では,複数のドメインで訓練された複数の教師の表現的知識を1つのモデルに組み合わせることができる。
  論文  参考訳（メタデータ） (2021-07-16T17:58:18Z)
• Differentiable Feature Aggregation Search for Knowledge Distillation [47.94874193183427]
  単教師蒸留フレームワークにおける多教師蒸留を模倣する特徴集約について紹介する。 DFAは、ニューラルネットワーク探索においてDARTSによって動機付けられた2段階の微分可能特徴集合探索法である。 実験の結果,DFAはCIFAR-100およびCINIC-10データセットの既存手法よりも優れていた。
  論文  参考訳（メタデータ） (2020-08-02T15:42:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。