論文の概要: Toward a Universal Local Speech Feature Extractor Through Distillation

• arxiv url: http://arxiv.org/abs/2610.24424v1
• Date: Sat, 17 Oct 2026 03:40:43 GMT
• ステータス: 情報取得中
• システム内更新日: 2026-10-20 11:49:24.353632
• Title: Toward a Universal Local Speech Feature Extractor Through Distillation
• Title（参考訳）: 蒸留による普遍的局所音声特徴抽出器の実現に向けて
• Abstract要約: 自己教師型音声モデルは通常、局所的特徴抽出器として使用される畳み込みニューラルネットワーク(CNN)層と、変圧器層から構成される。 我々は、CNN層を単純で普遍的なモデルに置き換えることができると仮定する。 SUPERB(-SG)ベンチマークタスクの実験は、我々のモデルが教師モデルの性能をほとんど保持し、目に見えないモデル(wav2vec 2.0)でも使用できることを示している。
• 参考スコア（独自算出の注目度）: 16.630796772900123
• License:
• Abstract: Self-supervised speech models commonly consist of a set of convolutional neural network (CNN) layers used as a local feature extractor, followed by transformer layers. The CNN layers are computationally demanding, and are also similar across models and resemble the much simpler mel spectral features. We hypothesize that the CNN layers can be replaced by a simple, universal model. To test this hypothesis, we learn a two-layer feature extractor via distillation from one or more teacher models (HuBERT, data2vec, and WavLM). Experiments on SUPERB(-SG) benchmark tasks show that our model largely retains the performance of the teacher models and can also be used in an unseen model (wav2vec 2.0). Our feature extractor requires only 3% of the MACs of the CNNs, resulting in a $>$20% overall inference runtime reduction.
• Abstract（参考訳）: 自己教師型音声モデルは通常、局所的特徴抽出器として使用される畳み込みニューラルネットワーク(CNN)層と、変圧器層から構成される。 CNN層は計算的に要求され、モデル間で類似しており、はるかに単純なメルスペクトル特徴に類似している。 我々は、CNN層を単純で普遍的なモデルに置き換えることができると仮定する。 この仮説を検証するために,1つ以上の教師モデル(HuBERT, data2vec, WavLM)から蒸留により2層特徴抽出器を学習する。 SUPERB(-SG)ベンチマークタスクの実験は、我々のモデルが教師モデルの性能を保ち、見えないモデル(wav2vec 2.0)でも使用できることを示している。 我々の特徴抽出器は CNN の MAC の 3% しか必要とせず、その結果、全体の推論ランタイムの 20% を削減できる。

関連論文リスト

• CNN2GNN: How to Bridge CNN with GNN [59.42117676779735]
  蒸留によりCNNとGNNを統一する新しいCNN2GNNフレームワークを提案する。 Mini-ImageNetにおける蒸留ブースターの2層GNNの性能は、ResNet152のような数十層を含むCNNよりもはるかに高い。
  論文  参考訳（メタデータ） (2024-04-23T08:19:08Z)
• Reusing Convolutional Neural Network Models through Modularization and Composition [22.823870645316397]
  我々はCNNSplitterとGradSplitterという2つのモジュール化手法を提案する。 CNNSplitterは、トレーニングされた畳み込みニューラルネットワーク(CNN)モデルを、小さな再利用可能なモジュールとして$N$に分解する。 生成されたモジュールは、既存のCNNモデルにパッチを当てたり、コンポジションを通じて新しいCNNモデルを構築するために再利用することができる。
  論文  参考訳（メタデータ） (2023-11-08T03:18:49Z)
• On the Steganographic Capacity of Selected Learning Models [1.0640226829362012]
  本稿では,学習モデルの聴取能力について考察する。 幅広いモデルに対して、上書き可能な低次ビットの数を決定する。 テスト対象モデルのうち, LR実験では7.04KB, InceptionV3では44.74MBであった。
  論文  参考訳（メタデータ） (2023-08-29T10:41:34Z)
• Determination of the critical points for systems of directed percolation class using machine learning [0.0]
  我々はCNNとDBSCANを用いて、有向結合パーコレーション(ボンドDP)モデルとドマニ・キンゼル細胞普遍性(DK)モデルの臨界点を決定する。 両アルゴリズムの結果から,格子サイズの非常に小さな値であっても,マシンは両モデルの臨界点を正確に予測できることがわかった。
  論文  参考訳（メタデータ） (2023-07-19T20:58:12Z)
• A Lightweight CNN-Transformer Model for Learning Traveling Salesman Problems [0.0]
  CNN-Transformerモデルは、CNN埋め込み層を用いて入力データから空間的特徴をよりよく学習することができる。 提案モデルは,実世界のデータセットで最高の性能を示す。
  論文  参考訳（メタデータ） (2023-05-03T04:28:10Z)
• A Battle of Network Structures: An Empirical Study of CNN, Transformer, and MLP [121.35904748477421]
  畳み込みニューラルネットワーク(CNN)は、コンピュータビジョンのための支配的なディープニューラルネットワーク(DNN)アーキテクチャである。 トランスフォーマーとマルチ層パーセプトロン(MLP)ベースのモデル(Vision TransformerやVision-Mixer)が新しいトレンドを導い始めた。 本稿では,これらのDNN構造について実証的研究を行い,それぞれの長所と短所を理解しようとする。
  論文  参考訳（メタデータ） (2021-08-30T06:09:02Z)
• Train your classifier first: Cascade Neural Networks Training from upper layers to lower layers [54.47911829539919]
  我々は,高品質な分類器を探索するアルゴリズムとして見ることのできる,新しいトップダウン学習手法を開発した。 本研究では,自動音声認識(ASR)タスクと言語モデリングタスクについて検討した。 提案手法は,Wall Street Journal 上でのリカレントニューラルネットワーク ASR モデル,Switchboard 上での自己注意型 ASR モデル,WikiText-2 上での AWD-LSTM 言語モデルなど,一貫して改善されている。
  論文  参考訳（メタデータ） (2021-02-09T08:19:49Z)
• The Mind's Eye: Visualizing Class-Agnostic Features of CNNs [92.39082696657874]
  本稿では,特定のレイヤの最も情報性の高い特徴を表現した対応する画像を作成することにより,画像の集合を視覚的に解釈する手法を提案する。 本手法では, 生成ネットワークを必要とせず, 元のモデルに変更を加えることなく, デュアルオブジェクトのアクティベーションと距離損失を利用する。
  論文  参考訳（メタデータ） (2021-01-29T07:46:39Z)
• Exploring Deep Hybrid Tensor-to-Vector Network Architectures for Regression Based Speech Enhancement [53.47564132861866]
  我々は、CNN-TTというハイブリッドアーキテクチャが、モデルパラメータを小さくして高品質な性能を維持することができることを見出した。 CNN-TTは、音声品質を改善するために、特徴抽出のために下部に複数の畳み込み層で構成されている。
  論文  参考訳（メタデータ） (2020-07-25T22:21:05Z)
• Conformer: Convolution-augmented Transformer for Speech Recognition [60.119604551507805]
  最近、トランスフォーマーと畳み込みニューラルネットワーク(CNN)に基づくモデルが、自動音声認識(ASR)の有望な結果を示している。 音声認識のための畳み込み拡張変換器,Conformerを提案する。 広く使われているLibriSpeechベンチマークでは、言語モデルを用いずにWERが2.1%/4.3%、テスト/テストの外部言語モデルで1.9%/3.9%を達成した。
  論文  参考訳（メタデータ） (2020-05-16T20:56:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。