論文の概要: AudioSAE: Towards Understanding of Audio-Processing Models with Sparse AutoEncoders

• arxiv url: http://arxiv.org/abs/2602.05027v1
• Date: Wed, 04 Feb 2026 20:29:16 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-02-06 18:49:08.604386
• Title: AudioSAE: Towards Understanding of Audio-Processing Models with Sparse AutoEncoders
• Title（参考訳）: AudioSAE:スパースオートエンコーダを用いたオーディオ処理モデルの理解に向けて
• Authors: Georgii Aparin, Tasnima Sadekova, Alexey Rukhovich, Assel Yermekova, Laida Kushnareva, Vadim Popov, Kristian Kuznetsov, Irina Piontkovskaya,
• Abstract要約: 私たちは、WhisperとHuBERTのすべてのエンコーダ層にわたってSAEをトレーニングします。 50%以上の機能は無作為な種間で一貫しており、復元品質は維持されている。 SAEの特徴は, 音声知覚における脳波活動と相関し, 人間の神経処理との整合性を示す。
• 参考スコア（独自算出の注目度）: 10.728025430620647
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Sparse Autoencoders (SAEs) are powerful tools for interpreting neural representations, yet their use in audio remains underexplored. We train SAEs across all encoder layers of Whisper and HuBERT, provide an extensive evaluation of their stability, interpretability, and show their practical utility. Over 50% of the features remain consistent across random seeds, and reconstruction quality is preserved. SAE features capture general acoustic and semantic information as well as specific events, including environmental noises and paralinguistic sounds (e.g. laughter, whispering) and disentangle them effectively, requiring removal of only 19-27% of features to erase a concept. Feature steering reduces Whisper's false speech detections by 70% with negligible WER increase, demonstrating real-world applicability. Finally, we find SAE features correlated with human EEG activity during speech perception, indicating alignment with human neural processing. The code and checkpoints are available at https://github.com/audiosae/audiosae_demo.
• Abstract（参考訳）: スパースオートエンコーダ(SAE)は、ニューラル表現を解釈するための強力なツールであるが、オーディオでの使用は未調査のままである。 我々は、WhisperとHuBERTの全エンコーダ層にわたってSAEを訓練し、その安定性、解釈可能性、実用性を広範囲に評価する。 50%以上の機能は無作為な種間で一貫しており、復元品質は維持されている。 SAEの特徴は、環境騒音やパラ言語音(例えば笑い、ささやき)を含む一般的な音響情報や意味的な情報をキャプチャし、それらを効果的に切り離し、概念を消去するために19～27%の機能だけを取り除く必要がある。 機能ステアリングは、WERの無視可能な増加とともに、Whisperの偽の音声検出を70%削減し、現実の応用性を示す。 最後に,SAEの特徴は音声知覚における脳波活動と相関し,人間のニューラル処理との整合性を示す。 コードとチェックポイントはhttps://github.com/audiosae/audiosae_demo.comで公開されている。

関連論文リスト

• Learning Interpretable Features in Audio Latent Spaces via Sparse Autoencoders [4.757470067755357]
  我々は、音声オートエンコーダのラテントでSAEを訓練し、SAE特徴から線形マッピングを学習し、音響特性を識別する。 これにより、AI音楽生成プロセスの制御可能な操作と分析が可能になる。
  論文  参考訳（メタデータ） (2025-10-27T19:35:39Z)
• Learning Robust Spatial Representations from Binaural Audio through Feature Distillation [64.36563387033921]
  データラベルを必要とせずに音声の頑健な空間表現を学習するために,特徴蒸留に基づく事前学習ステージの利用について検討する。 実験により, 事前学習したモデルでは, 騒音および残響環境における性能が向上していることが示された。
  論文  参考訳（メタデータ） (2025-08-28T15:43:15Z)
• Automatically Interpreting Millions of Features in Large Language Models [1.8035046415192353]
  スパースオートエンコーダ(SAE)は、活性化を高次元の潜在空間に変換するために用いられる。 SAEの機能に関する自然言語の説明を生成・評価するためのオープンソースのパイプラインを構築します。 我々の大規模分析は、SAE潜伏剤がニューロンよりもはるかに解釈可能であることを確認しています。
  論文  参考訳（メタデータ） (2024-10-17T17:56:01Z)
• Explaining Deep Learning Embeddings for Speech Emotion Recognition by Predicting Interpretable Acoustic Features [5.678610585849838]
  事前学習されたディープラーニング埋め込みは、音声感情認識において手作り音響特性よりも優れた性能を示している。 明瞭な物理的意味を持つ音響的特徴とは異なり、これらの埋め込みは明確な解釈可能性を持たない。 本稿では,音声の感情空間における深層学習の埋め込みを説明するための改良型探索手法を提案する。
  論文  参考訳（メタデータ） (2024-09-14T19:18:56Z)
• SafeEar: Content Privacy-Preserving Audio Deepfake Detection [17.859275594843965]
  音声コンテンツにアクセスすることなくディープフェイク音声を検知する新しいフレームワークであるSafeEarを提案する。 私たちのキーとなるアイデアは、ニューラルオーディオを、セマンティックおよび音響情報をオーディオサンプルから適切に分離する、新しいデカップリングモデルに組み込むことです。 このようにして、セマンティックな内容が検出器に露出されることはない。
  論文  参考訳（メタデータ） (2024-09-14T02:45:09Z)
• Audio-Visual Speech Codecs: Rethinking Audio-Visual Speech Enhancement by Re-Synthesis [67.73554826428762]
  本稿では,AR/VRにおける高忠実度通信のための新しい音声・視覚音声強調フレームワークを提案する。 提案手法は音声・視覚音声の手がかりを利用してニューラル音声のコードを生成することで,ノイズ信号からクリーンでリアルな音声を効率的に合成する。
  論文  参考訳（メタデータ） (2022-03-31T17:57:10Z)
• CI-AVSR: A Cantonese Audio-Visual Speech Dataset for In-car Command Recognition [91.33781557979819]
  新しいデータセットであるCantonese In-car Audio-Visual Speech Recognition (CI-AVSR)を導入する。 カントン語話者30人が記録した200の車載コマンドの4,984サンプル(8.3時間)で構成されている。 当社のデータセットのクリーンバージョンと拡張バージョンの両方について、詳細な統計情報を提供しています。
  論文  参考訳（メタデータ） (2022-01-11T06:32:12Z)
• Wav2vec-Switch: Contrastive Learning from Original-noisy Speech Pairs for Robust Speech Recognition [52.71604809100364]
  音声の文脈化表現に雑音のロバスト性をエンコードするwav2vec-Switchを提案する。 具体的には、オリジナルノイズの多い音声ペアを同時にwav2vec 2.0ネットワークに供給する。 既存のコントラスト学習タスクに加えて、原音声と雑音音声の量子化表現を追加の予測対象に切り替える。
  論文  参考訳（メタデータ） (2021-10-11T00:08:48Z)
• Learning Audio-Visual Dereverberation [87.52880019747435]
  環境中の表面や物体を反射する音声からの残響は、人間の知覚の質を低下させるだけでなく、自動音声認識の精度にも深刻な影響を及ぼす。 我々の考えは、音声・視覚的観察から音声を除去することである。 そこで我々は,観測音と映像シーンの両方に基づいて残響を除去することを学ぶエンドツーエンドアプローチである,視覚インフォームド・デバーベレーション・オブ・オーディオ(VIDA)を紹介した。
  論文  参考訳（メタデータ） (2021-06-14T20:01:24Z)
• Multi-task self-supervised learning for Robust Speech Recognition [75.11748484288229]
  本稿では,雑音および残響環境下での頑健な音声認識のためのPASE+を提案する。 我々は、様々なランダムな乱れで入力信号を汚染するオンライン音声歪みモジュールを用いる。 次に,再帰型ネットワークと畳み込み型ネットワークを効率よく組み合わせて,短時間および長期の音声力学をよりよく学習する改良型エンコーダを提案する。
  論文  参考訳（メタデータ） (2020-01-25T00:24:45Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。