論文の概要: Pruning-aware Loss Functions for STOI-Optimized Pruned Recurrent Autoencoders for the Compression of the Stimulation Patterns of Cochlear Implants at Zero Delay

• arxiv url: http://arxiv.org/abs/2502.02424v1
• Date: Tue, 04 Feb 2025 15:44:15 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-05 14:52:13.335982
• Title: Pruning-aware Loss Functions for STOI-Optimized Pruned Recurrent Autoencoders for the Compression of the Stimulation Patterns of Cochlear Implants at Zero Delay
• Title（参考訳）: ゼロ遅延時の人工内耳刺激パターンの圧縮のためのSTOI最適化Pruned Recurrent AutoencoderのPruning-Aware Loss関数
• Authors: Reemt Hinrichs, Jörn Ostermann,
• Abstract要約: 人工内耳(CI)は外科的にインプラントされた補聴器であり、難聴者の聴覚を回復させる。 本研究は、ディープ・リカレント・オートエンコーダの符号化された刺激パターンの目的音声の明瞭度を最大化する。
• 参考スコア（独自算出の注目度）: 5.478764356647437
• License:
• Abstract: Cochlear implants (CIs) are surgically implanted hearing devices, which allow to restore a sense of hearing in people suffering from profound hearing loss. Wireless streaming of audio from external devices to CI signal processors has become common place. Specialized compression based on the stimulation patterns of a CI by deep recurrent autoencoders can decrease the power consumption in such a wireless streaming application through bit-rate reduction at zero latency. While previous research achieved considerable bit-rate reductions, model sizes were ignored, which can be of crucial importance in hearing-aids due to their limited computational resources. This work investigates maximizing objective speech intelligibility of the coded stimulation patterns of deep recurrent autoencoders while minimizing model size. For this purpose, a pruning-aware loss is proposed, which captures the impact of pruning during training. This training with a pruning-aware loss is compared to conventional magnitude-informed pruning and is found to yield considerable improvements in objective intelligibility, especially at higher pruning rates. After fine-tuning, little to no degradation of objective intelligibility is observed up to a pruning rate of about 55\,\%. The proposed pruning-aware loss yields substantial gains in objective speech intelligibility scores after pruning compared to the magnitude-informed baseline for pruning rates above 45\,\%.
• Abstract（参考訳）: 人工内耳(CI)は外科的にインプラントされた補聴器であり、難聴者の聴覚を回復させる。 外部デバイスからCI信号プロセッサへのオーディオのワイヤレスストリーミングが一般的になっている。 ディープリカレントオートエンコーダによるCIの刺激パターンに基づく特別な圧縮は、ビットレートをゼロレイテンシで削減することで、そのような無線ストリーミングアプリケーションの消費電力を削減できる。 従来の研究はビットレートの大幅な削減を達成していたが、モデルのサイズは無視され、計算資源が限られているため補聴器において重要な役割を担った。 本研究は, モデルサイズを最小化しつつ, 深部再帰型オートエンコーダの符号化された刺激パターンの客観的音声明瞭度を最大化する。 この目的のために、訓練中のプルーニングの影響を捉えたプルーニング認識損失を提案する。 プルーニング・アウェア・ロスを用いたこのトレーニングは、従来の等級インフォームドプルーニングと比較され、特に高いプルーニングレートにおいて、客観的なインテリジェンス性を著しく向上することが判明した。 微調整後, 主観的インテリジェンスの劣化は55\,\%程度までほとんど観測されなかった。 提案したpruning-aware損失は,45\,\%以上のpruningレートに対して,pruning後の対象音声のインテリジェンススコアが有意に向上する。

関連論文リスト

• Towards Resource-Efficient Federated Learning in Industrial IoT for Multivariate Time Series Analysis [50.18156030818883]
  異常と欠落したデータは、産業応用における厄介な問題を構成する。 ディープラーニングによる異常検出が重要な方向として現れている。 エッジデバイスで収集されたデータは、ユーザのプライバシを含む。
  論文  参考訳（メタデータ） (2024-11-06T15:38:31Z)
• DeepSpeech models show Human-like Performance and Processing of Cochlear Implant Inputs [12.234206036041218]
  我々は、ディープニューラルネットワーク(DNN)のDeepSpeech2をパラダイムとして、自然入力と人工内耳ベースの入力が時間の経過とともにどのように処理されるかを調べる。 音声文から自然言語および人工内耳のような入力を生成し、モデル性能と人的性能の類似性を検証した。 各レイヤにおける時間的ダイナミクスは、コンテキストや入力タイプの影響を受けます。
  論文  参考訳（メタデータ） (2024-07-30T04:32:27Z)
• CheapNET: Improving Light-weight speech enhancement network by projected loss function [0.8192907805418583]
  我々は,MSEから分岐した新しい投射損失関数を導入し,雑音抑制を向上する。 エコーキャンセリングのために、この関数はLAEC事前処理された出力の直接予測を可能にする。 ノイズ抑制モデルは,3.1Mパラメータと0.4GFlops/s計算負荷のみを用いて,ほぼ最先端の結果が得られる。
  論文  参考訳（メタデータ） (2023-11-27T16:03:42Z)
• SynA-ResNet: Spike-driven ResNet Achieved through OR Residual Connection [10.702093960098104]
  スパイキングニューラルネットワーク(SNN)は、その生物学的忠実さとエネルギー効率のよいスパイク駆動操作を実行する能力のために、脳のような計算にかなりの注意を払っている。 ORRC(Residual Connection)を通じて大量の冗長情報を蓄積する新しいトレーニングパラダイムを提案する。 次に,SynA(SynA)モジュールを用いて冗長情報をフィルタリングし,背骨における特徴抽出を促進するとともに,ショートカットにおけるノイズや無駄な特徴の影響を抑える。
  論文  参考訳（メタデータ） (2023-11-11T13:36:27Z)
• Pruning Deep Neural Networks from a Sparsity Perspective [34.22967841734504]
  プルーニングは、しばしば、同等のテスト性能を維持しながら、ディープネットワークの冗長な重み、ニューロン、または層を落とすことで達成される。 深層ニューラルネットワークの圧縮可能性を測定するためにPQインデックス(PQI)を提案し,これをスペーサ性インフォームド・アダプティブ・プルーニング(SAP)アルゴリズムの開発に利用する。
  論文  参考訳（メタデータ） (2023-02-11T04:52:20Z)
• Simple Pooling Front-ends For Efficient Audio Classification [56.59107110017436]
  入力音声特徴量における時間的冗長性を排除することは,効率的な音声分類に有効な方法である可能性が示唆された。 本稿では、単純な非パラメトリックプーリング操作を用いて冗長な情報を削減する単純なプールフロントエンド(SimPFs)のファミリーを提案する。 SimPFは、市販オーディオニューラルネットワークの浮動小数点演算数の半数以上を削減できる。
  論文  参考訳（メタデータ） (2022-10-03T14:00:41Z)
• Dissecting User-Perceived Latency of On-Device E2E Speech Recognition [34.645194215436966]
  我々は,トークン放出遅延とエンドポイント動作に影響を与える要因がユーザ知覚遅延(upl)に大きく影響することを示す。 我々は,最近提案されたアライメント正規化を用いて,ASRとエンドポイントを併用する際のレイテンシと単語エラー率の最良のトレードオフを実現する。
  論文  参考訳（メタデータ） (2021-04-06T00:55:11Z)
• Hessian-Aware Pruning and Optimal Neural Implant [74.3282611517773]
  プルーニングは、ニューラルネットワークモデルに関連するメモリフットプリントとフラップを減らす効果的な方法である。 構造的プルーニングの指標として2次感度を用いたニューラルインプラントアプローチと組み合わされた新しいヘッセン認識プルーニング法を提案する。
  論文  参考訳（メタデータ） (2021-01-22T04:08:03Z)
• Neural Pruning via Growing Regularization [82.9322109208353]
  プルーニングの2つの中心的な問題:プルーニングのスケジュールと重み付けの重要度だ。 具体的には, ペナルティ要因が増大するL2正規化変種を提案し, 精度が著しく向上することを示した。 提案アルゴリズムは,構造化プルーニングと非構造化プルーニングの両方において,大規模データセットとネットワークの実装が容易かつスケーラブルである。
  論文  参考訳（メタデータ） (2020-12-16T20:16:28Z)
• Sequence-to-sequence Singing Voice Synthesis with Perceptual Entropy Loss [49.62291237343537]
  本稿では,心理音響聴覚モデルから得られた知覚エントロピー(PE)損失をネットワークの正規化のために提案する。 1時間のオープンソース歌唱音声データベースを用いて,PE損失が各種主流系列列列モデルに与える影響について検討する。
  論文  参考訳（メタデータ） (2020-10-22T20:14:59Z)
• Rapid Structural Pruning of Neural Networks with Set-based Task-Adaptive Meta-Pruning [83.59005356327103]
  既存のプルーニング技術に共通する制限は、プルーニングの前に少なくとも1回はネットワークの事前トレーニングが必要であることである。 本稿では,ターゲットデータセットの関数としてプルーニングマスクを生成することにより,大規模な参照データセット上で事前訓練されたネットワークをタスク適応的にプルークするSTAMPを提案する。 ベンチマークデータセット上での最近の先進的なプルーニング手法に対するSTAMPの有効性を検証する。
  論文  参考訳（メタデータ） (2020-06-22T10:57:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。