論文の概要: End-to-End Audio-Visual Learning for Cochlear Implant Sound Coding in Noisy Environments
- arxiv url: http://arxiv.org/abs/2508.13576v1
- Date: Tue, 19 Aug 2025 07:15:17 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-08-20 15:36:31.828689
- Title: End-to-End Audio-Visual Learning for Cochlear Implant Sound Coding in Noisy Environments
- Title（参考訳）: 騒音環境における人工内耳音響符号化のためのエンド・ツー・エンド・オーディオ・ビジュアル・ラーニング
- Authors: Meng-Ping Lin, Enoch Hsin-Ho Huang, Shao-Yi Chien, Yu Tsao,
- Abstract要約: 本稿では,深層学習に基づくElectronNet-CS(ECS)音声符号化戦略のための事前処理モジュールとして,AVSEモデルを利用した新しいノイズ抑圧型CIシステムAVSE-ECSを提案する。
実験結果から,提案手法は雑音条件下でのECS戦略より優れており,客観的音声の明瞭度が向上していることが示唆された。
- 参考スコア（独自算出の注目度）: 24.830980285374416
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: The cochlear implant (CI) is a remarkable biomedical device that successfully enables individuals with severe-to-profound hearing loss to perceive sound by converting speech into electrical stimulation signals. Despite advancements in the performance of recent CI systems, speech comprehension in noisy or reverberant conditions remains a challenge. Recent and ongoing developments in deep learning reveal promising opportunities for enhancing CI sound coding capabilities, not only through replicating traditional signal processing methods with neural networks, but also through integrating visual cues as auxiliary data for multimodal speech processing. Therefore, this paper introduces a novel noise-suppressing CI system, AVSE-ECS, which utilizes an audio-visual speech enhancement (AVSE) model as a pre-processing module for the deep-learning-based ElectrodeNet-CS (ECS) sound coding strategy. Specifically, a joint training approach is applied to model AVSE-ECS, an end-to-end CI system. Experimental results indicate that the proposed method outperforms the previous ECS strategy in noisy conditions, with improved objective speech intelligibility scores. The methods and findings in this study demonstrate the feasibility and potential of using deep learning to integrate the AVSE module into an end-to-end CI system
- Abstract（参考訳）: 人工内耳(CI)は、音声を電気的刺激信号に変換することで、重度から先進的な聴覚障害を持つ個人が音を知覚できる優れた生体医療装置である。
近年のCIシステムの性能向上にもかかわらず、雑音や残響条件における音声理解は依然として課題である。
近年のディープラーニング開発は、従来の信号処理手法をニューラルネットワークで複製するだけでなく、視覚的手がかりをマルチモーダル音声処理の補助データとして統合することで、CI音声符号化能力を高める有望な機会を明らかにしている。
そこで本稿では,深層学習に基づくElectronNet-CS(ECS)音声符号化のための事前処理モジュールとして,AVSEモデルを用いた新しいノイズ抑圧型CIシステムAVSE-ECSを提案する。
具体的には、エンドツーエンドCIシステムであるAVSE-ECSのモデルにジョイントトレーニングアプローチを適用する。
実験結果から,提案手法は雑音条件下でのECS戦略より優れており,客観的音声の明瞭度が向上していることが示唆された。
本研究では,AVSEモジュールをエンド・ツー・エンドCIシステムに統合する深層学習の可能性と可能性を示す。
関連論文リスト
- Representation-Regularized Convolutional Audio Transformer for Audio Understanding [53.092757178419355]
スクラッチからのブートストラップ表現は計算に高価で、しばしば収束するために広範囲のトレーニングを必要とします。
本稿では,これらの課題に対処するための統合フレームワークであるConvolutional Audio Transformer (CAT)を提案する。
論文 参考訳（メタデータ） (2026-01-29T12:16:19Z) - High-Fidelity Speech Enhancement via Discrete Audio Tokens [35.61634772862795]
DAC-SE1は言語モデルに基づくSEフレームワークで、離散的な高解像度オーディオ表現を利用する。
実験の結果,DAC-SE1は客観的指標とMUSHRAによる人的評価の両方において,最先端の自己回帰SE法を超越していることがわかった。
論文 参考訳（メタデータ） (2025-10-02T16:38:05Z) - Advances in Intelligent Hearing Aids: Deep Learning Approaches to Selective Noise Cancellation [0.0]
本稿では,AI駆動型補聴器用選択的ノイズキャンセリングの進歩を評価する。
ディープラーニングアーキテクチャ、ハードウェアデプロイメント戦略、臨床検証研究、ユーザ中心設計などにわたる知見を合成する。
主な発見は、従来の手法よりも大幅に向上し、18.3dBのSI-SDRをノイズ-残響ベンチマークで改善した。
論文 参考訳（メタデータ） (2025-06-25T15:05:16Z) - Bridging The Multi-Modality Gaps of Audio, Visual and Linguistic for Speech Enhancement [36.136070412464214]
音声強調(SE)は、雑音の多い環境下での音声の品質と可聴性を改善することを目的としている。
近年の研究では、音声信号処理に視覚的手がかりを取り入れることで、SE性能が向上することが示されている。
本稿では,音声,視覚,言語情報を統合した拡散モデルを利用した多モード学習フレームワークDLAV-SEを提案する。
論文 参考訳（メタデータ） (2025-01-23T04:36:29Z) - Where are we in audio deepfake detection? A systematic analysis over generative and detection models [59.09338266364506]
SONARはAI-Audio Detection FrameworkとBenchmarkの合成である。
最先端のAI合成聴覚コンテンツを識別するための総合的な評価を提供する。
従来のモデルベース検出システムと基礎モデルベース検出システムの両方で、AIオーディオ検出を均一にベンチマークする最初のフレームワークである。
論文 参考訳（メタデータ） (2024-10-06T01:03:42Z) - DeepSpeech models show Human-like Performance and Processing of Cochlear Implant Inputs [12.234206036041218]
我々は、ディープニューラルネットワーク(DNN)のDeepSpeech2をパラダイムとして、自然入力と人工内耳ベースの入力が時間の経過とともにどのように処理されるかを調べる。
音声文から自然言語および人工内耳のような入力を生成し、モデル性能と人的性能の類似性を検証した。
各レイヤにおける時間的ダイナミクスは、コンテキストや入力タイプの影響を受けます。
論文 参考訳（メタデータ） (2024-07-30T04:32:27Z) - Artificial Intelligence for Cochlear Implants: Review of Strategies, Challenges, and Perspectives [2.608119698700597]
本総説は、CIベースのASRと音声強調の進歩を包括的にカバーすることを目的としている。
このレビューは潜在的な応用を掘り下げ、この領域の既存の研究ギャップを埋めるための今後の方向性を提案する。
論文 参考訳（メタデータ） (2024-03-17T11:28:23Z) - MLCA-AVSR: Multi-Layer Cross Attention Fusion based Audio-Visual Speech Recognition [62.89464258519723]
異なるレベルのオーディオ/視覚エンコーダに融合することで、各モードの表現を促進する多層クロスアテンション融合に基づくAVSR手法を提案する。
提案手法は第1位システムを超え,新たなSOTA cpCERの29.13%をこのデータセット上に構築する。
論文 参考訳（メタデータ） (2024-01-07T08:59:32Z) - Continuous Modeling of the Denoising Process for Speech Enhancement
Based on Deep Learning [61.787485727134424]
状態変数をデノナイジングプロセスを示すために使用します。
UNetのようなニューラルネットワークは、連続的復調プロセスからサンプリングされたすべての状態変数を推定することを学ぶ。
実験結果から, クリーンターゲットに少量の雑音を保存することは, 音声強調に有効であることが示唆された。
論文 参考訳（メタデータ） (2023-09-17T13:27:11Z) - Discretization and Re-synthesis: an alternative method to solve the
Cocktail Party Problem [65.25725367771075]
この研究は、初めて合成に基づくアプローチがこの問題にうまく対応できることを示した。
具体的には,離散シンボルの認識に基づく音声分離/強調モデルを提案する。
離散シンボルの入力による合成モデルを利用することで、離散シンボル列の予測後、各ターゲット音声を再合成することができる。
論文 参考訳（メタデータ） (2021-12-17T08:35:40Z) - Factorized Neural Transducer for Efficient Language Model Adaptation [51.81097243306204]
空白および語彙予測を分解し,ニューラルトランスデューサの因子化モデルを提案する。
この因子化は、音声認識のためのトランスデューサにスタンドアロン言語モデルの改善を移すことが期待できる。
提案した因子化ニューラルトランスデューサは、言語モデル適応にドメイン外テキストデータを使用する場合、15%から20%のWER改善が得られることを示す。
論文 参考訳（メタデータ） (2021-09-27T15:04:00Z) - Simultaneous Denoising and Dereverberation Using Deep Embedding Features [64.58693911070228]
ディープ埋め込み特徴を用いた同時発声・発声同時学習法を提案する。
ノイズ発生段階では、DCネットワークを利用してノイズのないディープ埋込み特性を抽出する。
残響段階では、教師なしのK平均クラスタリングアルゴリズムの代わりに、別のニューラルネットワークを用いて無響音声を推定する。
論文 参考訳（メタデータ） (2020-04-06T06:34:01Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。