論文の概要: Efficient Audio-Visual Speech Enhancement via Reinforcement Learning-Based Neural Architecture Search
- arxiv url: http://arxiv.org/abs/2610.12796v1
- Date: Thu, 08 Oct 2026 23:03:32 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-13 04:06:29.315793
- Title: Efficient Audio-Visual Speech Enhancement via Reinforcement Learning-Based Neural Architecture Search
- Title（参考訳）: 強化学習に基づくニューラルアーキテクチャ探索による効率的な音声-視覚音声強調
- Abstract要約: 本稿では、コンパクトで効率的なAVSEアーキテクチャを発見するための強化学習駆動型ニューラルネットワーク探索フレームワークを提案する。
このフレームワークは35の候補アーキテクチャのみを評価し、290万のパラメータを持つモデルを特定し、ベースラインでは2200万である。
提案したアーキテクチャでは,ベースラインの0.7dB以下で14.5dBのSI-SNRの改善を実現し,モデルサイズを約9倍に削減した。
- 参考スコア（独自算出の注目度）: 12.144811213093844
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: Audio-visual speech enhancement (AVSE) improves speech intelligibility in noisy environments but often relies on computationally expensive models unsuitable for resource-constrained edge devices. This paper introduces a reinforcement learning-driven neural architecture search (RL-NAS) framework to discover compact, efficient AVSE architectures. The search space preserves temporal alignment between audio and visual streams, while a novel reward function jointly optimises speech enhancement performance, measured by SI-SNR improvement, and model compactness. Using proximal policy optimisation with constraint-aware action masking, the framework evaluates only 35 candidate architectures and identifies a model with 2.9 million parameters, compared with 22 million in the baseline. The proposed architecture achieves a 14.5 dB SI-SNR improvement, only 0.7 dB below the baseline, while reducing model size by approximately nine-fold. Evaluation on commercial mobile CPUs demonstrates a 4.3-fold reduction in real-time factor, supporting practical on-device deployment. Compared with random search, RL-NAS achieves 92% higher search efficiency. Architectural analysis reveals that shallower but wider temporal convolutional blocks and aggressive visual pathway pruning can maintain enhancement performance while substantially reducing computational requirements. These findings demonstrate the potential of reinforcement learning-guided architecture search for developing lightweight, efficient and deployable multimodal speech enhancement systems.
- Abstract（参考訳）: AVSE(Audio-visual speech enhancement)は、ノイズの多い環境での音声の可聴性を改善するが、リソース制約のあるエッジデバイスには適さない計算コストの高いモデルに依存することが多い。
本稿では、コンパクトで効率的なAVSEアーキテクチャを発見するための強化学習駆動型ニューラルネットワーク探索(RL-NAS)フレームワークを提案する。
検索空間は、音声と視覚ストリームの時間的アライメントを保ち、新しい報酬関数は、SI-SNRの改善により測定された音声強調性能とモデルコンパクト性とを協調的に最適化する。
このフレームワークは、制約対応のアクションマスキングによる近似ポリシー最適化を用いて、35の候補アーキテクチャを評価し、290万のパラメータを持つモデルをベースラインで2200万と比較して識別する。
提案したアーキテクチャでは,ベースラインの0.7dB以下で14.5dBのSI-SNRの改善を実現し,モデルサイズを約9倍に削減した。
商用モバイルCPUの評価では、リアルタイムファクタの4.3倍の削減が示され、デバイス上の実際のデプロイをサポートする。
ランダム検索と比較して、RL-NASは92%高い検索効率を達成する。
アーキテクチャ解析により、より浅いがより広い時間的畳み込みブロックとアグレッシブ・ビジュアル・パス・プルーニングは、計算要求を大幅に低減しつつ、拡張性能を維持することができることが明らかになった。
これらの結果は、軽量で効率的でデプロイ可能なマルチモーダル音声強調システムを開発するための強化学習誘導型アーキテクチャ探索の可能性を示している。
関連論文リスト
- Task-Oriented Real-time Visual Inference for IoVT Systems: A Co-design Framework of Neural Networks and Edge Deployment [61.20689382879937]
タスク指向エッジコンピューティングは、データ分析をエッジにシフトすることで、この問題に対処する。
既存の手法は、高いモデル性能と低いリソース消費のバランスをとるのに苦労している。
ニューラルネットワークアーキテクチャを最適化する新しい協調設計フレームワークを提案する。
論文 参考訳（メタデータ） (2024-10-29T19:02:54Z) - Compressing Large Language Models with Automated Sub-Network Search [41.452512557226335]
我々は、下流タスク性能を改善しつつ、モデルサイズの削減を図るため、大規模言語モデルに対するモデル圧縮を検討する。
我々はこれを、構造的コンポーネントを自動生成するニューラルネットワーク探索問題と表現する。
本手法は,11種類のダウンストリームタスクに対して平均9.85%の改善を実現し,デバイス上でのレイテンシを最大22%改善する。
論文 参考訳（メタデータ） (2024-10-09T02:14:39Z) - A Light Weight Model for Active Speaker Detection [7.253335671577093]
入力候補を減らし、2次元と3次元の畳み込みを音声・視覚特徴抽出に分割し、計算量が少ないゲート再帰ユニット(GRU)をクロスモーダルモデリングに応用し、軽量な能動話者検出アーキテクチャを構築した。
AVA-ActiveSpeakerデータセットの実験結果は、我々のフレームワークが競合的なmAP性能(94.1%対94.2%)を達成することを示している。
私たちのフレームワークは、良好な堅牢性を示すColumbiaデータセットでもうまく機能します。
論文 参考訳（メタデータ） (2023-03-08T08:40:56Z) - Audio-Visual Efficient Conformer for Robust Speech Recognition [91.3755431537592]
本稿では,近年提案されている高能率コンバータ接続性時間分類アーキテクチャの雑音を,音声と視覚の両方を処理して改善することを提案する。
実験の結果,音声と視覚のモダリティを用いることで,環境騒音の存在下での音声の認識が向上し,トレーニングが大幅に加速し,WERが4倍のトレーニングステップで低下することが確認された。
論文 参考訳（メタデータ） (2023-01-04T05:36:56Z) - Neural Architecture Search for Speech Emotion Recognition [72.1966266171951]
本稿では,SERモデルの自動構成にニューラルアーキテクチャサーチ(NAS)技術を適用することを提案する。
NASはモデルパラメータサイズを維持しながらSER性能(54.89%から56.28%)を向上させることができることを示す。
論文 参考訳（メタデータ） (2022-03-31T10:16:10Z) - Performance optimizations on deep noise suppression models [15.316827344680165]
本研究では,深部雑音抑圧(DNS)モデルの予測時間を高速化するアーキテクチャ探索として,等級構造プルーニングが果たす役割について検討する。
ベースライン上での最大7.25倍の推論高速化を実現し,スムーズなモデル性能向上を実現した。
論文 参考訳（メタデータ） (2021-10-08T21:00:01Z) - Off-Policy Reinforcement Learning for Efficient and Effective GAN
Architecture Search [50.40004966087121]
本稿では,GANアーキテクチャ探索のための強化学習に基づくニューラルアーキテクチャ探索手法を提案する。
鍵となる考え方は、よりスムーズなアーキテクチャサンプリングのためのマルコフ決定プロセス(MDP)として、GANアーキテクチャ探索問題を定式化することである。
我々は,従来の政策によって生成されたサンプルを効率的に活用する,非政治的なGANアーキテクチャ探索アルゴリズムを利用する。
論文 参考訳（メタデータ） (2020-07-17T18:29:17Z) - Multi-Objective Neural Architecture Search Based on Diverse Structures
and Adaptive Recommendation [4.595675084986132]
畳み込みニューラルネットワーク(CNN)のためのニューラルネットワーク探索(NAS)の検索空間は巨大である。
本稿では,既存の研究結果と過去の情報を利用して,軽量かつ高精度なアーキテクチャを迅速に発見するMoARRアルゴリズムを提案する。
実験結果から,CIFAR-10上でのMoARRは6GPU時間で1.9%の誤差率と2.3Mパラメータを持つ,強力で軽量なモデルを実現することができた。
論文 参考訳（メタデータ） (2020-07-06T13:42:33Z) - DrNAS: Dirichlet Neural Architecture Search [88.56953713817545]
ディリクレ分布をモデルとした連続緩和型混合重みをランダム変数として扱う。
最近開発されたパスワイズ微分により、ディリクレパラメータは勾配に基づく一般化で容易に最適化できる。
微分可能なNASの大きなメモリ消費を軽減するために, 単純かつ効果的な進行学習方式を提案する。
論文 参考訳（メタデータ） (2020-06-18T08:23:02Z) - FBNetV3: Joint Architecture-Recipe Search using Predictor Pretraining [65.39532971991778]
サンプル選択とランキングの両方を導くことで、アーキテクチャとトレーニングのレシピを共同でスコアする精度予測器を提案する。
高速な進化的検索をCPU分で実行し、さまざまなリソース制約に対するアーキテクチャと準備のペアを生成します。
FBNetV3は最先端のコンパクトニューラルネットワークのファミリーを構成しており、自動と手動で設計された競合より優れている。
論文 参考訳（メタデータ） (2020-06-03T05:20:21Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。