Fugu-MT 論文翻訳(概要): Neural ODE with Temporal Convolution and Time Delay Neural Networks for Small-Footprint Keyword Spotting

論文の概要: Neural ODE with Temporal Convolution and Time Delay Neural Networks for Small-Footprint Keyword Spotting

arxiv url: http://arxiv.org/abs/2008.00209v2
Date: Sun, 6 Sep 2020 12:06:36 GMT
ステータス: 処理完了
システム内更新日: 2022-11-04 01:18:45.834641
Title: Neural ODE with Temporal Convolution and Time Delay Neural Networks for Small-Footprint Keyword Spotting
Title（参考訳）: 小図形キーワードスポッティングのための時間畳み込みと時間遅延ニューラルネットワークを用いたニューラルネットワーク
Authors: Hiroshi Fuketa and Yukinori Morita
Abstract要約: 我々は, NODE を KWS に適用し, バッチ正規化を NODE ベースのネットワークに適用する手法を提案する。提案モデルのモデルパラメータの数は,従来のKWSモデルよりも68%小さくなった。
参考スコア（独自算出の注目度）: 0.0
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: In this paper, we propose neural network models based on the neural ordinary differential equation (NODE) for small-footprint keyword spotting (KWS). We present techniques to apply NODE to KWS that make it possible to adopt Batch Normalization to NODE-based network and to reduce the number of computations during inference. Finally, we show that the number of model parameters of the proposed model is smaller by 68% than that of the conventional KWS model.
Abstract（参考訳）: 本稿では,kws(small-footprint keyword spotting)のためのニューラル常微分方程式(node)に基づくニューラルネットワークモデルを提案する。我々は, NODE を KWS に適用することにより, バッチ正規化を NODE ベースのネットワークに適用し, 推論時の計算量を削減する手法を提案する。最後に,提案モデルのモデルパラメータの数が従来のKWSモデルよりも68%小さくなることを示す。

関連論文リスト

Novel Kernel Models and Exact Representor Theory for Neural Networks Beyond the Over-Parameterized Regime [52.00917519626559]
本稿では、ニューラルネットワークの2つのモデルと、任意の幅、深さ、トポロジーのニューラルネットワークに適用可能なトレーニングについて述べる。また、局所外在性神経核(LeNK)の観点から、非正規化勾配降下を伴う階層型ニューラルネットワークトレーニングのための正確な表現子理論を提示する。この表現論は、ニューラルネットワークトレーニングにおける高次統計学の役割と、ニューラルネットワークのカーネルモデルにおけるカーネル進化の影響について洞察を与える。
論文参考訳（メタデータ） (2024-05-24T06:30:36Z)
Fast-NTK: Parameter-Efficient Unlearning for Large-Scale Models [17.34908967455907]
マシン・アンラーニング'は、スクラッチから再トレーニングすることなく、不要なデータの選択的削除を提案する。 Fast-NTKはNTKベースの新しいアンラーニングアルゴリズムであり、計算複雑性を大幅に削減する。
論文参考訳（メタデータ） (2023-12-22T18:55:45Z)
Spike-and-slab shrinkage priors for structurally sparse Bayesian neural networks [0.16385815610837165]
スパースディープラーニングは、基礎となるターゲット関数のスパース表現を復元することで、課題に対処する。構造化された空間によって圧縮されたディープニューラルアーキテクチャは、低レイテンシ推論、データスループットの向上、エネルギー消費の削減を提供する。本研究では, (i) Spike-and-Slab Group Lasso (SS-GL) と (ii) Spike-and-Slab Group Horseshoe (SS-GHS) を併用した過剰ノードを誘発する構造的疎いベイズニューラルネットワークを提案する。
論文参考訳（メタデータ） (2023-08-17T17:14:18Z)
From NeurODEs to AutoencODEs: a mean-field control framework for width-varying Neural Networks [68.8204255655161]
本稿では,動的に駆動する制御フィールドをベースとした,AutoencODEと呼ばれる新しいタイプの連続時間制御システムを提案する。損失関数が局所凸な領域では,多くのアーキテクチャが復元可能であることを示す。
論文参考訳（メタデータ） (2023-07-05T13:26:17Z)
Continuous time recurrent neural networks: overview and application to forecasting blood glucose in the intensive care unit [56.801856519460465]
連続時間自己回帰リカレントニューラルネットワーク(Continuous Time Autoregressive Recurrent Neural Network, CTRNN)は、不規則な観測を考慮に入れたディープラーニングモデルである。重篤なケア環境下での血糖値の確率予測へのこれらのモデルの適用を実証する。
論文参考訳（メタデータ） (2023-04-14T09:39:06Z)
Principled Pruning of Bayesian Neural Networks through Variational Free Energy Minimization [2.3999111269325266]
ベイジアンニューラルネットワークの原理的プルーニングを行うためにベイジアンモデルレダクションを定式化し,適用する。ベイズモデル削減に伴う問題を緩和するために, 新たな反復刈り込みアルゴリズムを提案する。本実験は,最先端の刈り取り方式と比較して,優れたモデル性能を示す。
論文参考訳（メタデータ） (2022-10-17T14:34:42Z)
A Kernel-Expanded Stochastic Neural Network [10.837308632004644]
ディープニューラルネットワークは、トレーニングにおいて、しばしばローカルな最小限に閉じ込められる。新しいカーネル拡張ニューラルネットワーク(K-StoNet)モデルは、潜在変数モデルとしてネットワークを再構成する。モデルは命令正規化最適化(IRO)アルゴリズムを用いて容易に訓練することができる。
論文参考訳（メタデータ） (2022-01-14T06:42:42Z)
Low-bit Quantization of Recurrent Neural Network Language Models Using Alternating Direction Methods of Multipliers [67.688697838109]
本稿では、乗算器の交互方向法(ADMM)を用いて、スクラッチから量子化RNNLMを訓練する新しい手法を提案する。 2つのタスクの実験から、提案されたADMM量子化は、完全な精度ベースライン RNNLM で最大31倍のモデルサイズ圧縮係数を達成したことが示唆された。
論文参考訳（メタデータ） (2021-11-29T09:30:06Z)
Rate Distortion Characteristic Modeling for Neural Image Compression [59.25700168404325]
エンドツーエンドの最適化機能は、ニューラルイメージ圧縮(NIC)の優れた損失圧縮性能を提供する。異なるモデルは、R-D空間の異なる点に到達するために訓練される必要がある。深層ネットワークと統計モデルを用いてNICのR-D挙動を記述するために,本質的な数学的関数の定式化に努めている。
論文参考訳（メタデータ） (2021-06-24T12:23:05Z)
Neural ODE Processes [64.10282200111983]
NDP(Neural ODE Process)は、Neural ODEの分布によって決定される新しいプロセスクラスである。我々のモデルは,少数のデータポイントから低次元システムのダイナミクスを捉えることができることを示す。
論文参考訳（メタデータ） (2021-03-23T09:32:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。