論文の概要: Leveraging Continuously Differentiable Activation Functions for Learning
in Quantized Noisy Environments
- arxiv url: http://arxiv.org/abs/2402.02593v1
- Date: Sun, 4 Feb 2024 20:01:22 GMT
- ステータス: 処理完了
- システム内更新日: 2024-02-06 18:51:16.810241
- Title: Leveraging Continuously Differentiable Activation Functions for Learning
in Quantized Noisy Environments
- Title（参考訳）: 量子雑音環境下での学習のための連続微分可能活性化関数の活用
- Authors: Vivswan Shah and Nathan Youngblood
- Abstract要約: 実世界のアナログシステムは、様々なディープラーニングモデルにおけるモデル収束と精度を妨げるノイズに本質的に苦しむ。
GELUやSiLUのような微分可能なアクティベーションは、勾配の堅牢な伝播を可能にし、アナログ量子化誤差を軽減することを実証する。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Real-world analog systems intrinsically suffer from noise that can impede
model convergence and accuracy on a variety of deep learning models. We
demonstrate that differentiable activations like GELU and SiLU enable robust
propagation of gradients which help to mitigate analog quantization error that
is ubiquitous to all analog systems. We perform analysis and training of
convolutional, linear, and transformer networks in the presence of quantized
noise. Here, we are able to demonstrate that continuously differentiable
activation functions are significantly more noise resilient over conventional
rectified activations. As in the case of ReLU, the error in gradients are 100x
higher than those in GELU near zero. Our findings provide guidance for
selecting appropriate activations to realize performant and reliable hardware
implementations across several machine learning domains such as computer
vision, signal processing, and beyond.
- Abstract（参考訳）: 実世界のアナログシステムは、様々なディープラーニングモデルにおけるモデル収束と精度を妨げるノイズに本質的に苦しむ。
GELU や SiLU のような微分可能なアクティベーションは勾配の堅牢な伝播を可能にし、全てのアナログ系に広く分布するアナログ量子化誤差を緩和する。
我々は、量子化ノイズの存在下で、畳み込み、線形、および変圧器ネットワークの分析および訓練を行う。
ここでは、連続的な微分可能活性化関数が従来の修正活性化よりも耐雑音性が高いことを示すことができる。
ReLUの場合と同様に、勾配の誤差はゼロに近いGELUの誤差の100倍である。
本研究は,コンピュータビジョンや信号処理など,複数の機械学習領域にわたる高性能で信頼性の高いハードウェア実装を実現するために,適切なアクティベーションを選択するためのガイダンスを提供する。
関連論文リスト
- Hierarchical Neural Operator Transformer with Learnable Frequency-aware Loss Prior for Arbitrary-scale Super-resolution [13.298472586395276]
科学データの解像度を高めるために,任意のスケールの超解像(SR)法を提案する。
異なるドメインからの多様なデータセットについて広範な実験を行う。
論文 参考訳（メタデータ） (2024-05-20T17:39:29Z) - Learning noise-induced transitions by multi-scaling reservoir computing [2.9170682727903863]
我々は、雑音による遷移を学習するために、リカレントニューラルネットワークの一種として貯水池コンピューティングという機械学習モデルを開発する。
トレーニングされたモデルは、遷移時間と遷移回数の正確な統計を生成する。
また、二重井戸ポテンシャルの非対称性、非詳細バランスによる回転力学、多安定系の遷移も認識している。
論文 参考訳（メタデータ） (2023-09-11T12:26:36Z) - Value function estimation using conditional diffusion models for control [62.27184818047923]
拡散値関数(DVF)と呼ばれる単純なアルゴリズムを提案する。
拡散モデルを用いて環境-ロボット相互作用の連成多段階モデルを学ぶ。
本稿では,DVFを用いて複数のコントローラの状態を効率よく把握する方法を示す。
論文 参考訳（メタデータ） (2023-06-09T18:40:55Z) - Degradation-Noise-Aware Deep Unfolding Transformer for Hyperspectral
Image Denoising [9.119226249676501]
ハイパースペクトル画像(HSI)は、帯域幅が狭いため、ノイズが多いことが多い。
HSIデータキューブのノイズを低減するため、モデル駆動型と学習型の両方の復調アルゴリズムが提案されている。
本稿では,これらの問題に対処するDNA-Net(Degradation-Noise-Aware Unfolding Network)を提案する。
論文 参考訳（メタデータ） (2023-05-06T13:28:20Z) - Latent Class-Conditional Noise Model [54.56899309997246]
本稿では,ベイズ的枠組みの下での雑音遷移をパラメータ化するためのLatent Class-Conditional Noise Model (LCCN)を提案する。
次に、Gibs sampler を用いて遅延真のラベルを効率的に推測できる LCCN の動的ラベル回帰法を導出する。
提案手法は,サンプルのミニバッチから事前の任意チューニングを回避するため,ノイズ遷移の安定な更新を保護している。
論文 参考訳（メタデータ） (2023-02-19T15:24:37Z) - Improve Noise Tolerance of Robust Loss via Noise-Awareness [60.34670515595074]
本稿では,NARL-Adjuster(NARL-Adjuster for brevity)と呼ばれる,ハイパーパラメータ予測関数を適応的に学習するメタラーニング手法を提案する。
4つのSOTAロバストな損失関数を我々のアルゴリズムに統合し,提案手法の一般性および性能をノイズ耐性と性能の両面で検証した。
論文 参考訳（メタデータ） (2023-01-18T04:54:58Z) - Decision Forest Based EMG Signal Classification with Low Volume Dataset
Augmented with Random Variance Gaussian Noise [51.76329821186873]
我々は6種類の手振りを限定的なサンプル数で分類できるモデルを作成し、より広い聴衆によく一般化する。
信号のランダムなバウンドの使用など、より基本的な手法のセットにアピールするが、これらの手法がオンライン環境で持てる力を示したいと考えている。
論文 参考訳（メタデータ） (2022-06-29T23:22:18Z) - Learning Frequency Domain Approximation for Binary Neural Networks [68.79904499480025]
フーリエ周波数領域における符号関数の勾配を正弦関数の組み合わせを用いて推定し,BNNの訓練を行う。
いくつかのベンチマークデータセットとニューラルネットワークの実験により、この手法で学習したバイナリネットワークが最先端の精度を達成することが示されている。
論文 参考訳（メタデータ） (2021-03-01T08:25:26Z) - Behavioral Model Inference of Black-box Software using Deep Neural
Networks [1.6593369275241105]
テストや異常検出といった多くのソフトウェアエンジニアリングタスクは、ソフトウェアの振る舞いモデルを予測する能力の恩恵を受けることができる。
既存の推論アプローチのほとんどは、実行シーケンスを収集するコードへのアクセスを前提としている。
本稿では,この手法を用いて状態変化を正確に検出する方法と,推定されたモデルがトランスフォーメーション学習シナリオにどのように適用できるかを示す。
論文 参考訳（メタデータ） (2021-01-13T09:23:37Z) - Towards Efficient Processing and Learning with Spikes: New Approaches
for Multi-Spike Learning [59.249322621035056]
各種タスクにおける他のベースラインよりも優れた性能を示すための2つの新しいマルチスパイク学習ルールを提案する。
特徴検出タスクでは、教師なしSTDPの能力と、その制限を提示する能力を再検討する。
提案した学習ルールは,特定の制約を適用せずに,幅広い条件で確実にタスクを解くことができる。
論文 参考訳（メタデータ） (2020-05-02T06:41:20Z) - DDSP: Differentiable Digital Signal Processing [13.448630251745163]
本稿では,従来の信号処理要素を深層学習手法と直接統合できるDDSPライブラリについて紹介する。
我々は、大規模な自己回帰モデルや敵の損失を必要とせずに、高忠実度生成を実現する。
Pは、ディープラーニングの利点を犠牲にすることなく、生成モデリングに対する解釈可能でモジュラーなアプローチを可能にします。
論文 参考訳（メタデータ） (2020-01-14T06:49:37Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。