論文の概要: Walking Noise: Understanding Implications of Noisy Computations on
Classification Tasks
- arxiv url: http://arxiv.org/abs/2212.10430v1
- Date: Tue, 20 Dec 2022 17:09:08 GMT
- ステータス: 処理完了
- システム内更新日: 2022-12-21 17:33:14.394296
- Title: Walking Noise: Understanding Implications of Noisy Computations on
Classification Tasks
- Title(参考訳): 歩行騒音: 分類課題における雑音計算の意義の理解
- Authors: Hendrik Borras, Bernhard Klein, Holger Fr\"oning
- Abstract要約: 安全でない最適化として、ノイズの多い計算はエネルギー効率が良く、固定電力予算もより時間効率が良い。
本研究は,ニューラルネットワークに基づく分類器の精度に対するノイズの影響を,模範的な作業負荷として理解するために,抽象形式でのノイズ計算を考察する。
- 参考スコア(独自算出の注目度): 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Machine learning methods like neural networks are extremely successful and
popular in a variety of applications, however, they come at substantial
computational costs, accompanied by high energy demands. In contrast, hardware
capabilities are limited and there is evidence that technology scaling is
stuttering, therefore, new approaches to meet the performance demands of
increasingly complex model architectures are required. As an unsafe
optimization, noisy computations are more energy efficient, and given a fixed
power budget also more time efficient. However, any kind of unsafe optimization
requires counter measures to ensure functionally correct results.
This work considers noisy computations in an abstract form, and gears to
understand the implications of such noise on the accuracy of
neural-network-based classifiers as an exemplary workload. We propose a
methodology called "Walking Noise" that allows to assess the robustness of
different layers of deep architectures by means of a so-called "midpoint noise
level" metric. We then investigate the implications of additive and
multiplicative noise for different classification tasks and model
architectures, with and without batch normalization. While noisy training
significantly increases robustness for both noise types, we observe a clear
trend to increase weights and thus increase the signal-to-noise ratio for
additive noise injection. For the multiplicative case, we find that some
networks, with suitably simple tasks, automatically learn an internal binary
representation, hence becoming extremely robust. Overall this work proposes a
method to measure the layer-specific robustness and shares first insights on
how networks learn to compensate injected noise, and thus, contributes to
understand robustness against noisy computations.
- Abstract(参考訳): ニューラルネットワークのような機械学習手法は、さまざまなアプリケーションで非常に成功し、人気があるが、高いエネルギー需要を伴うかなりの計算コストを伴っている。
対照的に、ハードウェアの能力は限られており、技術スケーリングが混乱している証拠があるため、ますます複雑なモデルアーキテクチャのパフォーマンス要求を満たすための新しいアプローチが必要である。
安全でない最適化として、ノイズの多い計算はエネルギー効率が良く、固定電力予算もより時間効率が良い。
しかしながら、あらゆる種類の安全でない最適化には、機能的に正しい結果を保証するための対策が必要となる。
本研究は,ニューラルネットワークに基づく分類器の精度に対するノイズの影響を,模範的な作業負荷として理解するために,抽象形式でのノイズ計算を考察する。
我々は,いわゆる「中間雑音レベル」メトリックを用いて,深層建築の異なる層のロバスト性を評価できる「ウォーキングノイズ」と呼ばれる手法を提案する。
次に,バッチ正規化の有無にかかわらず,異なる分類タスクやモデルアーキテクチャに対する加法的および乗法的ノイズの影響について検討する。
ノイズトレーニングは両方のノイズタイプでロバスト性が著しく向上する一方,重みの増加傾向が顕著に観察され,加算雑音注入の信号対雑音比が増加する。
乗算の場合、適切な単純なタスクを持ついくつかのネットワークは、自動的に内部バイナリ表現を学習し、非常に堅牢になる。
全体として、本研究は層特異的なロバスト性を測定する手法を提案し、ネットワークが注入されたノイズを補償する方法に関する最初の知見を共有し、ノイズの計算に対するロバスト性を理解するのに寄与する。
関連論文リスト
- Accurate and Honest Approximation of Correlated Qubit Noise [39.58317527488534]
提案手法は, 量子ビット相関度の高い雑音成分を組み込むことにより, 精度を向上することのできる, 近似雑音チャネルの効率的な構成法である。
固定周波数超伝導量子ビットに典型的な現実的な雑音強度では、2量子ビット相関を超える相関ノイズがコードシミュレーションの精度に大きく影響することを発見した。
論文 参考訳(メタデータ) (2023-11-15T19:00:34Z) - Incrementally-Computable Neural Networks: Efficient Inference for
Dynamic Inputs [75.40636935415601]
ディープラーニングは、センサーデータやユーザ入力などの動的入力を効率的に処理するという課題に直面していることが多い。
インクリメンタルな計算アプローチを採用し、入力の変化に応じて計算を再利用する。
本稿では,この手法をトランスフォーマーアーキテクチャに適用し,修正入力の分数に比例した複雑性を持つ効率的なインクリメンタル推論アルゴリズムを提案する。
論文 参考訳(メタデータ) (2023-07-27T16:30:27Z) - Training neural networks with structured noise improves classification
and generalization [0.0]
ノイズの多いトレーニングデータに構造を追加することで,アルゴリズムの性能が大幅に向上することを示す。
最適雑音データのサンプリング手法を提案し, 学習法とヘビアンアンアンラーニング法の両方より優れているように実装した。
論文 参考訳(メタデータ) (2023-02-26T22:10:23Z) - Improve Noise Tolerance of Robust Loss via Noise-Awareness [60.34670515595074]
本稿では,NARL-Adjuster(NARL-Adjuster for brevity)と呼ばれる,ハイパーパラメータ予測関数を適応的に学習するメタラーニング手法を提案する。
4つのSOTAロバストな損失関数を我々のアルゴリズムに統合し,提案手法の一般性および性能をノイズ耐性と性能の両面で検証した。
論文 参考訳(メタデータ) (2023-01-18T04:54:58Z) - Robustness of quantum reinforcement learning under hardware errors [0.0]
変分量子機械学習アルゴリズムは、機械学習タスクに短期量子デバイスをどのように利用するかに関する最近の研究の焦点となっている。
これらは、動作している回路をデバイスに合わせることができ、計算の大部分を古典に委譲できるため、これに適していると考えられている。
しかし、ハードウェアによるノイズの影響下での量子機械学習モデルのトレーニングの効果は、まだ広く研究されていない。
論文 参考訳(メタデータ) (2022-12-19T13:14:22Z) - Robust Semantic Communications with Masked VQ-VAE Enabled Codebook [56.63571713657059]
本稿では,ロバストなエンドツーエンドのセマンティック通信システムにおいて,セマンティックノイズに対処するためのフレームワークを提案する。
セマンティックノイズに対処するため、重み付き対向トレーニングを開発し、トレーニングデータセットにセマンティックノイズを組み込む。
ノイズやタスク非関連の特徴を抑える機能重要モジュール (FIM) を開発した。
論文 参考訳(メタデータ) (2022-06-08T16:58:47Z) - Characterizing and mitigating coherent errors in a trapped ion quantum
processor using hidden inverses [0.20315704654772418]
量子コンピューティングテストベッドは、量子ビットの小さな集合に対して高忠実な量子制御を示す。
これらのノイズの多い中間スケールデバイスは、デコヒーレンスの前に十分な数のシーケンシャルな操作をサポートすることができる。
これらのアルゴリズムの結果は不完全であるが、これらの不完全性は量子コンピュータのテストベッド開発をブートストラップするのに役立ちます。
論文 参考訳(メタデータ) (2022-05-27T20:35:24Z) - Ps and Qs: Quantization-aware pruning for efficient low latency neural
network inference [56.24109486973292]
超低遅延アプリケーションのためのニューラルネットワークのトレーニング中の分級と量子化の相互作用を研究します。
量子化アウェアプルーニングは,タスクのプルーニングや量子化のみよりも計算効率のよいモデルであることが判明した。
論文 参考訳(メタデータ) (2021-02-22T19:00:05Z) - Learning based signal detection for MIMO systems with unknown noise
statistics [84.02122699723536]
本論文では,未知のノイズ統計による信号を堅牢に検出する一般化最大確率(ML)推定器を考案する。
実際には、システムノイズに関する統計的な知識はほとんどなく、場合によっては非ガウス的であり、衝動的であり、分析不可能である。
我々のフレームワークは、ノイズサンプルのみを必要とする教師なしの学習アプローチによって駆動される。
論文 参考訳(メタデータ) (2021-01-21T04:48:15Z) - Robust Processing-In-Memory Neural Networks via Noise-Aware
Normalization [26.270754571140735]
PIM加速器は、しばしば物理的成分の固有のノイズに悩まされる。
雑音設定に対してロバストなニューラルネットワーク性能を実現するためのノイズ非依存手法を提案する。
論文 参考訳(メタデータ) (2020-07-07T06:51:28Z) - Rectified Meta-Learning from Noisy Labels for Robust Image-based Plant
Disease Diagnosis [64.82680813427054]
植物病は食料安全保障と作物生産に対する主要な脅威の1つである。
1つの一般的なアプローチは、葉画像分類タスクとしてこの問題を変換し、強力な畳み込みニューラルネットワーク(CNN)によって対処できる。
本稿では,正規化メタ学習モジュールを共通CNNパラダイムに組み込んだ新しいフレームワークを提案する。
論文 参考訳(メタデータ) (2020-03-17T09:51:30Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。