論文の概要: Walking Noise: Understanding Implications of Noisy Computations on Classification Tasks

• arxiv url: http://arxiv.org/abs/2212.10430v1
• Date: Tue, 20 Dec 2022 17:09:08 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-21 17:33:14.394296
• Title: Walking Noise: Understanding Implications of Noisy Computations on Classification Tasks
• Title（参考訳）: 歩行騒音: 分類課題における雑音計算の意義の理解
• Authors: Hendrik Borras, Bernhard Klein, Holger Fr\"oning
• Abstract要約: 安全でない最適化として、ノイズの多い計算はエネルギー効率が良く、固定電力予算もより時間効率が良い。 本研究は,ニューラルネットワークに基づく分類器の精度に対するノイズの影響を,模範的な作業負荷として理解するために,抽象形式でのノイズ計算を考察する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Machine learning methods like neural networks are extremely successful and popular in a variety of applications, however, they come at substantial computational costs, accompanied by high energy demands. In contrast, hardware capabilities are limited and there is evidence that technology scaling is stuttering, therefore, new approaches to meet the performance demands of increasingly complex model architectures are required. As an unsafe optimization, noisy computations are more energy efficient, and given a fixed power budget also more time efficient. However, any kind of unsafe optimization requires counter measures to ensure functionally correct results. This work considers noisy computations in an abstract form, and gears to understand the implications of such noise on the accuracy of neural-network-based classifiers as an exemplary workload. We propose a methodology called "Walking Noise" that allows to assess the robustness of different layers of deep architectures by means of a so-called "midpoint noise level" metric. We then investigate the implications of additive and multiplicative noise for different classification tasks and model architectures, with and without batch normalization. While noisy training significantly increases robustness for both noise types, we observe a clear trend to increase weights and thus increase the signal-to-noise ratio for additive noise injection. For the multiplicative case, we find that some networks, with suitably simple tasks, automatically learn an internal binary representation, hence becoming extremely robust. Overall this work proposes a method to measure the layer-specific robustness and shares first insights on how networks learn to compensate injected noise, and thus, contributes to understand robustness against noisy computations.
• Abstract（参考訳）: ニューラルネットワークのような機械学習手法は、さまざまなアプリケーションで非常に成功し、人気があるが、高いエネルギー需要を伴うかなりの計算コストを伴っている。 対照的に、ハードウェアの能力は限られており、技術スケーリングが混乱している証拠があるため、ますます複雑なモデルアーキテクチャのパフォーマンス要求を満たすための新しいアプローチが必要である。 安全でない最適化として、ノイズの多い計算はエネルギー効率が良く、固定電力予算もより時間効率が良い。 しかしながら、あらゆる種類の安全でない最適化には、機能的に正しい結果を保証するための対策が必要となる。 本研究は,ニューラルネットワークに基づく分類器の精度に対するノイズの影響を,模範的な作業負荷として理解するために,抽象形式でのノイズ計算を考察する。 我々は,いわゆる「中間雑音レベル」メトリックを用いて,深層建築の異なる層のロバスト性を評価できる「ウォーキングノイズ」と呼ばれる手法を提案する。 次に,バッチ正規化の有無にかかわらず,異なる分類タスクやモデルアーキテクチャに対する加法的および乗法的ノイズの影響について検討する。 ノイズトレーニングは両方のノイズタイプでロバスト性が著しく向上する一方,重みの増加傾向が顕著に観察され,加算雑音注入の信号対雑音比が増加する。 乗算の場合、適切な単純なタスクを持ついくつかのネットワークは、自動的に内部バイナリ表現を学習し、非常に堅牢になる。 全体として、本研究は層特異的なロバスト性を測定する手法を提案し、ネットワークが注入されたノイズを補償する方法に関する最初の知見を共有し、ノイズの計算に対するロバスト性を理解するのに寄与する。

関連論文リスト

• Efficient Noise Mitigation for Enhancing Inference Accuracy in DNNs on Mixed-Signal Accelerators [4.416800723562206]
  我々は、アナログニューラルネットワークの精度に基づいて、プロセス誘起および老化に関連するアナログコンピューティングコンポーネントのバリエーションをモデル化する。 事前学習モデルの選択した層間に挿入された遮音ブロックを導入する。 雑音レベルに対するモデルのロバスト性を大幅に向上させることを実証した。
  論文  参考訳（メタデータ） (2024-09-27T08:45:55Z)
• Pivotal Auto-Encoder via Self-Normalizing ReLU [20.76999663290342]
  トランスフォーメーション学習問題として,単一の隠蔽層スパースオートエンコーダを定式化する。 本稿では,テスト時の騒音レベルに不変な予測モデルを実現する最適化問題を提案する。 実験結果から, 各種ノイズに対する安定性が向上することが示唆された。
  論文  参考訳（メタデータ） (2024-06-23T09:06:52Z)
• Learning Provably Robust Estimators for Inverse Problems via Jittering [51.467236126126366]
  簡単な正規化手法であるジッタリングが,逆問題に対する最悪ケース頑健な推定器の学習に有効かどうかを検討する。 ジッタリングは最悪の場合のロバスト性を大幅に向上させるが,デノイング以上の逆問題に最適であることを示す。
  論文  参考訳（メタデータ） (2023-07-24T14:19:36Z)
• Improve Noise Tolerance of Robust Loss via Noise-Awareness [60.34670515595074]
  本稿では,NARL-Adjuster(NARL-Adjuster for brevity)と呼ばれる,ハイパーパラメータ予測関数を適応的に学習するメタラーニング手法を提案する。 4つのSOTAロバストな損失関数を我々のアルゴリズムに統合し,提案手法の一般性および性能をノイズ耐性と性能の両面で検証した。
  論文  参考訳（メタデータ） (2023-01-18T04:54:58Z)
• Robustness of quantum reinforcement learning under hardware errors [0.0]
  変分量子機械学習アルゴリズムは、機械学習タスクに短期量子デバイスをどのように利用するかに関する最近の研究の焦点となっている。 これらは、動作している回路をデバイスに合わせることができ、計算の大部分を古典に委譲できるため、これに適していると考えられている。 しかし、ハードウェアによるノイズの影響下での量子機械学習モデルのトレーニングの効果は、まだ広く研究されていない。
  論文  参考訳（メタデータ） (2022-12-19T13:14:22Z)
• Robust Semantic Communications with Masked VQ-VAE Enabled Codebook [56.63571713657059]
  本稿では,ロバストなエンドツーエンドのセマンティック通信システムにおいて,セマンティックノイズに対処するためのフレームワークを提案する。 セマンティックノイズに対処するため、重み付き対向トレーニングを開発し、トレーニングデータセットにセマンティックノイズを組み込む。 ノイズやタスク非関連の特徴を抑える機能重要モジュール (FIM) を開発した。
  論文  参考訳（メタデータ） (2022-06-08T16:58:47Z)
• Characterizing and mitigating coherent errors in a trapped ion quantum processor using hidden inverses [0.20315704654772418]
  量子コンピューティングテストベッドは、量子ビットの小さな集合に対して高忠実な量子制御を示す。 これらのノイズの多い中間スケールデバイスは、デコヒーレンスの前に十分な数のシーケンシャルな操作をサポートすることができる。 これらのアルゴリズムの結果は不完全であるが、これらの不完全性は量子コンピュータのテストベッド開発をブートストラップするのに役立ちます。
  論文  参考訳（メタデータ） (2022-05-27T20:35:24Z)
• Practical Blind Image Denoising via Swin-Conv-UNet and Data Synthesis [148.16279746287452]
  本研究では,残差畳み込み層の局所モデリング能力とスウィントランスブロックの非局所モデリング能力を組み込むスウィンコンブブロックを提案する。 トレーニングデータ合成のために,異なる種類のノイズを考慮した実用的なノイズ劣化モデルの設計を行う。 AGWN除去と実画像復号化の実験は、新しいネットワークアーキテクチャ設計が最先端の性能を達成することを実証している。
  論文  参考訳（メタデータ） (2022-03-24T18:11:31Z)
• Removing Noise from Extracellular Neural Recordings Using Fully Convolutional Denoising Autoencoders [62.997667081978825]
  ノイズの多いマルチチャネル入力からクリーンなニューロン活動信号を生成することを学習する完全畳み込みデノイングオートエンコーダを提案する。 シミュレーションデータを用いた実験結果から,提案手法はノイズ崩壊型ニューラルネットワークの品質を大幅に向上させることができることがわかった。
  論文  参考訳（メタデータ） (2021-09-18T14:51:24Z)
• Learning based signal detection for MIMO systems with unknown noise statistics [84.02122699723536]
  本論文では,未知のノイズ統計による信号を堅牢に検出する一般化最大確率(ML)推定器を考案する。 実際には、システムノイズに関する統計的な知識はほとんどなく、場合によっては非ガウス的であり、衝動的であり、分析不可能である。 我々のフレームワークは、ノイズサンプルのみを必要とする教師なしの学習アプローチによって駆動される。
  論文  参考訳（メタデータ） (2021-01-21T04:48:15Z)
• Robust Processing-In-Memory Neural Networks via Noise-Aware Normalization [26.270754571140735]
  PIM加速器は、しばしば物理的成分の固有のノイズに悩まされる。 雑音設定に対してロバストなニューラルネットワーク性能を実現するためのノイズ非依存手法を提案する。
  論文  参考訳（メタデータ） (2020-07-07T06:51:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。