論文の概要: Robust Training of Neural Networks at Arbitrary Precision and Sparsity

• arxiv url: http://arxiv.org/abs/2409.09245v1
• Date: Sat, 14 Sep 2024 00:57:32 GMT
• ステータス: 処理完了
• システム内更新日: 2024-09-17 21:49:17.230430
• Title: Robust Training of Neural Networks at Arbitrary Precision and Sparsity
• Title（参考訳）: 任意精度と空間性を考慮したニューラルネットワークのロバストトレーニング
• Authors: Chengxi Ye, Grace Chu, Yanfeng Liu, Yichi Zhang, Lukasz Lew, Andrew Howard,
• Abstract要約: 量子化とスパーシフィケーションに固有の不連続な操作は、バックプロパゲーションに障害をもたらす。 これは、超低精度とスパースレジームでディープニューラルネットワークをトレーニングする場合、特に困難である。 我々は、新しい、頑健で普遍的な解、すなわちデノージングアフィン変換を提案する。
• 参考スコア（独自算出の注目度）: 11.177990498697845
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The discontinuous operations inherent in quantization and sparsification introduce obstacles to backpropagation. This is particularly challenging when training deep neural networks in ultra-low precision and sparse regimes. We propose a novel, robust, and universal solution: a denoising affine transform that stabilizes training under these challenging conditions. By formulating quantization and sparsification as perturbations during training, we derive a perturbation-resilient approach based on ridge regression. Our solution employs a piecewise constant backbone model to ensure a performance lower bound and features an inherent noise reduction mechanism to mitigate perturbation-induced corruption. This formulation allows existing models to be trained at arbitrarily low precision and sparsity levels with off-the-shelf recipes. Furthermore, our method provides a novel perspective on training temporal binary neural networks, contributing to ongoing efforts to narrow the gap between artificial and biological neural networks.
• Abstract（参考訳）: 量子化とスパーシフィケーションに固有の不連続な操作は、バックプロパゲーションに障害をもたらす。 これは、超低精度とスパースレジームでディープニューラルネットワークをトレーニングする場合、特に困難である。 そこで我々は,これらの困難な条件下でのトレーニングを安定化させる,新しい,頑健で普遍的な解法を提案する。 トレーニング中の摂動として量子化とスパーシフィケーションを定式化することにより、リッジ回帰に基づく摂動-弾性アプローチを導出する。 提案手法では,性能の低下を確実にするため,一貫したバックボーンモデルを用い,摂動による劣化を緩和する固有のノイズ低減機構を特徴とする。 この定式化により、既存のモデルは、市販のレシピで任意に低い精度と空間レベルでトレーニングすることができる。 さらに, 人工ニューラルネットワークと生体ニューラルネットワークのギャップを狭めるために, 時間的二元ニューラルネットワークのトレーニングに新たな視点を提供する。

関連論文リスト

• Adaptive Class Emergence Training: Enhancing Neural Network Stability and Generalization through Progressive Target Evolution [0.0]
  分類問題におけるニューラルネットワークの新しいトレーニング手法を提案する。 我々は、トレーニングプロセスを通して、ヌルベクトルから1ホットの符号化ベクターへのターゲット出力を進化させる。 この段階的な遷移により、ネットワークは分類タスクの複雑さの増大によりスムーズに適応できる。
  論文  参考訳（メタデータ） (2024-09-04T03:25:48Z)
• Robust Stochastically-Descending Unrolled Networks [85.6993263983062]
  Deep Unrolling(ディープ・アンローリング)は、トレーニング可能なニューラルネットワークの層に切り捨てられた反復アルゴリズムをアンロールする、新たな学習最適化手法である。 アンロールネットワークの収束保証と一般化性は、いまだにオープンな理論上の問題であることを示す。 提案した制約の下で訓練されたアンロールアーキテクチャを2つの異なるアプリケーションで数値的に評価する。
  論文  参考訳（メタデータ） (2023-12-25T18:51:23Z)
• To be or not to be stable, that is the question: understanding neural networks for inverse problems [0.0]
  本稿では,ニューラルネットワークの安定性と精度のトレードオフを理論的に解析する。 ネットワークの安定性を高め、良好な精度を維持するために、異なる教師付きおよび教師なしのソリューションを提案する。
  論文  参考訳（メタデータ） (2022-11-24T16:16:40Z)
• Dynamic Neural Diversification: Path to Computationally Sustainable Neural Networks [68.8204255655161]
  訓練可能なパラメータが制限された小さなニューラルネットワークは、多くの単純なタスクに対してリソース効率の高い候補となる。 学習過程において隠れた層内のニューロンの多様性を探索する。 ニューロンの多様性がモデルの予測にどのように影響するかを分析する。
  論文  参考訳（メタデータ） (2021-09-20T15:12:16Z)
• Better Training using Weight-Constrained Stochastic Dynamics [0.0]
  我々は、トレーニングを通してディープニューラルネットワークのパラメータ空間を制御するために制約を用いる。 カスタマイズされた適切な設計の制約を使用することで、消滅/展開の問題を減らすことができる。 グラデーションランゲヴィンフレームワークに制約を効率的に組み込むための一般的なアプローチを提供する。
  論文  参考訳（メタデータ） (2021-06-20T14:41:06Z)
• Non-Singular Adversarial Robustness of Neural Networks [58.731070632586594]
  小さな入力摂動に対する過敏性のため、アドリヤルロバスト性はニューラルネットワークにとって新たな課題となっている。 我々は,データ入力とモデル重みの共振レンズを用いて,ニューラルネットワークの非特異な対角性の概念を定式化する。
  論文  参考訳（メタデータ） (2021-02-23T20:59:30Z)
• Attribute-Guided Adversarial Training for Robustness to Natural Perturbations [64.35805267250682]
  本稿では,属性空間への分類器の露出を最大化するために,新しいサンプルを生成することを学習する逆学習手法を提案する。 我々のアプローチは、ディープニューラルネットワークが自然に発生する摂動に対して堅牢であることを可能にする。
  論文  参考訳（メタデータ） (2020-12-03T10:17:30Z)
• Gradient Starvation: A Learning Proclivity in Neural Networks [97.02382916372594]
  グラディエント・スターベーションは、タスクに関連する機能のサブセットのみをキャプチャすることで、クロスエントロピー損失を最小化するときに発生する。 この研究は、ニューラルネットワークにおけるそのような特徴不均衡の出現に関する理論的説明を提供する。
  論文  参考訳（メタデータ） (2020-11-18T18:52:08Z)
• Constraint-Based Regularization of Neural Networks [0.0]
  本稿では,ニューラルネットワークの学習のためのグラデーション・ランゲヴィン・フレームワークに制約を効率的に組み込む手法を提案する。 適切に設計され、消滅/爆発する勾配問題を減らし、重みを制御し、ディープニューラルネットワークを安定化する。
  論文  参考訳（メタデータ） (2020-06-17T19:28:41Z)
• Feature Purification: How Adversarial Training Performs Robust Deep Learning [66.05472746340142]
  ニューラルネットワークのトレーニングプロセス中に隠れた重みに、特定の小さな密度の混合物が蓄積されることが、敵の例の存在の原因の1つであることを示す。 この原理を説明するために、CIFAR-10データセットの両実験と、ある自然な分類タスクに対して、ランダムな勾配勾配勾配を用いた2層ニューラルネットワークをトレーニングすることを証明する理論的結果を示す。
  論文  参考訳（メタデータ） (2020-05-20T16:56:08Z)
• Frosting Weights for Better Continual Training [22.554993259239307]
  ニューラルネットワークモデルをトレーニングすることは、生涯にわたる学習プロセスであり、計算集約的なプロセスである。 ディープニューラルネットワークモデルは、新しいデータの再トレーニング中に破滅的な忘れに悩まされる可能性がある。 そこで我々は,この問題を解決するために,勾配向上とメタラーニングという2つの一般的なアンサンブルアプローチを提案する。
  論文  参考訳（メタデータ） (2020-01-07T00:53:46Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。