論文の概要: Axiomatization of Gradient Smoothing in Neural Networks

• arxiv url: http://arxiv.org/abs/2407.00371v1
• Date: Sat, 29 Jun 2024 08:43:38 GMT
• ステータス: 処理完了
• システム内更新日: 2024-07-04 03:25:29.494721
• Title: Axiomatization of Gradient Smoothing in Neural Networks
• Title（参考訳）: ニューラルネットワークにおける勾配平滑化の公理化
• Authors: Linjiang Zhou, Xiaochuan Shi, Chao Ma, Zepeng Wang,
• Abstract要約: 本稿では,関数モリフィケーションとモンテカルロ積分に基づくニューラルネットワークの勾配スムーズな理論フレームワークを提案する。 フレームワークから派生した新しいスムーズなメソッドを設計するためのアプローチを提供する。
• 参考スコア（独自算出の注目度）: 2.6819730646697972
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Gradients play a pivotal role in neural networks explanation. The inherent high dimensionality and structural complexity of neural networks result in the original gradients containing a significant amount of noise. While several approaches were proposed to reduce noise with smoothing, there is little discussion of the rationale behind smoothing gradients in neural networks. In this work, we proposed a gradient smooth theoretical framework for neural networks based on the function mollification and Monte Carlo integration. The framework intrinsically axiomatized gradient smoothing and reveals the rationale of existing methods. Furthermore, we provided an approach to design new smooth methods derived from the framework. By experimental measurement of several newly designed smooth methods, we demonstrated the research potential of our framework.
• Abstract（参考訳）: グラディエントはニューラルネットワークの説明において重要な役割を果たす。 ニューラルネットワークの本質的な高次元性と構造的複雑さは、かなりの量のノイズを含む元の勾配をもたらす。 滑らか化によるノイズ低減のためのいくつかの手法が提案されているが、ニューラルネットワークの滑らか化勾配の背後にある理論的根拠についてはほとんど議論されていない。 本研究では,機能モーフィケーションとモンテカルロ積分に基づくニューラルネットワークの勾配スムーズな理論的枠組みを提案する。 フレームワークは本質的に公理化された勾配平滑化であり、既存の手法の理論的根拠を明らかにする。 さらに、我々はフレームワークから派生した新しいスムーズな手法を設計するためのアプローチを提供した。 新たに設計されたスムーズな手法の実験的測定により,本フレームワークの研究可能性について実証した。

関連論文リスト

• Learning by the F-adjoint [0.0]
  本研究では、フィードフォワードニューラルネットワークのための教師付き学習アルゴリズムを改善するための理論的枠組みを開発し、検討する。 我々の主な結果は、勾配降下法と組み合わせた神経力学モデルを導入することにより、平衡F-随伴過程を導出したことである。 MNISTとFashion-MNISTデータセットの実験結果は、提案手法が標準バックプロパゲーショントレーニング手順を大幅に改善することを示した。
  論文  参考訳（メタデータ） (2024-07-08T13:49:25Z)
• Approximation and Gradient Descent Training with Neural Networks [0.0]
  最近の研究は、ニューラル・タンジェント・カーネル(NTK)最適化の議論を過度にパラメータ化された状態に拡張している。 本稿では,勾配降下法により学習したネットワークの類似性を示す。
  論文  参考訳（メタデータ） (2024-05-19T23:04:09Z)
• Graph Neural Networks for Learning Equivariant Representations of Neural Networks [55.04145324152541]
  本稿では,ニューラルネットワークをパラメータの計算グラフとして表現することを提案する。 我々のアプローチは、ニューラルネットワークグラフを多種多様なアーキテクチャでエンコードする単一モデルを可能にする。 本稿では,暗黙的ニューラル表現の分類や編集など,幅広いタスクにおける本手法の有効性を示す。
  論文  参考訳（メタデータ） (2024-03-18T18:01:01Z)
• Training morphological neural networks with gradient descent: some theoretical insights [0.40792653193642503]
  形態素ネットワークに適用された微分に基づくアプローチとバックプロパゲーションの可能性と限界について検討する。 我々は、特に学習率に関する洞察と最初の理論的ガイドラインを提供する。
  論文  参考訳（メタデータ） (2024-02-05T12:11:15Z)
• Adam-family Methods for Nonsmooth Optimization with Convergence Guarantees [5.69991777684143]
  本稿では,2段階の更新方式を採用した新しい2段階のフレームワークを提案し,その収束特性を軽度な仮定で証明する。 提案するフレームワークは,様々なAdamファミリー方式を包含し,非平滑ニューラルネットワークのトレーニングにおいて,これらの手法の収束保証を提供する。 我々は,重み付き雑音を伴う非平滑ニューラルネットワークのトレーニングにクリッピング手法を取り入れた段階的手法を開発した。
  論文  参考訳（メタデータ） (2023-05-06T05:35:56Z)
• Globally Optimal Training of Neural Networks with Threshold Activation Functions [63.03759813952481]
  しきい値アクティベートを伴うディープニューラルネットワークの重み劣化正規化学習問題について検討した。 ネットワークの特定の層でデータセットを破砕できる場合に、簡易な凸最適化の定式化を導出する。
  論文  参考訳（メタデータ） (2023-03-06T18:59:13Z)
• Reparameterization through Spatial Gradient Scaling [69.27487006953852]
  リパラメータ化は、学習中に畳み込み層を等価なマルチブランチ構造に変換することによって、ディープニューラルネットワークの一般化を改善することを目的としている。 本稿では,畳み込みネットワークにおける重み間の学習焦点を再分配する空間勾配スケーリング手法を提案する。
  論文  参考訳（メタデータ） (2023-03-05T17:57:33Z)
• Quiver neural networks [5.076419064097734]
  ニューラルネットワーク接続アーキテクチャの解析に対する一様理論的アプローチを開発する。 数学におけるquiver表現理論にインスパイアされたこのアプローチは、精巧なデータフローを捉えるためのコンパクトな方法を与える。
  論文  参考訳（メタデータ） (2022-07-26T09:42:45Z)
• Proxy Convexity: A Unified Framework for the Analysis of Neural Networks Trained by Gradient Descent [95.94432031144716]
  学習ネットワークの分析のための統合された非最適化フレームワークを提案する。 既存の保証は勾配降下により統一することができることを示す。
  論文  参考訳（メタデータ） (2021-06-25T17:45:00Z)
• Gradient Starvation: A Learning Proclivity in Neural Networks [97.02382916372594]
  グラディエント・スターベーションは、タスクに関連する機能のサブセットのみをキャプチャすることで、クロスエントロピー損失を最小化するときに発生する。 この研究は、ニューラルネットワークにおけるそのような特徴不均衡の出現に関する理論的説明を提供する。
  論文  参考訳（メタデータ） (2020-11-18T18:52:08Z)
• Understanding Integrated Gradients with SmoothTaylor for Deep Neural Network Attribution [70.78655569298923]
  ディープニューラルネットワークモデルの属性方法としての統合グラディエントは、シンプルな実装性を提供する。 理解しやすさに影響を及ぼす説明のうるささに悩まされる。 SmoothGrad法は,ノイズ問題を解消し,勾配に基づく帰属法の帰属写像を円滑化するために提案される。
  論文  参考訳（メタデータ） (2020-04-22T10:43:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。