論文の概要: Unraveling the Black-box Magic: An Analysis of Neural Networks' Dynamic Local Extrema

• arxiv url: http://arxiv.org/abs/2507.03885v1
• Date: Sat, 05 Jul 2025 03:54:37 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-07-08 15:46:34.920613
• Title: Unraveling the Black-box Magic: An Analysis of Neural Networks' Dynamic Local Extrema
• Title（参考訳）: ブラックボックスマジックの展開:ニューラルネットワークの動的局所エクストリームの解析
• Authors: Shengjian Chen,
• Abstract要約: ニューラルネットワークはブラックボックスではなく,その一般化は,データセットをモデル関数の局所的極限にマッピングする能力に起因している。 提案アルゴリズムは,最大増分アルゴリズムと呼ぶバックプロパゲーションアルゴリズムとは異なる新しいアルゴリズムを提案する。
• 参考スコア（独自算出の注目度）: 0.3916094706589679
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We point out that neural networks are not black boxes, and their generalization stems from the ability to dynamically map a dataset to the local extrema of the model function. We further prove that the number of local extrema in a neural network is positively correlated with the number of its parameters, and on this basis, we give a new algorithm that is different from the back-propagation algorithm, which we call the extremum-increment algorithm. Some difficult situations, such as gradient vanishing and overfitting, can be reasonably explained and dealt with in this framework.
• Abstract（参考訳）: ニューラルネットワークはブラックボックスではなく,その一般化は,データセットをモデル関数の局所的極限に動的にマッピングする能力に起因している,と指摘する。 さらに、ニューラルネットワークにおける局所的なエクストリーム数とそのパラメータ数に正の相関があることを証明し、このアルゴリズムに基づいて、エクストリームインクリメントアルゴリズム(extremum-increment algorithm)と呼ぶバックプロパゲーションアルゴリズムとは異なる新しいアルゴリズムを提案する。 勾配の消失や過度な適合など、いくつかの困難な状況は、このフレームワークで合理的に説明され、対処することができる。

関連論文リスト

• Recurrent Aggregators in Neural Algorithmic Reasoning [0.0]
  我々は同変アグリゲーション関数をリカレントニューラルネットワークで置き換える。 我々のアプローチは、ノードが自然な順序付けを持つとき、適切に接地する。 RNARの顕著な成果は、HapsortとQuickselectタスクにおける最先端の結果である。
  論文  参考訳（メタデータ） (2024-09-11T09:59:56Z)
• Graph Neural Networks for Learning Equivariant Representations of Neural Networks [55.04145324152541]
  本稿では,ニューラルネットワークをパラメータの計算グラフとして表現することを提案する。 我々のアプローチは、ニューラルネットワークグラフを多種多様なアーキテクチャでエンコードする単一モデルを可能にする。 本稿では,暗黙的ニューラル表現の分類や編集など,幅広いタスクにおける本手法の有効性を示す。
  論文  参考訳（メタデータ） (2024-03-18T18:01:01Z)
• Globally Optimal Training of Neural Networks with Threshold Activation Functions [63.03759813952481]
  しきい値アクティベートを伴うディープニューラルネットワークの重み劣化正規化学習問題について検討した。 ネットワークの特定の層でデータセットを破砕できる場合に、簡易な凸最適化の定式化を導出する。
  論文  参考訳（メタデータ） (2023-03-06T18:59:13Z)
• Langevin algorithms for Markovian Neural Networks and Deep Stochastic control [0.0]
  勾配Descent Langevin Dynamics (SGLD)アルゴリズムは、ニューラルネットワークが非常に深い場合において、ニューラルネットワークのトレーニングを改善することが知られている。 本稿では,Langevinアルゴリズムがヘッジや資源管理といった様々な制御問題のトレーニングを改善し,勾配降下法を選択できることを数値的に示す。
  論文  参考訳（メタデータ） (2022-12-22T20:00:11Z)
• Proximal Mean Field Learning in Shallow Neural Networks [0.4972323953932129]
  無限幅の単一の隠蔽層を有する浅層ニューラルネットワークのための独自の学習アルゴリズムを提案する。 解析ツールとしてではなく,計算アルゴリズムとして,平均場学習を実現する。 本アルゴリズムはリスク関数に関連する自由エネルギーの勾配降下を行う。
  論文  参考訳（メタデータ） (2022-10-25T10:06:26Z)
• LocalDrop: A Hybrid Regularization for Deep Neural Networks [98.30782118441158]
  本稿では,ローカルラデマチャー複雑性を用いたニューラルネットワークの正規化のための新しい手法であるLocalDropを提案する。 フルコネクテッドネットワーク(FCN)と畳み込みニューラルネットワーク(CNN)の両方のための新しい正規化機能は、ローカルラデマチャー複雑さの上限提案に基づいて開発されました。
  論文  参考訳（メタデータ） (2021-03-01T03:10:11Z)
• Beyond Dropout: Feature Map Distortion to Regularize Deep Neural Networks [107.77595511218429]
  本稿では,ディープニューラルネットワークの中間層に関連する実験的なRademacher複雑性について検討する。 上記の問題に対処するための特徴歪み法(Disout)を提案する。 より高い試験性能を有するディープニューラルネットワークを作製するための特徴写像歪みの優位性を解析し、実証した。
  論文  参考訳（メタデータ） (2020-02-23T13:59:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。