Fugu-MT 論文翻訳(概要): Unraveling the Black-box Magic: An Analysis of Neural Networks' Dynamic Extrema

論文の概要: Unraveling the Black-box Magic: An Analysis of Neural Networks' Dynamic Extrema

arxiv url: http://arxiv.org/abs/2507.03885v2
Date: Tue, 05 Aug 2025 04:09:21 GMT
ステータス: 翻訳完了
システム内更新日: 2025-08-06 15:23:34.475971
Title: Unraveling the Black-box Magic: An Analysis of Neural Networks' Dynamic Extrema
Title（参考訳）: ブラックボックスマジックの展開:ニューラルネットワークの動的エクストリームの解析
Authors: Shengjian Chen,
Abstract要約: ニューラルネットワークにおけるエクストリーム数とパラメータ数との正の相関性を示す。本稿では,バックプロパゲーションアルゴリズムとは大きく異なる新しいアルゴリズムを提案する。
参考スコア（独自算出の注目度）: 0.3916094706589679
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: We point out that neural networks are not black boxes, and their generalization stems from the ability to dynamically map a dataset to the extrema of the model function. We further prove that the number of extrema in a neural network is positively correlated with the number of its parameters. We then propose a new algorithm that is significantly different from back-propagation algorithm, which mainly obtains the values of parameters by solving a system of linear equations. Some difficult situations, such as gradient vanishing and overfitting, can be reasonably explained and dealt with in this framework.
Abstract（参考訳）: ニューラルネットワークはブラックボックスではなく,その一般化は,データセットをモデル関数の極限に動的にマッピングする能力に起因している,と指摘する。さらに、ニューラルネットワークにおけるエクストリーム数とそのパラメータ数に正の相関があることを証明した。そこで我々は,線形方程式系を解くことにより,主にパラメータの値を求めるバックプロパゲーションアルゴリズムとは大きく異なる新しいアルゴリズムを提案する。勾配の消失や過度な適合など、いくつかの困難な状況は、このフレームワークで合理的に説明され、対処することができる。

関連論文リスト

A Dynamical Systems Perspective on the Analysis of Neural Networks [0.0]
動的システムを用いて機械学習アルゴリズムのいくつかの側面を分析する。我々は、ディープニューラルネットワーク、(確率的な)勾配降下、および関連するトピックから動的ステートメントまで、さまざまな課題を再フォーマットする方法を実証する。
論文参考訳（メタデータ） (2025-07-07T16:18:49Z)
Recurrent Aggregators in Neural Algorithmic Reasoning [0.0]
我々は同変アグリゲーション関数をリカレントニューラルネットワークで置き換える。我々のアプローチは、ノードが自然な順序付けを持つとき、適切に接地する。 RNARの顕著な成果は、HapsortとQuickselectタスクにおける最先端の結果である。
論文参考訳（メタデータ） (2024-09-11T09:59:56Z)
Graph Neural Networks for Learning Equivariant Representations of Neural Networks [55.04145324152541]
本稿では,ニューラルネットワークをパラメータの計算グラフとして表現することを提案する。我々のアプローチは、ニューラルネットワークグラフを多種多様なアーキテクチャでエンコードする単一モデルを可能にする。本稿では,暗黙的ニューラル表現の分類や編集など,幅広いタスクにおける本手法の有効性を示す。
論文参考訳（メタデータ） (2024-03-18T18:01:01Z)
Globally Optimal Training of Neural Networks with Threshold Activation Functions [63.03759813952481]
しきい値アクティベートを伴うディープニューラルネットワークの重み劣化正規化学習問題について検討した。ネットワークの特定の層でデータセットを破砕できる場合に、簡易な凸最適化の定式化を導出する。
論文参考訳（メタデータ） (2023-03-06T18:59:13Z)
Langevin algorithms for Markovian Neural Networks and Deep Stochastic control [0.0]
勾配Descent Langevin Dynamics (SGLD)アルゴリズムは、ニューラルネットワークが非常に深い場合において、ニューラルネットワークのトレーニングを改善することが知られている。本稿では,Langevinアルゴリズムがヘッジや資源管理といった様々な制御問題のトレーニングを改善し,勾配降下法を選択できることを数値的に示す。
論文参考訳（メタデータ） (2022-12-22T20:00:11Z)
Proximal Mean Field Learning in Shallow Neural Networks [0.4972323953932129]
無限幅の単一の隠蔽層を有する浅層ニューラルネットワークのための独自の学習アルゴリズムを提案する。解析ツールとしてではなく,計算アルゴリズムとして,平均場学習を実現する。本アルゴリズムはリスク関数に関連する自由エネルギーの勾配降下を行う。
論文参考訳（メタデータ） (2022-10-25T10:06:26Z)
NeuralEF: Deconstructing Kernels by Deep Neural Networks [47.54733625351363]
従来のNystr"om式に基づく非パラメトリックなソリューションはスケーラビリティの問題に悩まされる。最近の研究はパラメトリックなアプローチ、すなわち固有関数を近似するためにニューラルネットワークを訓練している。教師なしおよび教師なしの学習問題の空間に一般化する新たな目的関数を用いて,これらの問題を解くことができることを示す。
論文参考訳（メタデータ） (2022-04-30T05:31:07Z)
Training Integrable Parameterizations of Deep Neural Networks in the Infinite-Width Limit [0.0]
大きな幅のダイナミクスは実世界のディープネットワークに関する実践的な洞察を導いてきた。 2層ニューラルネットワークでは、トレーニングされたモデルの性質が初期ランダムウェイトの大きさによって根本的に変化することが理解されている。この自明な振る舞いを避けるための様々な手法を提案し、その結果のダイナミクスを詳細に分析する。
論文参考訳（メタデータ） (2021-10-29T07:53:35Z)
LocalDrop: A Hybrid Regularization for Deep Neural Networks [98.30782118441158]
本稿では,ローカルラデマチャー複雑性を用いたニューラルネットワークの正規化のための新しい手法であるLocalDropを提案する。フルコネクテッドネットワーク(FCN)と畳み込みニューラルネットワーク(CNN)の両方のための新しい正規化機能は、ローカルラデマチャー複雑さの上限提案に基づいて開発されました。
論文参考訳（メタデータ） (2021-03-01T03:10:11Z)
Online Limited Memory Neural-Linear Bandits with Likelihood Matching [53.18698496031658]
本研究では,探索学習と表現学習の両方が重要な役割を果たす課題を解決するために,ニューラルネットワークの帯域について検討する。破滅的な忘れ込みに対して耐性があり、完全にオンラインである可能性の高いマッチングアルゴリズムを提案する。
論文参考訳（メタデータ） (2021-02-07T14:19:07Z)
Infinite-dimensional Folded-in-time Deep Neural Networks [0.0]
本研究では,より厳密な数学的解析を可能にする無限次元一般化を提案する。また,重みの降下訓練を可能にする機能的バックプロパゲーションアルゴリズムを提供する。
論文参考訳（メタデータ） (2021-01-08T11:30:50Z)
Multipole Graph Neural Operator for Parametric Partial Differential Equations [57.90284928158383]
物理系をシミュレーションするためのディープラーニングベースの手法を使用する際の大きな課題の1つは、物理ベースのデータの定式化である。線形複雑度のみを用いて、あらゆる範囲の相互作用をキャプチャする、新しいマルチレベルグラフニューラルネットワークフレームワークを提案する。実験により, 離散化不変解演算子をPDEに学習し, 線形時間で評価できることを確認した。
論文参考訳（メタデータ） (2020-06-16T21:56:22Z)
Beyond Dropout: Feature Map Distortion to Regularize Deep Neural Networks [107.77595511218429]
本稿では,ディープニューラルネットワークの中間層に関連する実験的なRademacher複雑性について検討する。上記の問題に対処するための特徴歪み法(Disout)を提案する。より高い試験性能を有するディープニューラルネットワークを作製するための特徴写像歪みの優位性を解析し、実証した。
論文参考訳（メタデータ） (2020-02-23T13:59:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。