論文の概要: Fourier fractal dimension to predict the generalization of deep neural networks

• arxiv url: http://arxiv.org/abs/2606.08308v1
• Date: Sat, 06 Jun 2026 19:40:54 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-09 14:42:06.033888
• Title: Fourier fractal dimension to predict the generalization of deep neural networks
• Title（参考訳）: 深部ニューラルネットワークの一般化予測のためのフーリエフラクタル次元
• Authors: Joao B. Florindo, Davi Wanderley Misturini,
• Abstract要約: 本稿では,ネットワークの重み変化のフーリエフラクタル次元に基づく新しい一般化尺度を提案する。 周波数領域におけるレヴィ駆動微分方程式の特性関数を解析することにより、学習過程の幾何学的複雑さをしっかりと捉えた計量を抽出する。 提案手法は,既存のノルムベース,マージンベース,PAC-ベイジアン測度を多岐にわたって上回り,最先端のケンドールランク相関を実現する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Predicting the generalization performance of deep neural networks without relying on hold-out validation data is a fundamental challenge in machine learning. While Stochastic Gradient Descent (SGD) drives the optimization of these highly parameterized models, its heavy-tailed, non-Gaussian dynamics induce complex, scale-invariant trajectories in the parameter space. In this paper, we propose a novel generalization measure based on the Fourier fractal dimension of the network's weight variations. By analyzing the characteristic function of the Lévy-driven stochastic differential equations in the frequency domain, we extract a metric that robustly captures the geometric complexity of the learning process. Furthermore, we introduce a customized Fourier-based optimizer designed to actively regularize this fractal dimension during training. Extensive empirical evaluations on the CIFAR-10, SVHN, and MNIST datasets demonstrate that our proposed Fourier generalization measure exhibits a strong correlation with the actual generalization gap. Our method achieves state-of-the-art Kendall rank correlation coefficients, outperforming a wide array of existing norm-based, margin-based, and PAC-Bayesian measures. Ultimately, this work highlights the potential of frequency-domain fractal analysis as both a powerful predictor for model generalizability and a principled foundation for developing more stable optimization algorithms.
• Abstract（参考訳）: ホールドアウト検証データに頼ることなく、ディープニューラルネットワークの一般化性能を予測することは、機械学習における根本的な課題である。 Stochastic Gradient Descent (SGD) はこれらの高パラメータ化モデルの最適化を推進しているが、その重み付き非ガウス力学はパラメータ空間における複雑でスケール不変な軌道を誘導する。 本稿では,ネットワークの重み変化のフーリエフラクタル次元に基づく新しい一般化尺度を提案する。 周波数領域におけるレヴィ駆動確率微分方程式の特性関数を解析することにより、学習過程の幾何学的複雑さをしっかりと捉えた計量を抽出する。 さらに、トレーニング中にこのフラクタル次元を積極的に正規化するように設計されたカスタマイズされたフーリエベースのオプティマイザを導入する。 CIFAR-10,SVHN,MNISTデータセットの大規模な実験により,提案したフーリエ一般化尺度が実際の一般化ギャップと強い相関を示した。 提案手法は,既存のノルムベース,マージンベース,PAC-ベイジアン測度を幅広く上回り,最先端のKendallランク相関係数を実現する。 最終的に、この研究は周波数領域フラクタル解析の可能性を強調し、モデル一般化可能性の強力な予測器と、より安定した最適化アルゴリズムを開発するための原則的基礎の両方である。

関連論文リスト

• Multi-Dimensional Visual Data Recovery: Scale-Aware Tensor Modeling and Accelerated Randomized Computation [51.65236537605077]
  我々は,新しいタイプのネットワーク圧縮最適化手法,完全ランダム化テンソルネットワーク圧縮(FCTN)を提案する。 FCTNは多次元データ処理と解析において顕著な業績を残している。 定式化モデルの解法を保証した効率的なアルゴリズムを導出する。
  論文  参考訳（メタデータ） (2026-02-13T14:56:37Z)
• Iterative Training of Physics-Informed Neural Networks with Fourier-enhanced Features [7.1865646765394215]
  スペクトルバイアスは、ニューラルネットワークがまず低周波の特徴を学習する傾向にあるが、これはよく知られた問題である。 本稿では,Fourier-enhanced機能付きPINNの反復学習アルゴリズムであるIFeF-PINNを提案する。
  論文  参考訳（メタデータ） (2025-10-22T09:17:37Z)
• Optimal Condition for Initialization Variance in Deep Neural Networks: An SGD Dynamics Perspective [0.0]
  勾配降下(SGD)は機械学習(ML)における最も基本的な最適化アルゴリズムの1つである。 この方程式から導かれる準定常分布とクルバック・リーブラー(KL)の発散による初期分布の関係について検討する。 MNISTおよびFashion-MNISTデータセット上で、古典的なSGDを用いて完全に接続されたニューラルネットワークをトレーニングすることにより、理論的結果を実験的に確認する。
  論文  参考訳（メタデータ） (2025-08-18T11:18:12Z)
• The Fourier Spectral Transformer Networks For Efficient and Generalizable Nonlinear PDEs Prediction [1.1272369832509876]
  本研究では、高精度数値解法を用いてトレーニングデータを生成し、Transformerネットワークを用いてスペクトル係数の進化をモデル化する。 提案フレームワークは,複雑な動的システムのリアルタイム予測と制御に期待できるパラダイムを提供する。
  論文  参考訳（メタデータ） (2025-07-08T01:43:33Z)
• From Fourier to Neural ODEs: Flow Matching for Modeling Complex Systems [20.006163951844357]
  ニューラル常微分方程式(NODE)を学習するためのシミュレーション不要なフレームワークを提案する。 フーリエ解析を用いて、ノイズの多い観測データから時間的および潜在的高次空間勾配を推定する。 我々の手法は、トレーニング時間、ダイナミクス予測、堅牢性の観点から、最先端の手法よりも優れています。
  論文  参考訳（メタデータ） (2024-05-19T13:15:23Z)
• Scaling and renormalization in high-dimensional regression [72.59731158970894]
  リッジ回帰に関する最近の結果について統一的な視点を提示する。 我々は、物理とディープラーニングの背景を持つ読者を対象に、ランダム行列理論と自由確率の基本的なツールを使用する。 我々の結果は拡張され、初期のスケーリング法則のモデルについて統一的な視点を提供する。
  論文  参考訳（メタデータ） (2024-05-01T15:59:00Z)
• Transform Once: Efficient Operator Learning in Frequency Domain [69.74509540521397]
  本研究では、周波数領域の構造を利用して、空間や時間における長距離相関を効率的に学習するために設計されたディープニューラルネットワークについて検討する。 この研究は、単一変換による周波数領域学習のための青写真を導入している。
  論文  参考訳（メタデータ） (2022-11-26T01:56:05Z)
• NAG-GS: Semi-Implicit, Accelerated and Robust Stochastic Optimizer [45.47667026025716]
  2つの重要な要素に依存した、新しく、堅牢で、加速された反復を提案する。 NAG-GSと呼ばれる手法の収束と安定性は、まず広範に研究されている。 我々は、NAG-arityが、重量減衰を伴う運動量SGDや機械学習モデルのトレーニングのためのAdamWといった最先端の手法と競合していることを示す。
  論文  参考訳（メタデータ） (2022-09-29T16:54:53Z)
• Fractal Structure and Generalization Properties of Stochastic Optimization Algorithms [71.62575565990502]
  最適化アルゴリズムの一般化誤差は、その一般化尺度の根底にあるフラクタル構造の複雑性'にバウンドできることを示す。 さらに、特定の問題(リニア/ロジスティックレグレッション、隠れ/層ニューラルネットワークなど)とアルゴリズムに対して、結果をさらに専門化します。
  論文  参考訳（メタデータ） (2021-06-09T08:05:36Z)
• Multiplicative noise and heavy tails in stochastic optimization [62.993432503309485]
  経験的最適化は現代の機械学習の中心であるが、その成功における役割はまだ不明である。 分散による離散乗法雑音のパラメータによく現れることを示す。 最新のステップサイズやデータを含む重要な要素について、詳細な分析を行い、いずれも最先端のニューラルネットワークモデルで同様の結果を示す。
  論文  参考訳（メタデータ） (2020-06-11T09:58:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。