論文の概要: Representation Gap: Explaining the Unreasonable Effectiveness of Neural Networks from a Geometric Perspective

• arxiv url: http://arxiv.org/abs/2605.21692v1
• Date: Wed, 20 May 2026 19:51:25 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-22 16:35:41.979403
• Title: Representation Gap: Explaining the Unreasonable Effectiveness of Neural Networks from a Geometric Perspective
• Title（参考訳）: 表現ギャップ:幾何学的視点からニューラルネットワークの妥当な有効性を説明する
• Authors: David Perera, Victor Moura, Lais Isabelle Alves dos Santos, Michel F. C. Haddad, Flavio Figueiredo,
• Abstract要約: 一般化誤差と密接な関係を持つ計量であるRepresentation Gapを導入する。 我々はRepresentation Gapの正確な等価性を導出し、それがタスクのテクスト内在次元である単一のパラメータによって支配されていることを示す。 このダイナミクスは、幅広いタスクやトレーニングアルゴリズムにまで拡張されていることも示しています。
• 参考スコア（独自算出の注目度）: 1.8618013369281987
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Characterizing precisely the asymptotic generalization error of neural networks using parameters that can be estimated efficiently is a crucial problem in machine learning, which relies heavily on heuristics and practitioners' intuition to make key design choices. In order to mitigate this issue, we introduce the Representation Gap, a metric closely related to the generalization error, but admitting better-behaved asymptotic dynamics. Focusing on equivariant diffusion models and leveraging results from optimal quantization and point-process theory, we derive a precise asymptotic equivalent of the Representation Gap and show that it is governed by a single parameter, the \textit{intrinsic dimension} of the task, which is easy to interpret, efficient to estimate, and can be linked to the equivariances of common neural network architectures. We show that this asymptotic dynamic also extends to a broader range of tasks and training algorithms. Finally, we demonstrate empirically that our asymptotic law and intrinsic dimension estimation are accurate on a wide range of synthetic datasets, where these quantities are known, as well as on more realistic datasets, where we obtain results consistent with the related literature.
• Abstract（参考訳）: 効率的に推定できるパラメータを用いてニューラルネットワークの漸近的一般化誤差を正確に評価することは、ヒューリスティックや実践者の直観に大きく依存する機械学習において重要な問題である。 この問題を緩和するために、一般化誤差と密接に関連する計量であるRepresentation Gapを導入するが、より優れた漸近力学が認められる。 等変拡散モデルに着目し、最適な量子化と点過程理論から結果を活用することにより、Representation Gap の正確な漸近的同値を導出し、それが単一のパラメータであるタスクの \textit{intrinsic dimension} によって支配されていることを示す。 この漸近的ダイナミクスは、幅広いタスクやトレーニングアルゴリズムにも及んでいることを示す。 最後に、我々の漸近法則と本質的な次元推定が、これらの量が知られている広範囲の合成データセットと、関連する文献と整合した結果を得るより現実的なデータセットで正確であることを実証的に示す。

関連論文リスト

• Nonparametric Identification and Inference for Counterfactual Distributions with Confounding [6.997978440999076]
  本研究では,非パラメトリック同定と半パラメトリック推定法を提案する。 古典的半パラメトリック理論を現代的な表現学習でブリッジすることで、この研究は複雑な因果系における分布的および反ファクト的推論の頑健な統計基盤を提供する。
  論文  参考訳（メタデータ） (2026-02-17T05:00:13Z)
• Spatially-informed transformers: Injecting geostatistical covariance biases into self-attention for spatio-temporal forecasting [0.0]
  本稿では,学習可能なコスタティクスカーネルを介して,地理的帰納バイアスを直接自己保持機構に注入するハイブリッドアーキテクチャを提案する。 本稿では,ネットワークがバックプロパゲーションによって下位プロセスの真の空間パラメータを復元する「Deep Variography'」現象を実証する。
  論文  参考訳（メタデータ） (2025-12-19T15:32:24Z)
• Generalization of Neural Combinatorial Solvers Through the Lens of Adversarial Robustness [68.97830259849086]
  ほとんどのデータセットは単純なサブプロブレムのみをキャプチャし、おそらくは突発的な特徴に悩まされる。 本研究では, 局所的な一般化特性である対向ロバスト性について検討し, 厳密でモデル固有な例と突発的な特徴を明らかにする。 他のアプリケーションとは異なり、摂動モデルは知覚できないという主観的な概念に基づいて設計されているため、摂動モデルは効率的かつ健全である。 驚くべきことに、そのような摂動によって、十分に表現力のあるニューラルソルバは、教師あり学習で共通する正確さと悪質さのトレードオフの限界に悩まされない。
  論文  参考訳（メタデータ） (2021-10-21T07:28:11Z)
• Fractal Structure and Generalization Properties of Stochastic Optimization Algorithms [71.62575565990502]
  最適化アルゴリズムの一般化誤差は、その一般化尺度の根底にあるフラクタル構造の複雑性'にバウンドできることを示す。 さらに、特定の問題(リニア/ロジスティックレグレッション、隠れ/層ニューラルネットワークなど)とアルゴリズムに対して、結果をさらに専門化します。
  論文  参考訳（メタデータ） (2021-06-09T08:05:36Z)
• Joint Network Topology Inference via Structured Fusion Regularization [70.30364652829164]
  結合ネットワークトポロジ推論は、異種グラフ信号から複数のグラフラプラシア行列を学習する標準的な問題を表す。 新規な構造化融合正規化に基づく一般グラフ推定器を提案する。 提案するグラフ推定器は高い計算効率と厳密な理論保証の両方を享受できることを示す。
  論文  参考訳（メタデータ） (2021-03-05T04:42:32Z)
• Optimizing Variational Representations of Divergences and Accelerating their Statistical Estimation [6.34892104858556]
  高次元確率分布間の発散と距離の変動表現は、重要な理論的洞察を与える。 確率モデルをトレーニングするための、魅力的でスケーラブルなアプローチとして、機械学習で人気を博している。 発散のより厳密な変動表現を構築するための方法論を開発する。
  論文  参考訳（メタデータ） (2020-06-15T21:32:21Z)
• Multiplicative noise and heavy tails in stochastic optimization [62.993432503309485]
  経験的最適化は現代の機械学習の中心であるが、その成功における役割はまだ不明である。 分散による離散乗法雑音のパラメータによく現れることを示す。 最新のステップサイズやデータを含む重要な要素について、詳細な分析を行い、いずれも最先端のニューラルネットワークモデルで同様の結果を示す。
  論文  参考訳（メタデータ） (2020-06-11T09:58:01Z)
• Asymptotic Analysis of an Ensemble of Randomly Projected Linear Discriminants [94.46276668068327]
  [1]では、ランダムに投影された線形判別式のアンサンブルを用いてデータセットを分類する。 我々は,計算コストのかかるクロスバリデーション推定器の代替として,誤分類確率の一貫した推定器を開発する。 また、実データと合成データの両方で投影次元を調整するための推定器の使用を実証する。
  論文  参考訳（メタデータ） (2020-04-17T12:47:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。