論文の概要: Revisiting the Volume Hypothesis

• arxiv url: http://arxiv.org/abs/2606.31282v1
• Date: Tue, 30 Jun 2026 07:58:19 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-01 18:27:19.130907
• Title: Revisiting the Volume Hypothesis
• Title（参考訳）: ボリューム仮説の再考
• Abstract要約: 現代のディープニューラルネットワークは、トレーニングデータに適合するために必要なパラメータをはるかに多く含んでいることが多いが、それらは印象的な一般化を実現している。 代替の体積仮説は、低トレーニング損失領域において、強い一般化をもたらす損失ランドスケープ盆地が、低低トレーニング領域よりもはるかに広い重量空間を占有していることを示唆している。 ランダムサンプリング学習よりも勾配学習の利点は、トレーニングデータのサイズが大きくなるにつれて一般的に低下することを示す。
• 参考スコア（独自算出の注目度）: 4.156535226615695
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Modern deep neural networks often contain far more parameters than needed to fit their training data, yet they achieve impressive generalization. A common explanation for this success is the implicit bias of stochastic gradient descent (SGD). An alternative volume hypothesis posits that, within low training-loss regions, loss-landscape basins leading to strong generalization occupy much larger regions of weight space than basins that generalize poorly, and therefore SGD is simply more likely to land in the former. Recent experimental explorations of this idea present seemingly contradictory results. While in one set of experiments randomly sampling the network weights until achieving zero training error yielded poor generalization, molecular dynamics density estimates supported the volume hypothesis. We observe that these experiments were performed at different dataset size regimes, and explore an intermediate regime using the Replica Exchange Wang-Landau algorithm to estimate the joint density of states over training and test accuracies in binary networks. Across several architectures and datasets, we show that the generalization advantage of gradient learning over random sampling training generally diminishes as the training data size grows, suggesting a resolution of the paradox.
• Abstract（参考訳）: 現代のディープニューラルネットワークは、トレーニングデータに適合するために必要なパラメータをはるかに多く含んでいることが多いが、それらは印象的な一般化を実現している。 この成功の一般的な説明は、確率勾配降下(SGD)の暗黙バイアスである。 代替の体積仮説は、低トレーニング損失領域において、強い一般化をもたらす損失ランドスケープ盆地は、低一般化の盆地よりもはるかに広い重量空間を占有しており、従ってSGDは単に前の領域に着陸する可能性が高いことを示唆している。 このアイデアの最近の実験的調査は、明らかに矛盾した結果を示している。 ある実験では、トレーニングエラーがゼロになるまでネットワーク重みをランダムにサンプリングし、一般化が不十分であったのに対し、分子動力学の密度推定は体積仮説を支持した。 これらの実験は、異なるデータセットサイズで実施され、Replica Exchange Wang-Landauアルゴリズムを用いて、バイナリネットワークにおけるトレーニングとテストの精度に関する状態の結合密度を推定する中間構造を探索する。 いくつかのアーキテクチャやデータセットにおいて、ランダムサンプリングトレーニングよりも勾配学習の一般化の利点は、トレーニングデータのサイズが大きくなるにつれて一般的に低下し、パラドックスの解法が示唆される。

関連論文リスト

• Implicit Regularization and Generalization in Overparameterized Neural Networks [0.0]
  小さなバッチサイズは一貫して低いテストエラーとフラットなミニマを生み出した。 スパースワークは、再訓練された際の完全なモデル性能の1.15ポイント以内に達成されたパラメータの10%しか保持していない。
  論文  参考訳（メタデータ） (2026-04-08T21:21:44Z)
• Generalization Below the Edge of Stability: The Role of Data Geometry [60.147710896851045]
  安定性の限界以下で訓練されたReLUネットワークにおいて,データ幾何が一般化を制御するかを示す。 低次元球の混合に支持されるデータ分布について、本質的な次元に確実に適応する一般化境界を導出する。 文献に現れる異種の経験的所見を総合的に検討した。
  論文  参考訳（メタデータ） (2025-10-20T21:40:36Z)
• Minimax optimal transfer learning for high-dimensional additive regression [0.0]
  まず,局所線形平滑化を考慮したスムーズなバックフィッティング推定法を提案する。 そこで我々は,移動学習フレームワーク内に新たな2段階推定手法を開発し,人口と経験レベルの理論的保証を提供する。
  論文  参考訳（メタデータ） (2025-09-08T03:16:05Z)
• Calibrating Biased Distribution in VFM-derived Latent Space via Cross-Domain Geometric Consistency [52.52950138164424]
  特徴抽出にオフザシェルフ(ビジョン)基礎モデルを利用する場合、特徴分布の幾何学的形状はドメインやデータセット間で顕著な伝達性を示す。 我々は,我々の幾何学的知識誘導分布キャリブレーションフレームワークを,フェデレーション学習とロングテール認識の2つの人気かつ挑戦的な設定で具体化する。 長期学習において、サンプル豊富なカテゴリから移動された幾何学的知識を利用して、サンプル・スカース・テールクラスの真の分布を復元する。
  論文  参考訳（メタデータ） (2025-08-19T05:22:59Z)
• A Classical View on Benign Overfitting: The Role of Sample Size [14.36840959836957]
  モデルは任意に小さなトレーニングとテストエラーの両方を同時に達成する。 この振舞いはニューラルネットワークの特徴であり、しばしば低い(しかしゼロではない)トレーニングエラーを達成するが、それでもよく一般化される。
  論文  参考訳（メタデータ） (2025-05-16T18:37:51Z)
• Generalizing to any diverse distribution: uniformity, gentle finetuning and rebalancing [55.791818510796645]
  我々は,訓練データから大きく逸脱した場合でも,様々なテスト分布によく適応するモデルを開発することを目的としている。 ドメイン適応、ドメイン一般化、ロバスト最適化といった様々なアプローチは、アウト・オブ・ディストリビューションの課題に対処しようと試みている。 我々は、既知のドメイン内の十分に多様なテスト分布にまたがる最悪のケースエラーを考慮することで、より保守的な視点を採用する。
  論文  参考訳（メタデータ） (2024-10-08T12:26:48Z)
• Deep Anti-Regularized Ensembles provide reliable out-of-distribution uncertainty quantification [4.750521042508541]
  深層アンサンブルは、しばしばトレーニングドメインの外で過度に信頼された見積を返す。 トレーニングデータに適合する大きな重みを持つネットワークの集合は、これらの2つの目的を満たす可能性が高いことを示す。 提案手法の理論的枠組みを導出し,提案手法を「水充填問題」とみなすことができることを示す。
  論文  参考訳（メタデータ） (2023-04-08T15:25:12Z)
• Disentangling the Mechanisms Behind Implicit Regularization in SGD [21.893397581060636]
  本稿では,小規模から大規模バッチの一般化ギャップを埋めるための様々な理論機構の能力に焦点を当てる。 本研究では,マイクロバッチ上での勾配基準やフィッシャー情報マトリックスのトレースを明示的にペナル化することにより,SGDの小型化を再現できることを示す。 この一般化性能は、正規化モデルの勾配ノルムが小バッチSGDのノルムといかによく似ているかによく相関している。
  論文  参考訳（メタデータ） (2022-11-29T01:05:04Z)
• What training reveals about neural network complexity [80.87515604428346]
  この研究は、ディープニューラルネットワーク(NN)が学習している関数の複雑さは、トレーニング中にその重みがどれほど速く変化するかによって推定できるという仮説を探求する。 我々の結果は、優れた訓練行動が良い一般化への有用なバイアスとなるという仮説を支持している。
  論文  参考訳（メタデータ） (2021-06-08T08:58:00Z)
• Improving Generalization in Reinforcement Learning with Mixture Regularization [113.12412071717078]
  そこで本研究では,異なるトレーニング環境からの観察を混合してエージェントを訓練する,mixregという簡単なアプローチを提案する。 Mixregはデータの多様性をより効果的に向上し、よりスムーズなポリシーを学ぶのに役立つ。 その結果、mixregは、未確認テスト環境において確立されたベースラインを大きなマージンで上回る結果となった。
  論文  参考訳（メタデータ） (2020-10-21T08:12:03Z)
• On the Generalization of Stochastic Gradient Descent with Momentum [84.54924994010703]
  運動量に基づく勾配降下(SGD)の加速変種は、機械学習モデルを訓練する際に広く用いられる。 まず,標準重球運動量(SGDM)を持つSGDの複数のエポックに対する安定性ギャップが非有界となる凸損失関数が存在することを示す。 滑らかなリプシッツ損失関数に対しては、修正モーメントベースの更新規則、すなわち、幅広いステップサイズで初期運動量(SGDEM)を解析する。
  論文  参考訳（メタデータ） (2018-09-12T17:02:08Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。