論文の概要: Dataset Complexity Shapes Finite-Distance Loss Geometry in Neural Networks
- arxiv url: http://arxiv.org/abs/2608.22361v1
- Date: Sun, 23 Aug 2026 11:01:09 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-25 13:29:43.732396
- Title: Dataset Complexity Shapes Finite-Distance Loss Geometry in Neural Networks
- Title（参考訳）: ニューラルネットワークにおける有限距離損失幾何のデータセット複雑度形状
- Abstract要約: データセットは同じサイズと低次の統計を共有できるが、構造的な複雑さは強く異なる。
このデータセットの複雑さと損失ランドスケープの幾何学を、学習されたニューラルネットワークソリューションを中心とした局所エントロピーと、近隣のスケールをまたいだ局所ラベルの混合と組み合わせることで結合する。
これらの結果から,データセット構造は訓練された解から有限距離にわたって低損失近傍が構成されていることを示す。
- 参考スコア（独自算出の注目度）: 5.586191108738563
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Finite datasets can share the same size and low-order statistics while differing strongly in structural complexity. We connect this dataset complexity to loss-landscape geometry by pairing local label mixing across neighborhood scales with local entropy around trained neural-network solutions. Adapted from the Franz--Parisi construction in spin-glass theory, local entropy measures the effective volume of low-loss, solution-like parameter configurations at each distance from a reference. We estimate it in finite networks using adaptive sequential Monte Carlo. In a controlled synthetic sweep, greater dataset complexity produces a larger decrease in local entropy near the reference. Farther away, its radial derivative becomes weak and nearly common across conditions. Dataset complexity therefore changes where the effective solution volume contracts, rather than making it decrease uniformly faster. Experiments on real image data show the same qualitative trend, with label randomization further amplifying the effect. These results show that dataset structure shapes how low-loss neighborhoods are organized across finite distances from trained solutions.
- Abstract（参考訳）: 有限データセットは同じサイズと低次の統計を共有できるが、構造的な複雑さは強く異なる。
このデータセットの複雑さと損失ランドスケープの幾何学を、学習されたニューラルネットワークソリューションを中心とした局所エントロピーと、近隣のスケールをまたいだ局所ラベルの混合と組み合わせることで結合する。
スピングラス理論におけるフランツ-パリの構成に適応し、局所エントロピーは基準からの距離ごとに低損失で解のようなパラメータ構成の有効体積を測定する。
適応的連続モンテカルロを用いて有限ネットワークで推定する。
制御された合成スイープでは、データセットの複雑さが大きくなり、参照近傍の局所エントロピーが大幅に減少する。
遠く離れたところでは、その半径微分は弱くなり、条件によってほとんど一般的になる。
したがって、データセットの複雑さは、解のボリュームが一様に減少させるのではなく、効率的な解のボリュームが収縮する場所で変化する。
実画像データに対する実験では、ラベルのランダム化により効果がさらに増幅され、同じ定性的傾向を示す。
これらの結果から,データセット構造は訓練された解から有限距離にわたって低損失近傍が構成されていることを示す。
関連論文リスト
- Contrast-invariant deep ptychography neural networks [31.678007086516118]
本稿では,学習対象のテクスチャを計測スケーリングから切り離し,単一のトレーニングネットワークで測定一貫性のある再構成を実現できる因子化戦略を提案する。
さらに,合成学習データと実験対象との位相分布ミスマッチを最小限に抑える合成対象サンプリング戦略を導入する。
論文 参考訳（メタデータ） (2026-08-03T20:38:48Z) - Clustering by Mining Density Distributions and Splitting Manifold Structure [2.3759432635713895]
近年,スペクトルクラスタリングの効率向上のためのトップダウン手法が提案されている。
本稿では,局所構造からマイクロクラスターを得る方法を提案する。
その後、最終的なスペクトルクラスタリングのために、マイクロクラスタ間の新しい類似度尺度が提案される。
論文 参考訳（メタデータ） (2024-08-20T02:22:59Z) - Polynomial-Time Solutions for ReLU Network Training: A Complexity
Classification via Max-Cut and Zonotopes [70.52097560486683]
我々は、ReLUネットワークの近似の難しさがマックス・カッツ問題の複雑さを反映しているだけでなく、特定の場合において、それと完全に一致することを証明した。
特に、$epsilonleqsqrt84/83-1approx 0.006$とすると、目的値に関して相対誤差$epsilon$でReLUネットワーク対象の近似グローバルデータセットを見つけることはNPハードであることが示される。
論文 参考訳（メタデータ） (2023-11-18T04:41:07Z) - From Complexity to Clarity: Analytical Expressions of Deep Neural Network Weights via Clifford's Geometric Algebra and Convexity [54.01594785269913]
我々は,標準正規化損失のトレーニングにおいて,深部ReLUニューラルネットワークの最適重みがトレーニングサンプルのウェッジ積によって与えられることを示した。
トレーニング問題は、トレーニングデータセットの幾何学的構造をエンコードするウェッジ製品機能よりも凸最適化に還元される。
論文 参考訳（メタデータ） (2023-09-28T15:19:30Z) - Gradient-Based Feature Learning under Structured Data [57.76552698981579]
異方性設定では、一般的に使用される球面勾配力学は真の方向を回復できないことがある。
バッチ正規化を連想させる適切な重み正規化は、この問題を軽減することができることを示す。
特に、スパイクモデルの下では、勾配に基づくトレーニングのサンプルの複雑さは情報指数とは独立にできる。
論文 参考訳（メタデータ） (2023-09-07T16:55:50Z) - Typical and atypical solutions in non-convex neural networks with
discrete and continuous weights [2.7127628066830414]
ランダムな規則や関連を学習する単純な非拘束型ネットワークモデルとして、二項および連続負マージンパーセプトロンについて検討する。
どちらのモデルも、非常に平坦で幅の広い劣支配的な最小化器を示す。
両モデルにおいて、学習装置としての一般化性能は、広い平坦な最小化器の存在により大幅に向上することを示した。
論文 参考訳（メタデータ） (2023-04-26T23:34:40Z) - Push--Pull with Device Sampling [8.344476599818826]
複数のエージェントが協力して、基礎となる通信グラフを交換することで、ローカル関数の平均を最小化する分散最適化問題を考察する。
ネットワーク全体の勾配追跡と分散低減を併用したアルゴリズムを提案する。
理論解析により,局所目的関数が強凸である場合,アルゴリズムは線形に収束することを示した。
論文 参考訳（メタデータ） (2022-06-08T18:18:18Z) - Deep Networks on Toroids: Removing Symmetries Reveals the Structure of
Flat Regions in the Landscape Geometry [3.712728573432119]
我々は、すべての対称性を除去し、トロイダルトポロジーをもたらす標準化されたパラメータ化を開発する。
最小化器の平坦性とそれらの接続する測地線経路の有意義な概念を導出する。
また、勾配勾配の変種によって発見された最小化器は、ゼロエラー経路と1つの曲がり角で接続可能であることも見いだした。
論文 参考訳（メタデータ） (2022-02-07T09:57:54Z) - A Local Similarity-Preserving Framework for Nonlinear Dimensionality
Reduction with Neural Networks [56.068488417457935]
本稿では,Vec2vecという新しい局所非線形手法を提案する。
ニューラルネットワークを訓練するために、マトリックスの近傍類似度グラフを構築し、データポイントのコンテキストを定義します。
8つの実データセットにおけるデータ分類とクラスタリングの実験により、Vec2vecは統計仮説テストにおける古典的な次元削減法よりも優れていることが示された。
論文 参考訳（メタデータ） (2021-03-10T23:10:47Z) - ResNet-LDDMM: Advancing the LDDMM Framework Using Deep Residual Networks [86.37110868126548]
本研究では,eulerの離散化スキームに基づく非定常ode(フロー方程式)の解法として,深層残留ニューラルネットワークを用いた。
複雑なトポロジー保存変換の下での3次元形状の多種多様な登録問題について述べる。
論文 参考訳（メタデータ） (2021-02-16T04:07:13Z) - Optimizing Mode Connectivity via Neuron Alignment [84.26606622400423]
経験的に、損失関数の局所ミニマは、損失がほぼ一定であるようなモデル空間の学習曲線で接続することができる。
本稿では,ネットワークの重み変化を考慮し,対称性がランドスケープ・コネクティビティに与える影響を明らかにするための,より一般的な枠組みを提案する。
論文 参考訳（メタデータ） (2020-09-05T02:25:23Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。