論文の概要: Topological Generalization Bounds for Discrete-Time Stochastic Optimization Algorithms

• arxiv url: http://arxiv.org/abs/2407.08723v1
• Date: Thu, 11 Jul 2024 17:56:03 GMT
• ステータス: 処理完了
• システム内更新日: 2024-07-12 16:09:12.616897
• Title: Topological Generalization Bounds for Discrete-Time Stochastic Optimization Algorithms
• Title（参考訳）: 離散時間確率最適化アルゴリズムのための位相一般化境界
• Authors: Rayna Andreeva, Benjamin Dupuis, Rik Sarkar, Tolga Birdal, Umut Şimşekli,
• Abstract要約: ディープニューラルネットワーク(DNN)は、顕著な一般化特性を示す。 これらの能力の源泉は依然として解明され、確立された統計的学習理論を否定している。 近年の研究では、訓練軌跡の性質が一般化の指標であることが示されている。
• 参考スコア（独自算出の注目度）: 15.473123662393169
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We present a novel set of rigorous and computationally efficient topology-based complexity notions that exhibit a strong correlation with the generalization gap in modern deep neural networks (DNNs). DNNs show remarkable generalization properties, yet the source of these capabilities remains elusive, defying the established statistical learning theory. Recent studies have revealed that properties of training trajectories can be indicative of generalization. Building on this insight, state-of-the-art methods have leveraged the topology of these trajectories, particularly their fractal dimension, to quantify generalization. Most existing works compute this quantity by assuming continuous- or infinite-time training dynamics, complicating the development of practical estimators capable of accurately predicting generalization without access to test data. In this paper, we respect the discrete-time nature of training trajectories and investigate the underlying topological quantities that can be amenable to topological data analysis tools. This leads to a new family of reliable topological complexity measures that provably bound the generalization error, eliminating the need for restrictive geometric assumptions. These measures are computationally friendly, enabling us to propose simple yet effective algorithms for computing generalization indices. Moreover, our flexible framework can be extended to different domains, tasks, and architectures. Our experimental results demonstrate that our new complexity measures correlate highly with generalization error in industry-standards architectures such as transformers and deep graph networks. Our approach consistently outperforms existing topological bounds across a wide range of datasets, models, and optimizers, highlighting the practical relevance and effectiveness of our complexity measures.
• Abstract（参考訳）: 本稿では,最近のディープニューラルネットワーク(DNN)における一般化ギャップと強い相関関係を示す,厳密で計算効率のよいトポロジに基づく複雑性概念を提案する。 DNNは、顕著な一般化特性を示すが、これらの能力の源泉は、確立された統計的学習理論を否定し、解明されたままである。 近年の研究では、訓練軌跡の性質が一般化の指標であることが示されている。 この知見に基づいて、最先端の手法はこれらの軌跡、特にそのフラクタル次元の位相を利用して一般化を定量化している。 既存のほとんどの研究は、連続または無限時間トレーニングのダイナミクスを仮定し、テストデータにアクセスせずに正確な一般化を予測できる実用的な推定器の開発を複雑にすることで、この量を計算する。 本稿では,学習軌跡の離散時間特性を尊重し,トポロジカルデータ解析ツールに許容できるトポロジカル量について考察する。 これは新しい信頼性トポロジカル複雑性測度の族に結びつき、一般化誤差を証明し、制限的な幾何学的仮定の必要性を排除した。 これらの測度は計算に適しており、一般化指標の計算には単純だが効果的なアルゴリズムを提案することができる。 さらに、フレキシブルなフレームワークは、さまざまなドメイン、タスク、アーキテクチャに拡張できます。 提案手法は, トランスフォーマーやディープグラフネットワークなどの業界標準アーキテクチャにおける一般化誤差と高い相関性を示す。 私たちのアプローチは、さまざまなデータセット、モデル、オプティマイザにわたる既存のトポロジカル境界を一貫して上回り、複雑性測定の実践的妥当性と有効性を強調します。

関連論文リスト

• Learning Divergence Fields for Shift-Robust Graph Representations [73.11818515795761]
  本研究では,相互依存データに対する問題に対して,学習可能な分散場を持つ幾何学的拡散モデルを提案する。 因果推論によって新たな学習目標が導出され、ドメイン間で無神経な相互依存の一般化可能なパターンを学習するためのモデルが導出される。
  論文  参考訳（メタデータ） (2024-06-07T14:29:21Z)
• Topologically Regularized Data Embeddings [15.001598256750619]
  低次元埋め込みにトポロジ的事前知識を組み込むための代数的トポロジに基づく汎用的アプローチを導入する。 正規化器としてそのような位相損失関数を用いて埋め込み損失を共同最適化すると、局所的な近似だけでなく所望の位相構造も反映する埋め込みが得られることを示す。 線形および非線形次元削減法とグラフ埋め込み法を組み合わせた計算効率,堅牢性,汎用性に関する提案手法を実験的に評価した。
  論文  参考訳（メタデータ） (2023-01-09T13:49:47Z)
• Amortized Inference for Causal Structure Learning [72.84105256353801]
  因果構造を学習することは、通常、スコアまたは独立テストを使用して構造を評価することを伴う探索問題を引き起こす。 本研究では,観測・干渉データから因果構造を予測するため,変分推論モデルを訓練する。 我々のモデルは、実質的な分布シフトの下で頑健な一般化能力を示す。
  論文  参考訳（メタデータ） (2022-05-25T17:37:08Z)
• Intrinsic Dimension, Persistent Homology and Generalization in Neural Networks [19.99615698375829]
  一般化誤差は 'peristent homology dimension' (PHD) という概念で等価に有界であることを示す。 我々は,現代のディープニューラルネットワークの規模でPHDを推定する効率的なアルゴリズムを開発した。 実験の結果,提案手法はネットワークの固有次元を様々な設定で効率的に計算できることがわかった。
  論文  参考訳（メタデータ） (2021-11-25T17:06:15Z)
• Fractal Structure and Generalization Properties of Stochastic Optimization Algorithms [71.62575565990502]
  最適化アルゴリズムの一般化誤差は、その一般化尺度の根底にあるフラクタル構造の複雑性'にバウンドできることを示す。 さらに、特定の問題(リニア/ロジスティックレグレッション、隠れ/層ニューラルネットワークなど)とアルゴリズムに対して、結果をさらに専門化します。
  論文  参考訳（メタデータ） (2021-06-09T08:05:36Z)
• Clustered Federated Learning via Generalized Total Variation Minimization [83.26141667853057]
  本研究では,分散ネットワーク構造を持つローカルデータセットの局所的(あるいはパーソナライズされた)モデルを学習するための最適化手法について検討する。 我々の主要な概念的貢献は、総変動最小化(GTV)としてフェデレーション学習を定式化することである。 私たちのアルゴリズムの主な貢献は、完全に分散化されたフェデレーション学習アルゴリズムです。
  論文  参考訳（メタデータ） (2021-05-26T18:07:19Z)
• Joint Network Topology Inference via Structured Fusion Regularization [70.30364652829164]
  結合ネットワークトポロジ推論は、異種グラフ信号から複数のグラフラプラシア行列を学習する標準的な問題を表す。 新規な構造化融合正規化に基づく一般グラフ推定器を提案する。 提案するグラフ推定器は高い計算効率と厳密な理論保証の両方を享受できることを示す。
  論文  参考訳（メタデータ） (2021-03-05T04:42:32Z)
• Parsimonious Inference [0.0]
  parsimonious inferenceは任意のアーキテクチャ上の推論の情報理論的な定式化である。 提案手法は,効率的な符号化と巧妙なサンプリング戦略を組み合わせて,クロスバリデーションを伴わない予測アンサンブルを構築する。
  論文  参考訳（メタデータ） (2021-03-03T04:13:14Z)
• Extrapolatable Relational Reasoning With Comparators in Low-Dimensional Manifolds [7.769102711230249]
  本稿では,現在のニューラルネットワークアーキテクチャと容易に融合可能な,神経科学にインスパイアされた誘導バイアスモジュールを提案する。 この誘導バイアスを持つニューラルネットは、様々な関係推論タスクにおいて、O.o.d一般化性能を著しく向上させることを示す。
  論文  参考訳（メタデータ） (2020-06-15T19:09:13Z)
• Understanding Generalization in Deep Learning via Tensor Methods [53.808840694241]
  圧縮の観点から,ネットワークアーキテクチャと一般化可能性の関係について理解を深める。 本稿では、ニューラルネットワークの圧縮性と一般化性を強く特徴付ける、直感的で、データ依存的で、測定が容易な一連の特性を提案する。
  論文  参考訳（メタデータ） (2020-01-14T22:26:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。