論文の概要: Mutual Information Free Topological Generalization Bounds via Stability

• arxiv url: http://arxiv.org/abs/2507.06775v1
• Date: Wed, 09 Jul 2025 12:03:25 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-07-10 17:37:43.573611
• Title: Mutual Information Free Topological Generalization Bounds via Stability
• Title（参考訳）: 安定性による相互情報自由位相一般化境界
• Authors: Mario Tuci, Lennart Bastian, Benjamin Dupuis, Nassir Navab, Tolga Birdal, Umut Şimşekli,
• Abstract要約: 既存の戦略から離れる新しい学習理論フレームワークを導入する。 トラジェクトリ安定アルゴリズムの一般化誤差をTDA項で上界化できることを示す。
• 参考スコア（独自算出の注目度）: 46.63069403118614
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Providing generalization guarantees for stochastic optimization algorithms is a major challenge in modern learning theory. Recently, several studies highlighted the impact of the geometry of training trajectories on the generalization error, both theoretically and empirically. Among these works, a series of topological generalization bounds have been proposed, relating the generalization error to notions of topological complexity that stem from topological data analysis (TDA). Despite their empirical success, these bounds rely on intricate information-theoretic (IT) terms that can be bounded in specific cases but remain intractable for practical algorithms (such as ADAM), potentially reducing the relevance of the derived bounds. In this paper, we seek to formulate comprehensive and interpretable topological generalization bounds free of intractable mutual information terms. To this end, we introduce a novel learning theoretic framework that departs from the existing strategies via proof techniques rooted in algorithmic stability. By extending an existing notion of \textit{hypothesis set stability}, to \textit{trajectory stability}, we prove that the generalization error of trajectory-stable algorithms can be upper bounded in terms of (i) TDA quantities describing the complexity of the trajectory of the optimizer in the parameter space, and (ii) the trajectory stability parameter of the algorithm. Through a series of experimental evaluations, we demonstrate that the TDA terms in the bound are of great importance, especially as the number of training samples grows. This ultimately forms an explanation of the empirical success of the topological generalization bounds.
• Abstract（参考訳）: 確率最適化アルゴリズムの一般化を保証することは、現代の学習理論において大きな課題である。 最近、いくつかの研究が、理論上も経験的にも、訓練軌跡の幾何学が一般化誤差に与える影響を強調している。 これらの研究の中で、一般化誤差をトポロジカルデータ解析(TDA)に由来するトポロジカル複雑性の概念に関連付ける一連のトポロジカル一般化境界が提案されている。 経験的成功にもかかわらず、これらの境界は、特定のケースでは有界であるが実用的なアルゴリズム(ADAMなど)では難解であり、導出された境界の関連性を低下させる可能性がある、複雑な情報理論(IT)項に依存している。 本稿では,包括的かつ解釈可能なトポロジカル一般化境界を,難解な相互情報項を含まない形で定式化する。 そこで本研究では,アルゴリズムの安定性に根ざした証明手法を通じて,既存の戦略から逸脱する新たな学習理論フレームワークを提案する。 既存の \textit{hypothesis set stability} の概念を \textit{trajectory stability} に拡張することにより、軌道安定アルゴリズムの一般化誤差が上界となることを証明できる。 一 パラメータ空間におけるオプティマイザの軌跡の複雑さを記述するTDA量及び (ii) アルゴリズムの軌道安定性パラメータ。 実験的な評価を通じて,特にトレーニングサンプルの数が増加するにつれて,境界におけるTDA項が極めて重要であることを示す。 これは最終的に、位相的一般化境界の経験的成功を説明する。

関連論文リスト

• Generalization Bound of Gradient Flow through Training Trajectory and Data-dependent Kernel [55.82768375605861]
  我々は、カーネル法における古典的ラデマッハ複雑性と整合する勾配流の一般化を確立する。 NTKのような静的カーネルとは異なり、LPKはトレーニング軌跡全体をキャプチャし、データと最適化の両方に適応する。
  論文  参考訳（メタデータ） (2025-06-12T23:17:09Z)
• Topological Generalization Bounds for Discrete-Time Stochastic Optimization Algorithms [15.473123662393169]
  ディープニューラルネットワーク(DNN)は、顕著な一般化特性を示す。 これらの能力の源泉は依然として解明され、確立された統計的学習理論を否定している。 近年の研究では、訓練軌跡の性質が一般化の指標であることが示されている。
  論文  参考訳（メタデータ） (2024-07-11T17:56:03Z)
• A Unified Theory of Stochastic Proximal Point Methods without Smoothness [52.30944052987393]
  近点法はその数値的安定性と不完全なチューニングに対する頑健性からかなりの関心を集めている。 本稿では,近位点法(SPPM)の幅広いバリエーションの包括的解析について述べる。
  論文  参考訳（メタデータ） (2024-05-24T21:09:19Z)
• Generalization Guarantees via Algorithm-dependent Rademacher Complexity [33.408679482592426]
  本稿では,アルゴリズムおよびデータ依存仮説クラスの経験的ラデマッハ複雑性である一般化誤差を制御する尺度を提案する。 有限フラクタル次元に基づく新しい境界を得るが、これは (a) 従来のフラクタル型境界を連続的な仮説クラスから有限的な仮説クラスに拡張し、 (b) 相互情報項を避ける。
  論文  参考訳（メタデータ） (2023-07-04T18:37:38Z)
• Understanding the Generalization Ability of Deep Learning Algorithms: A Kernelized Renyi's Entropy Perspective [11.255943520955764]
  本稿では,Renyiのエントロピーをカーネル化した新しい情報理論尺度を提案する。 我々は,Renyiエントロピーのカーネル化の下で,勾配/ランジュバン降下(SGD/SGLD)学習アルゴリズムの一般化誤差境界を確立する。 我々の情報理論的境界は勾配の統計に依存しており、現在のSOTA(State-of-the-art)結果よりも厳密であることを示す。
  論文  参考訳（メタデータ） (2023-05-02T01:17:15Z)
• Fractal Structure and Generalization Properties of Stochastic Optimization Algorithms [71.62575565990502]
  最適化アルゴリズムの一般化誤差は、その一般化尺度の根底にあるフラクタル構造の複雑性'にバウンドできることを示す。 さらに、特定の問題(リニア/ロジスティックレグレッション、隠れ/層ニューラルネットワークなど)とアルゴリズムに対して、結果をさらに専門化します。
  論文  参考訳（メタデータ） (2021-06-09T08:05:36Z)
• Joint Network Topology Inference via Structured Fusion Regularization [70.30364652829164]
  結合ネットワークトポロジ推論は、異種グラフ信号から複数のグラフラプラシア行列を学習する標準的な問題を表す。 新規な構造化融合正規化に基づく一般グラフ推定器を提案する。 提案するグラフ推定器は高い計算効率と厳密な理論保証の両方を享受できることを示す。
  論文  参考訳（メタデータ） (2021-03-05T04:42:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。