論文の概要: Lean Formalization of Generalization Error Bound by Rademacher Complexity

• arxiv url: http://arxiv.org/abs/2503.19605v3
• Date: Mon, 15 Sep 2025 09:48:25 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-09-16 15:23:16.025407
• Title: Lean Formalization of Generalization Error Bound by Rademacher Complexity
• Title（参考訳）: ラデマッハ複雑度による一般化誤差境界のリーン形式化
• Authors: Sho Sonoda, Kazumi Kasaura, Yuma Mizuno, Kei Tsukamoto, Naoto Onda,
• Abstract要約: 我々は、Mathlib 4ライブラリの確率理論に基づいて、Lean 4定理証明器に対するRademacher複雑性を用いた一般化誤差を定式化する。 また、$L2$-regularizationモデルに対する一般化誤差の形式化を示す。
• 参考スコア（独自算出の注目度）: 5.114451899552168
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We formalize the generalization error bound using the Rademacher complexity for the Lean 4 theorem prover based on the probability theory in the Mathlib 4 library. Generalization error quantifies the gap between a learning machine's performance on given training data versus unseen test data, and the Rademacher complexity is a powerful tool to upper-bound the generalization error of a variety of modern learning problems. Previous studies have only formalized extremely simple cases such as bounds by parameter counts and analyses for very simple models (decision stumps). Formalizing the Rademacher complexity bound, also known as the uniform law of large numbers, requires substantial development and is achieved for the first time in this study. In the course of development, we formalize the Rademacher complexity and its unique arguments such as symmetrization, and clarify the topological assumptions on hypothesis classes under which the bound holds. As an application, we also present the formalization of generalization error bound for $L^2$-regularization models.
• Abstract（参考訳）: 我々は、Mathlib 4ライブラリの確率理論に基づいて、Lean 4定理証明器に対するRademacher複雑性を用いた一般化誤差を定式化する。 一般化誤差は、与えられたトレーニングデータと見知らぬテストデータとの差を定量化し、Rademacher複雑性は、様々な現代の学習問題の一般化エラーを上位にバウンドするための強力なツールである。 従来の研究は、パラメータ数による境界や非常に単純なモデル(決定切り株)の分析のような非常に単純なケースのみを定式化した。 ラデマッハ複雑性境界の形式化は、大数の均一法則としても知られ、かなりの発展を必要とし、この研究で初めて達成される。 開発過程では、ラデマッハの複雑性とその対称性のような一意の議論を形式化し、境界が持つ仮説クラスに関する位相的仮定を明らかにする。 応用として、$L^2$-regularizationモデルに対する一般化誤差の形式化も提示する。

関連論文リスト

• Do we really need the Rademacher complexities? [3.683202928838613]
  凸クラスにおける2乗損失に関する学習の基本的な問題について検討する。 一般的な信念とは対照的に、最小限の仮定の下では、サンプルの複雑さはラデマッハ複雑性によって支配されないことが証明される。
  論文  参考訳（メタデータ） (2025-02-21T00:40:22Z)
• MathGAP: Out-of-Distribution Evaluation on Problems with Arbitrarily Complex Proofs [80.96119560172224]
  MathGAPは、それらの算術的証明構造に関する仕様に従って、問題文と連鎖推論トレースを生成する。 MathGAP を用いて, LLM はより深く, より広くなるにつれて, 性能が著しく低下することがわかった。
  論文  参考訳（メタデータ） (2024-10-17T12:48:14Z)
• Class-wise Generalization Error: an Information-Theoretic Analysis [22.877440350595222]
  本稿では,各クラスの一般化性能を定量化するクラス一般化誤差について検討する。 我々は、異なるニューラルネットワークにおける提案した境界を実験的に検証し、それらが複雑なクラス一般化エラーの振る舞いを正確に捉えていることを示す。
  論文  参考訳（メタデータ） (2024-01-05T17:05:14Z)
• Generalization Guarantees via Algorithm-dependent Rademacher Complexity [33.408679482592426]
  本稿では,アルゴリズムおよびデータ依存仮説クラスの経験的ラデマッハ複雑性である一般化誤差を制御する尺度を提案する。 有限フラクタル次元に基づく新しい境界を得るが、これは (a) 従来のフラクタル型境界を連続的な仮説クラスから有限的な仮説クラスに拡張し、 (b) 相互情報項を避ける。
  論文  参考訳（メタデータ） (2023-07-04T18:37:38Z)
• The No Free Lunch Theorem, Kolmogorov Complexity, and the Role of Inductive Biases in Machine Learning [80.1018596899899]
  ニューラルネットワークモデルは、Kolmogorov複雑性を使って形式化された、同じ好みを共有している、と我々は主張する。 実験の結果、事前訓練された言語モデルでも、低複雑さのシーケンスを生成するのが好まれることがわかった。 これらの観察は、ますます小さな機械学習モデルで異なるように見える問題を統一する深層学習の傾向を正当化する。
  論文  参考訳（メタデータ） (2023-04-11T17:22:22Z)
• Generalization Analysis for Contrastive Representation Learning [80.89690821916653]
  既存の一般化誤差境界は負の例の数$k$に線形に依存する。 対数項まで$k$に依存しないコントラスト学習のための新しい一般化境界を確立する。
  論文  参考訳（メタデータ） (2023-02-24T01:03:56Z)
• Partial Counterfactual Identification from Observational and Experimental Data [83.798237968683]
  観測データと実験データの任意の組み合わせから最適境界を近似する有効なモンテカルロアルゴリズムを開発した。 我々のアルゴリズムは、合成および実世界のデータセットに基づいて広範囲に検証されている。
  論文  参考訳（メタデータ） (2021-10-12T02:21:30Z)
• High-dimensional separability for one- and few-shot learning [58.8599521537]
  この作業は、実用的な質問、人工知能(AI)エラーの修正によって進められている。 特殊な外部デバイスである修正器が開発されている。従来のAIシステムを変更することなく、迅速かつ非イテレーティブなシステム修正を提供する必要がある。 AIシステムの新しいマルチコレクタが提示され、深層畳み込みニューラルネットワークによってエラーを予測し、新しいクラスのオブジェクトを学習する例が紹介される。
  論文  参考訳（メタデータ） (2021-06-28T14:58:14Z)
• Parsimonious Inference [0.0]
  parsimonious inferenceは任意のアーキテクチャ上の推論の情報理論的な定式化である。 提案手法は,効率的な符号化と巧妙なサンプリング戦略を組み合わせて,クロスバリデーションを伴わない予測アンサンブルを構築する。
  論文  参考訳（メタデータ） (2021-03-03T04:13:14Z)
• Good Classifiers are Abundant in the Interpolating Regime [64.72044662855612]
  補間分類器間のテストエラーの完全な分布を正確に計算する手法を開発した。 テストエラーは、最悪の補間モデルのテストエラーから大きく逸脱する、小さな典型的な$varepsilon*$に集中する傾向にある。 以上の結果から,統計的学習理論における通常の解析手法は,実際に観測された優れた一般化性能を捉えるのに十分な粒度にはならない可能性が示唆された。
  論文  参考訳（メタデータ） (2020-06-22T21:12:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。