Fugu-MT 論文翻訳(概要): Generalization of the Gibbs algorithm with high probability at low temperatures

論文の概要: Generalization of the Gibbs algorithm with high probability at low temperatures

arxiv url: http://arxiv.org/abs/2502.11071v2
Date: Fri, 21 Feb 2025 16:49:36 GMT
ステータス: 翻訳完了
システム内更新日: 2025-02-24 17:07:56.950972
Title: Generalization of the Gibbs algorithm with high probability at low temperatures
Title（参考訳）: 低温における確率の高いギブスアルゴリズムの一般化
Authors: Andreas Maurer,
Abstract要約: 本稿では、Gibsアルゴリズムの一般化誤差にバウンダリを与え、高温領域における既知のデータ非依存境界を復元する。高い確率で、ギブスの後部から引き出された1つの仮説の一般化誤差は、同様のまたはより小さな経験的誤りを伴う全ての仮説の総容積とともに減少する。
参考スコア（独自算出の注目度）: 6.835035668445878
License:
Abstract: The paper gives a bound on the generalization error of the Gibbs algorithm, which recovers known data-independent bounds for the high temperature range and extends to the low-temperature range, where generalization depends critically on the data-dependent loss-landscape. It is shown, that with high probability the generalization error of a single hypothesis drawn from the Gibbs posterior decreases with the total prior volume of all hypotheses with similar or smaller empirical error. This gives theoretical support to the belief in the benefit of flat minima. The zero temperature limit is discussed and the bound is extended to a class of similar stochastic algorithms.
Abstract（参考訳）: 本稿では,Gibsアルゴリズムの一般化誤差について述べる。Gibsアルゴリズムは高温領域の既知データ非依存境界を回復し,低温領域にまで拡張する。高い確率で、ギブスの後部から引き出された1つの仮説の一般化誤差は、同様のまたはより小さな経験的誤りを伴う全ての仮説の総容積とともに減少する。これにより、平坦なミニマの利益に対する信念が理論的に支持される。ゼロ温度制限を議論し、バウンダリを同様の確率アルゴリズムのクラスに拡張する。

関連論文リスト

Gradient descent inference in empirical risk minimization [1.1510009152620668]
勾配降下法は、現代の統計学習において最も広く使われている反復アルゴリズムの1つである。本稿では,多種多様な経験的リスク最小化問題における勾配降下の精度,非漸近的特性について述べる。
論文参考訳（メタデータ） (2024-12-12T17:47:08Z)
Conditional Independence of 1D Gibbs States with Applications to Efficient Learning [0.0]
熱平衡におけるスピン鎖は, 個々の領域が近傍に強く相関する相関構造を持つことを示す。これらの測度が任意の正の温度で超指数的に崩壊することを証明している。
論文参考訳（メタデータ） (2024-02-28T17:28:01Z)
Generalization Analysis of Machine Learning Algorithms via the Worst-Case Data-Generating Probability Measure [1.773764539873123]
データに対する最悪の確率測定は、機械学習アルゴリズムの一般化能力を特徴づけるツールとして紹介される。予測損失の感度、経験的リスクの感度、一般化ギャップなどの基本的な一般化指標は、クローズドフォーム表現を持つことが示されている。最悪のデータ生成確率尺度とギブスアルゴリズムとの間には,新たな並列性が確立されている。
論文参考訳（メタデータ） (2023-12-19T15:20:27Z)
Bayesian Renormalization [68.8204255655161]
ベイズ統計的推論にインスパイアされた再正規化に対する完全情報理論的アプローチを提案する。ベイズ再正規化の主な洞察は、フィッシャー計量が創発的RGスケールの役割を担う相関長を定義することである。本研究では,ベイズ正規化方式が既存のデータ圧縮法やデータ生成法とどのように関係しているかを考察する。
論文参考訳（メタデータ） (2023-05-17T18:00:28Z)
Understanding the Generalization Ability of Deep Learning Algorithms: A Kernelized Renyi's Entropy Perspective [11.255943520955764]
本稿では,Renyiのエントロピーをカーネル化した新しい情報理論尺度を提案する。我々は,Renyiエントロピーのカーネル化の下で,勾配/ランジュバン降下(SGD/SGLD)学習アルゴリズムの一般化誤差境界を確立する。我々の情報理論的境界は勾配の統計に依存しており、現在のSOTA(State-of-the-art)結果よりも厳密であることを示す。
論文参考訳（メタデータ） (2023-05-02T01:17:15Z)
Large deviations rates for stochastic gradient descent with strongly convex functions [11.247580943940916]
勾配降下を伴う一般高確率境界の研究のための公式な枠組みを提供する。強い凸関数を持つSGDの上限となる大きな偏差が見つかる。
論文参考訳（メタデータ） (2022-11-02T09:15:26Z)
Nonconvex Stochastic Scaled-Gradient Descent and Generalized Eigenvector Problems [98.34292831923335]
オンライン相関解析の問題から,emphStochastic Scaled-Gradient Descent (SSD)アルゴリズムを提案する。我々はこれらのアイデアをオンライン相関解析に適用し、局所収束率を正規性に比例した最適な1時間スケールのアルゴリズムを初めて導いた。
論文参考訳（メタデータ） (2021-12-29T18:46:52Z)
Information-Theoretic Generalization Bounds for Iterative Semi-Supervised Learning [81.1071978288003]
特に,情報理論の原理を用いて,反復型SSLアルゴリズムのエミュレータ一般化誤差の振る舞いを理解することを目的とする。我々の理論的結果は、クラス条件分散があまり大きくない場合、一般化誤差の上限は反復数とともに単調に減少するが、すぐに飽和することを示している。
論文参考訳（メタデータ） (2021-10-03T05:38:49Z)
Uhlmann Fidelity and Fidelity Susceptibility for Integrable Spin Chains at Finite Temperature: Exact Results [68.8204255655161]
奇数パリティ部分空間の適切な包含は、中間温度範囲における最大忠実度感受性の向上につながることを示す。正しい低温の挙動は、2つの最も低い多体エネルギー固有状態を含む近似によって捉えられる。
論文参考訳（メタデータ） (2021-05-11T14:08:02Z)
Spectral clustering under degree heterogeneity: a case for the random walk Laplacian [83.79286663107845]
本稿では,ランダムウォークラプラシアンを用いたグラフスペクトル埋め込みが,ノード次数に対して完全に補正されたベクトル表現を生成することを示す。次数補正ブロックモデルの特別な場合、埋め込みはK個の異なる点に集中し、コミュニティを表す。
論文参考訳（メタデータ） (2021-05-03T16:36:27Z)
Free Energy Wells and Overlap Gap Property in Sparse PCA [81.64027805404483]
我々は「ハード」体制におけるスパースPCA問題(主成分分析)の変種について検討する。問題に自然に関連付けられた様々なギブズ測度に対する自由エネルギー井戸の深さの有界性を示す。我々は、オーバーラップギャップ特性(OGP)がハードレジームの重要な部分を占めていることを証明した。
論文参考訳（メタデータ） (2020-06-18T17:18:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。