論文の概要: Maximum Multiscale Entropy and Neural Network Regularization

• arxiv url: http://arxiv.org/abs/2006.14614v1
• Date: Thu, 25 Jun 2020 17:56:11 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-17 03:58:00.642785
• Title: Maximum Multiscale Entropy and Neural Network Regularization
• Title（参考訳）: 最大マルチスケールエントロピーとニューラルネットワーク規則化
• Authors: Amir R. Asadi, Emmanuel Abbe
• Abstract要約: よく知られた結果は、平均的制約の下での最大エントロピー分布は、ギブス・ボルツマン分布と呼ばれる指数形式を持つことを示している。 本稿では,これらの結果のマルチスケール設定への一般化について検討する。
• 参考スコア（独自算出の注目度）: 28.00914218615924
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: A well-known result across information theory, machine learning, and statistical physics shows that the maximum entropy distribution under a mean constraint has an exponential form called the Gibbs-Boltzmann distribution. This is used for instance in density estimation or to achieve excess risk bounds derived from single-scale entropy regularizers (Xu-Raginsky '17). This paper investigates a generalization of these results to a multiscale setting. We present different ways of generalizing the maximum entropy result by incorporating the notion of scale. For different entropies and arbitrary scale transformations, it is shown that the distribution maximizing a multiscale entropy is characterized by a procedure which has an analogy to the renormalization group procedure in statistical physics. For the case of decimation transformation, it is further shown that this distribution is Gaussian whenever the optimal single-scale distribution is Gaussian. This is then applied to neural networks, and it is shown that in a teacher-student scenario, the multiscale Gibbs posterior can achieve a smaller excess risk than the single-scale Gibbs posterior.
• Abstract（参考訳）: 情報理論、機械学習、統計物理学においてよく知られた結果は、平均制約の下での最大エントロピー分布がギブス・ボルツマン分布と呼ばれる指数型を持つことを示している。 これは例えば密度推定や、単一スケールエントロピー正規化器 (xu-raginsky '17) に由来する過剰なリスク境界を達成するために用いられる。 本稿では,これらの結果をマルチスケール環境に一般化する。 スケールの概念を取り入れることで、最大エントロピー結果を一般化する様々な方法を提案する。 異なるエントロピーや任意のスケール変換に対して、マルチスケールエントロピーを最大化する分布は、統計物理学における再正規化群法に類似した手順によって特徴づけられる。 デシメーション変換の場合、最適単スケール分布がガウス分布であれば、この分布はガウス分布であることがさらに示される。 これはニューラルネットワークに適用され、教師-学生のシナリオでは、マルチスケールギブス後部はシングルスケールギブス後部よりも小さな過剰リスクを達成できることが示された。

関連論文リスト

• Generalization of Geometric Graph Neural Networks [84.01980526069075]
  幾何グラフニューラルネットワーク(GNN)の一般化能力について検討する。 我々は,このGNNの最適経験リスクと最適統計リスクとの一般化ギャップを証明した。 最も重要な観察は、前の結果のようにグラフのサイズに制限されるのではなく、1つの大きなグラフで一般化能力を実現することができることである。
  論文  参考訳（メタデータ） (2024-09-08T18:55:57Z)
• Non-asymptotic bounds for forward processes in denoising diffusions: Ornstein-Uhlenbeck is hard to beat [49.1574468325115]
  本稿では,全変動(TV)における前方拡散誤差の非漸近的境界について述べる。 我々は、R$からFarthestモードまでの距離でマルチモーダルデータ分布をパラメライズし、加法的および乗法的雑音による前方拡散を考察する。
  論文  参考訳（メタデータ） (2024-08-25T10:28:31Z)
• Scaling and renormalization in high-dimensional regression [72.59731158970894]
  本稿では,様々な高次元リッジ回帰モデルの訓練および一般化性能の簡潔な導出について述べる。 本稿では,物理と深層学習の背景を持つ読者を対象に,これらのトピックに関する最近の研究成果の紹介とレビューを行う。
  論文  参考訳（メタデータ） (2024-05-01T15:59:00Z)
• On the generic increase of observational entropy in isolated systems [6.874745415692133]
  ランダムに選択されたユニタリ進化のシステムの観測エントロピーが、圧倒的な確率で増加する傾向を示す。 システムの初期状態に関わらず,システムの大きさが十分に粗い観察では,その状態がマイクロカノニカル分布と実質的に区別できないことを示す。
  論文  参考訳（メタデータ） (2024-04-18T08:27:04Z)
• Universal distributions of overlaps from unitary dynamics in generic quantum many-body systems [0.0]
  我々は、深さ$t$の回路を用いて、N$サイトの分解状態から量子状態を作成する。 我々は、大きな$t$と$N$の適切なスケーリング限界において、状態間の重なり合いは汎用的な多体カオス力学の下で進化したと主張する。
  論文  参考訳（メタデータ） (2024-04-15T18:01:13Z)
• Maximum Weight Entropy [6.821961232645206]
  本稿では,ベイジアン法とアンサンブル法を用いて,ディープラーニングにおける不確実な定量化と分布外検出を扱う。 ニューラルネットワークを考えると、平均的な経験的リスクと重量分布エントロピーの間のトレードオフとして定義されたそのような分布を構築するために、実用的な最適化が導出される。
  論文  参考訳（メタデータ） (2023-09-27T14:46:10Z)
• Bayesian Renormalization [68.8204255655161]
  ベイズ統計的推論にインスパイアされた再正規化に対する完全情報理論的アプローチを提案する。 ベイズ再正規化の主な洞察は、フィッシャー計量が創発的RGスケールの役割を担う相関長を定義することである。 本研究では,ベイズ正規化方式が既存のデータ圧縮法やデータ生成法とどのように関係しているかを考察する。
  論文  参考訳（メタデータ） (2023-05-17T18:00:28Z)
• High-dimensional limit theorems for SGD: Effective dynamics and critical scaling [6.950316788263433]
  我々は、勾配降下(SGD)の要約統計の軌跡に対する極限定理を証明する。 下記の有効弾道力学が人口減少の勾配流と一致するステップサイズにおける重要なスケーリング体制を示す。 この実効力学の固定点について、対応する拡散極限は極めて複雑であり、さらに退化することもある。
  論文  参考訳（メタデータ） (2022-06-08T17:42:18Z)
• Theoretical Error Analysis of Entropy Approximation for Gaussian Mixture [0.7499722271664147]
  本稿では,真のエントロピーと近似値との近似誤差を分析し,この近似が有効に動作するかどうかを明らかにする。 我々の結果は、この近似が高次元問題でうまく機能することを保証している。
  論文  参考訳（メタデータ） (2022-02-26T04:49:01Z)
• Spectral clustering under degree heterogeneity: a case for the random walk Laplacian [83.79286663107845]
  本稿では,ランダムウォークラプラシアンを用いたグラフスペクトル埋め込みが,ノード次数に対して完全に補正されたベクトル表現を生成することを示す。 次数補正ブロックモデルの特別な場合、埋め込みはK個の異なる点に集中し、コミュニティを表す。
  論文  参考訳（メタデータ） (2021-05-03T16:36:27Z)
• GANs with Variational Entropy Regularizers: Applications in Mitigating the Mode-Collapse Issue [95.23775347605923]
  深層学習の成功に基づいて、GAN(Generative Adversarial Networks)は、観測されたサンプルから確率分布を学習するための現代的なアプローチを提供する。 GANはしばしば、ジェネレータが入力分布の既存のすべてのモードをキャプチャできないモード崩壊問題に悩まされる。 情報理論のアプローチを採り、生成したサンプルのエントロピーの変動的下限を最大化し、それらの多様性を増大させる。
  論文  参考訳（メタデータ） (2020-09-24T19:34:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。