論文の概要: Hierarchical Maximum Entropy via the Renormalization Group

• arxiv url: http://arxiv.org/abs/2509.01424v1
• Date: Mon, 01 Sep 2025 12:30:23 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-09-04 15:17:03.689611
• Title: Hierarchical Maximum Entropy via the Renormalization Group
• Title（参考訳）: 再正規化群による階層的最大エントロピー
• Authors: Amir R. Asadi,
• Abstract要約: 複数のレベルを含む階層構造は、統計モデルや機械学習モデル、物理システムで広く使われている。 階層的最大エントロピー(hierarchical maximum entropy)の枠組みを導入し、これらのマルチレベルモデルに対処する。 この研究は確率論、情報理論、統計力学のアイデアを結びつけている。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Hierarchical structures, which include multiple levels, are prevalent in statistical and machine-learning models as well as physical systems. Extending the foundational result that the maximum entropy distribution under mean constraints is given by the exponential Gibbs-Boltzmann form, we introduce the framework of "hierarchical maximum entropy" to address these multilevel models. We demonstrate that Pareto optimal distributions, which maximize entropies across all levels of hierarchical transformations, can be obtained via renormalization-group procedures from theoretical physics. This is achieved by formulating multilevel extensions of the Gibbs variational principle and the Donsker-Varadhan variational representation of entropy. Moreover, we explore settings with hierarchical invariances that significantly simplify the renormalization-group procedures, enhancing computational efficiency: quadratic modular loss functions, logarithmic loss functions, and nearest-neighbor loss functions. This is accomplished through the introduction of the concept of parameter flows, which serves as an analog to renormalization flows in renormalization group theory. This work connects ideas from probability theory, information theory, and statistical mechanics.
• Abstract（参考訳）: 複数のレベルを含む階層構造は、統計モデルや機械学習モデル、物理システムで広く使われている。 平均的制約の下での最大エントロピー分布が指数的ギブス・ボルツマン形式によって与えられるという基礎的な結果を拡張するため、これらのマルチレベルモデルに対処する「階層的最大エントロピー」の枠組みを導入する。 階層変換のすべてのレベルにおけるエントロピーを最大化するパレート最適分布は、理論物理学からの正規化群プロシージャによって得られることを示す。 これは、ギブス変分原理とドンスカー・バラダン変分表現のエントロピーを定式化することによって達成される。 さらに,2次モジュラー損失関数,対数的損失関数,近傍の損失関数など,再正規化群手続きを著しく単純化し,計算効率を向上する階層的不変性による設定について検討する。 これはパラメータフローの概念の導入によって達成され、これは再正規化群論における再正規化フローのアナログとして機能する。 この研究は確率論、情報理論、統計力学のアイデアを結びつけている。

関連論文リスト

• Loss-Complexity Landscape and Model Structure Functions [56.01537787608726]
  我々はコルモゴロフ構造関数 $h_x(alpha)$ を双対化するためのフレームワークを開発する。 情報理論構造と統計力学の数学的類似性を確立する。 構造関数と自由エネルギーの間のルジャンドル・フェンシェル双対性を明確に証明する。
  論文  参考訳（メタデータ） (2025-07-17T21:31:45Z)
• Designing a Linearized Potential Function in Neural Network Optimization Using Csiszár Type of Tsallis Entropy [0.0]
  本稿では,Csisz'ar型Tsallisエントロピーを用いた線形化ポテンシャル関数を利用する枠組みを確立する。 新しい枠組みによって指数収束結果が導出できることが示される。
  論文  参考訳（メタデータ） (2024-11-06T02:12:41Z)
• Entanglement and the density matrix renormalisation group in the generalised Landau paradigm [0.0]
  我々は、対称1次元量子格子モデルのギャップ位相と双対性の間の相互作用を利用する。 位相図のすべての位相について、すべての対称性を破る基底状態の双対表現は、絡み合いエントロピーと必要な変分パラメータの数の両方を最小化する。 本研究は,高相関系のナッツ・ボルトシミュレーションにおける一般化非可逆対称性の有用性とそれらの形式的カテゴリー論的記述を検証した。
  論文  参考訳（メタデータ） (2024-08-12T17:51:00Z)
• DIFFormer: Scalable (Graph) Transformers Induced by Energy Constrained Diffusion [66.21290235237808]
  本稿では,データセットからのインスタンスのバッチを進化状態にエンコードするエネルギー制約拡散モデルを提案する。 任意のインスタンス対間の対拡散強度に対する閉形式最適推定を示唆する厳密な理論を提供する。 各種タスクにおいて優れた性能を有する汎用エンコーダバックボーンとして,本モデルの適用性を示す実験を行った。
  論文  参考訳（メタデータ） (2023-01-23T15:18:54Z)
• Path-integral approaches to strongly-coupled quantum many-body systems [0.0]
  この理論の中核は、場の量子論の経路積分の定式化である。 有限サイズの量子系の処理における理論的アプローチの効率性を研究することができる。
  論文  参考訳（メタデータ） (2022-10-29T19:41:03Z)
• Renormalization Group Flow as Optimal Transport [0.0]
  正確な再正規化群フローに対するポルチンスキーの方程式は、場の理論的相対エントロピーの最適輸送勾配フローと等価である。 顕著な結果として、相対エントロピーの正則化は実はRGモノトンである。
  論文  参考訳（メタデータ） (2022-02-23T19:02:01Z)
• Joint Network Topology Inference via Structured Fusion Regularization [70.30364652829164]
  結合ネットワークトポロジ推論は、異種グラフ信号から複数のグラフラプラシア行列を学習する標準的な問題を表す。 新規な構造化融合正規化に基づく一般グラフ推定器を提案する。 提案するグラフ推定器は高い計算効率と厳密な理論保証の両方を享受できることを示す。
  論文  参考訳（メタデータ） (2021-03-05T04:42:32Z)
• Maximum Multiscale Entropy and Neural Network Regularization [28.00914218615924]
  よく知られた結果は、平均的制約の下での最大エントロピー分布は、ギブス・ボルツマン分布と呼ばれる指数形式を持つことを示している。 本稿では,これらの結果のマルチスケール設定への一般化について検討する。
  論文  参考訳（メタデータ） (2020-06-25T17:56:11Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。