論文の概要: Loss-Complexity Landscape and Model Structure Functions

• arxiv url: http://arxiv.org/abs/2507.13543v1
• Date: Thu, 17 Jul 2025 21:31:45 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-07-21 20:43:26.138452
• Title: Loss-Complexity Landscape and Model Structure Functions
• Title（参考訳）: 損失複雑景観とモデル構造関数
• Authors: Alexander Kolpakov,
• Abstract要約: 我々はコルモゴロフ構造関数 $h_x(alpha)$ を双対化するためのフレームワークを開発する。 情報理論構造と統計力学の数学的類似性を確立する。 構造関数と自由エネルギーの間のルジャンドル・フェンシェル双対性を明確に証明する。
• 参考スコア（独自算出の注目度）: 56.01537787608726
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We develop a framework for dualizing the Kolmogorov structure function $h_x(\alpha)$, which then allows using computable complexity proxies. We establish a mathematical analogy between information-theoretic constructs and statistical mechanics, introducing a suitable partition function and free energy functional. We explicitly prove the Legendre-Fenchel duality between the structure function and free energy, showing detailed balance of the Metropolis kernel, and interpret acceptance probabilities as information-theoretic scattering amplitudes. A susceptibility-like variance of model complexity is shown to peak precisely at loss-complexity trade-offs interpreted as phase transitions. Practical experiments with linear and tree-based regression models verify these theoretical predictions, explicitly demonstrating the interplay between the model complexity, generalization, and overfitting threshold.
• Abstract（参考訳）: 我々はコルモゴロフ構造関数 $h_x(\alpha)$ を双対化するためのフレームワークを開発し、計算可能な複雑性プロキシの使用を可能にする。 情報理論構造と統計力学の数学的類似性を確立し、適切な分割関数と自由エネルギー関数を導入する。 我々は、構造関数と自由エネルギーのレジェンド-フェンシェル双対性を明示的に証明し、メトロポリス核の詳細なバランスを示し、受容確率を情報理論散乱振幅として解釈する。 モデル複雑性の感受性のような分散は、位相遷移として解釈される損失複雑度トレードオフにおいて、正確にピークとなる。 線形回帰モデルと木に基づく回帰モデルによる実践的な実験は、これらの理論予測を検証し、モデルの複雑さ、一般化、過剰適合しきい値の間の相互作用を明確に示す。

関連論文リスト

• Overcoming Dimensional Factorization Limits in Discrete Diffusion Models through Quantum Joint Distribution Learning [79.65014491424151]
  量子離散化拡散確率モデル(QD3PM)を提案する。 これは、指数関数的に大きなヒルベルト空間における拡散と denoising を通じて合同確率学習を可能にする。 本稿では,共同分布学習における量子的優位性を生かして,生成モデルの新たな理論的パラダイムを確立する。
  論文  参考訳（メタデータ） (2025-05-08T11:48:21Z)
• Generalized Derangetropy Functionals for Modeling Cyclical Information Flow [11.095723123836965]
  本稿では,デレンジトロピー関数と呼ばれるエントロピー変調変換の一般化されたファミリを介し,循環型およびフィードバック型情報フローをモデル化する枠組みを提案する。 シャノンエントロピーのようなスカラーや静的エントロピーの測度とは異なり、これらの関数は確率密度に直接作用し、分布の支持を越えて情報構造の地形的表現を提供する。
  論文  参考訳（メタデータ） (2025-04-20T13:09:21Z)
• Structure Learning and Parameter Estimation for Graphical Models via Penalized Maximum Likelihood Methods [0.0]
  論文では、静的なベイジアンネットワーク(BN)と、その名前が示すように時間成分を持つ連続時間ベイジアンネットワークという2つの異なるタイプのPGMについて考察する。 私たちは、PGMを学ぶための最初のステップである、真の構造を回復することに興味を持っています。
  論文  参考訳（メタデータ） (2023-01-30T20:26:13Z)
• DIFFormer: Scalable (Graph) Transformers Induced by Energy Constrained Diffusion [66.21290235237808]
  本稿では,データセットからのインスタンスのバッチを進化状態にエンコードするエネルギー制約拡散モデルを提案する。 任意のインスタンス対間の対拡散強度に対する閉形式最適推定を示唆する厳密な理論を提供する。 各種タスクにおいて優れた性能を有する汎用エンコーダバックボーンとして,本モデルの適用性を示す実験を行った。
  論文  参考訳（メタデータ） (2023-01-23T15:18:54Z)
• Factorized Fusion Shrinkage for Dynamic Relational Data [16.531262817315696]
  本稿では,すべての分解因子がグループ単位の核融合構造に対して動的に縮小される因子化核融合収縮モデルについて考察する。 提案手法は、推定された動的潜在因子の比較とクラスタリングにおいて、多くの好ましい特性を享受する。 本稿では、最適後部推論と計算スケーラビリティのバランスをとる構造的平均場変動推論フレームワークを提案する。
  論文  参考訳（メタデータ） (2022-09-30T21:03:40Z)
• Amortized Inference for Causal Structure Learning [72.84105256353801]
  因果構造を学習することは、通常、スコアまたは独立テストを使用して構造を評価することを伴う探索問題を引き起こす。 本研究では,観測・干渉データから因果構造を予測するため,変分推論モデルを訓練する。 我々のモデルは、実質的な分布シフトの下で頑健な一般化能力を示す。
  論文  参考訳（メタデータ） (2022-05-25T17:37:08Z)
• Estimation of Bivariate Structural Causal Models by Variational Gaussian Process Regression Under Likelihoods Parametrised by Normalising Flows [74.85071867225533]
  因果機構は構造因果モデルによって記述できる。 最先端の人工知能の大きな欠点の1つは、説明責任の欠如である。
  論文  参考訳（メタデータ） (2021-09-06T14:52:58Z)
• Stochastic spectral embedding [0.0]
  確率スペクトル埋め込み(SSE)に基づく新しい逐次適応サロゲートモデリング法を提案する。 本手法は,複雑性と入力次元の異なるモデルの集合上で,最先端のスパースカオス展開に対して,どのように好意的に比較されるかを示す。
  論文  参考訳（メタデータ） (2020-04-09T11:00:07Z)
• A Critical View of the Structural Causal Model [89.43277111586258]
  相互作用を全く考慮せずに原因と効果を識別できることが示される。 本稿では,因果モデルの絡み合った構造を模倣する新たな逆行訓練法を提案する。 我々の多次元手法は, 合成および実世界の両方のデータセットにおいて, 文献的手法よりも優れている。
  論文  参考訳（メタデータ） (2020-02-23T22:52:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。