論文の概要: A renormalization-group inspired lattice-based framework for piecewise generalized linear models

• arxiv url: http://arxiv.org/abs/2605.05493v1
• Date: Wed, 06 May 2026 22:27:50 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-08 22:27:11.436174
• Title: A renormalization-group inspired lattice-based framework for piecewise generalized linear models
• Title（参考訳）: ピースワイズ一般化線形モデルのための正規化群インスパイアされた格子ベースフレームワーク
• Authors: Joshua C. Chang,
• Abstract要約: 再正規化群(RG)理論にインスパイアされたモデルのクラスを導入する。 これらは、機能的ANOVAや混合効果モデルに類似した付加的階層展開に基づいて構築される。 統計物理学、特にレプリカ解析の技法を用いて一般化特性を研究する。
• 参考スコア（独自算出の注目度）: 0.6599344783327052
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We formally introduce a class of models inspired by renormalization group (RG) theory, built on additive hierarchical expansions analogous to those appearing in functional ANOVA and mixed-effects models. Like ReLU convolutional neural networks, they are almost everywhere locally linear; unlike ReLU networks, their partition structure is explicit, interpretable, and easy to modify or constrain. In these models, one defines a multidimensional lattice partition of the input space and uses it to scaffold variations in regression parameters. Each dimension of the lattice corresponds to an attribute by which the statistics of the problem may vary. The parameters are themselves expressed in the form of an expansion, where each term captures variations relative to a lower (coarser) interaction scale. These models admit multiple equivalent interpretations: as piecewise GLMs, as hierarchical mixed-effects regressions, or as regression trees with structured parameter sharing. Since RG motivates the design of these models, we use techniques from statistical physics -- specifically replica analysis -- to study their generalization properties. Specifically, we analyze the behavior of the Watanabe-Akaike Information Criterion (WAIC) as a proxy for generalization loss. This analysis yields two practical results: (i) guidance on the lattice design as a function of dataset size and predictor dimensionality; and (ii) a principled scaling law for the regularization prior when adding higher-order terms to the expansion so that one can increase model complexity without an expected increase in generalization loss. We evaluate the methodology on public datasets and find performance competitive against both blackbox methods and other intrinsically interpretable approaches.
• Abstract（参考訳）: 官能的ANOVAモデルや混合効果モデルに類似した付加的階層展開に基づく再正規化群(RG)理論に着想を得たモデルのクラスを正式に導入する。 ReLU畳み込みニューラルネットワークと同様に、ほとんどどこでも局所線型であり、ReLUネットワークとは異なり、その分割構造は明示的で解釈可能で、変更や制約が容易である。 これらのモデルでは、入力空間の多次元格子分割を定義し、回帰パラメータの変動を足場として利用する。 格子の各次元は、問題の統計が変化する可能性のある属性に対応する。 パラメータ自体は拡張の形で表現され、各項はより低い(粗い)相互作用スケールに対して変動をキャプチャする。 これらのモデルは、断片的なGLM、階層的な混合効果の回帰として、または構造化されたパラメータ共有を持つ回帰木として、複数の等価な解釈を持つ。 RGはこれらのモデルの設計を動機付けているので、統計物理学、特にレプリカ解析の技術を用いて一般化特性を研究する。 具体的には、一般化損失のプロキシとして、渡辺赤池情報量規準(WAIC)の挙動を分析する。 この分析は2つの実用的な結果をもたらす。 一 データセットのサイズ及び予測次元の関数としての格子設計に関するガイダンス及び 2) 拡張に高次項を追加する際に, 一般化損失の期待値の増大を伴わずに, モデル複雑性を増大させることができるような, 正規化前の原則付きスケーリング法則。 提案手法を公開データセット上で評価し,ブラックボックス手法と本質的な解釈可能なアプローチの両方に対して性能の競争力を見いだす。

関連論文リスト

• Generalization in Representation Models via Random Matrix Theory: Application to Recurrent Networks [7.721672385781673]
  まず,固定された特徴表現(凍結中間層)と学習可能な読み出し層を用いたモデルの一般化誤差について検討する。 一般化誤差に対する閉形式式を導出するためにランダム行列理論を適用する。 次に、この解析を繰り返し表現に適用し、その性能を特徴付ける簡潔な公式を得る。
  論文  参考訳（メタデータ） (2025-11-04T09:30:31Z)
• Generalized Nonnegative Structured Kruskal Tensor Regression [22.300007523556022]
  一般化非負構造クルスカル回帰(NS-KTR)は、新しいテンソル回帰フレームワークである。 モード固有のハイブリッド正規化と非負性制約による解釈性と性能を向上させる。
  論文  参考訳（メタデータ） (2025-09-24T08:51:38Z)
• Generative Flexible Latent Structure Regression (GFLSR) model [0.5586073503694489]
  本稿では, この問題を解決するために, GFLSR(Generative Flexible Latent Structure Regression)モデル構造を提案する。 本稿では,ほとんどの線形連続潜時変数法が提案したフレームワークで表現可能であることを示す。 モデル構造では、パラメータと潜伏変数の収束を解析する。
  論文  参考訳（メタデータ） (2025-08-06T12:37:45Z)
• Scaling and renormalization in high-dimensional regression [72.59731158970894]
  リッジ回帰に関する最近の結果について統一的な視点を提示する。 我々は、物理とディープラーニングの背景を持つ読者を対象に、ランダム行列理論と自由確率の基本的なツールを使用する。 我々の結果は拡張され、初期のスケーリング法則のモデルについて統一的な視点を提供する。
  論文  参考訳（メタデータ） (2024-05-01T15:59:00Z)
• DIFFormer: Scalable (Graph) Transformers Induced by Energy Constrained Diffusion [66.21290235237808]
  本稿では,データセットからのインスタンスのバッチを進化状態にエンコードするエネルギー制約拡散モデルを提案する。 任意のインスタンス対間の対拡散強度に対する閉形式最適推定を示唆する厳密な理論を提供する。 各種タスクにおいて優れた性能を有する汎用エンコーダバックボーンとして,本モデルの適用性を示す実験を行った。
  論文  参考訳（メタデータ） (2023-01-23T15:18:54Z)
• T-LoHo: A Bayesian Regularization Model for Structured Sparsity and Smoothness on Graphs [0.0]
  グラフ構造化データでは、構造化されたスパーシリティと滑らかさが団結する傾向にある。 グラフィカルな関係を持つ高次元パラメータに先立って提案する。 構造された空間と滑らかさを同時に検出するために使用します。
  論文  参考訳（メタデータ） (2021-07-06T10:10:03Z)
• Post-mortem on a deep learning contest: a Simpson's paradox and the complementary roles of scale metrics versus shape metrics [61.49826776409194]
  我々は、ニューラルネットワーク(NN)モデルの一般化精度を予測するために、コンテストで公に利用可能にされたモデルのコーパスを分析する。 メトリクスが全体としてよく機能するが、データのサブパーティションではあまり機能しない。 本稿では,データに依存しない2つの新しい形状指標と,一連のNNのテスト精度の傾向を予測できるデータ依存指標を提案する。
  論文  参考訳（メタデータ） (2021-06-01T19:19:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。