論文の概要: A Rigorous, Tractable Measure of Model Complexity

• arxiv url: http://arxiv.org/abs/2605.21167v1
• Date: Wed, 20 May 2026 13:37:38 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-21 19:19:56.697406
• Title: A Rigorous, Tractable Measure of Model Complexity
• Title（参考訳）: 厳密でトラクタブルなモデル複雑度の測定
• Authors: Oskar Allerbo, Thomas B. Schön,
• Abstract要約: 本稿では,入力間のモデル間の類似性に基づいて,モデル複雑性の数学的に厳密かつパラメトリックな測度を示す。 複雑性の尺度は、カーネル長スケール、隣人数、木数などのモデル固有の複雑性尺度を一般化することを証明する。 我々はまた、ランダムな特徴、ランダムな森林、ニューラルネットワーク、勾配の上昇に対する二重降下現象に関する新たな洞察を得るために、我々の測定値を利用する。
• 参考スコア（独自算出の注目度）: 12.424687747519037
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: An accurate assessment of a model's complexity is crucial for topics such as interpretation, generalization, and model selection. However, most existing complexity measures either rely on heuristic assumptions or are computationally prohibitive. In this paper, we present a mathematically rigorous yet easy-to-compute measure of model complexity that is based on the similarities between the model gradients across inputs. It is thus well-defined for any parametric model, but also for kernel-based non-parametric models. We prove that our measure of complexity generalizes model-specific complexity measures such as polynomial degree (for polynomial regression), kernel length scale (for Matérn kernels), number of neighbors (for k-nearest neighbors), number of splits (for decision trees), and number of trees (for random forests). We also use our measure to obtain new insights into the double descent phenomenon for random Fourier features, random forests, neural networks, and gradient boosting.
• Abstract（参考訳）: モデルの複雑さの正確な評価は、解釈、一般化、モデル選択といったトピックに不可欠である。 しかし、既存の複雑性尺度のほとんどはヒューリスティックな仮定に依存しているか、あるいは計算的に禁じられている。 本稿では,入力間のモデル勾配の類似性に基づくモデル複雑性の数学的に厳密で容易に計算できる尺度を提案する。 したがって、これは任意のパラメトリックモデルだけでなく、カーネルベースの非パラメトリックモデルにもよく定義されている。 複雑性の尺度は多項式次数(多項式回帰)、カーネル長スケール(マテラン核)、隣人数(k-アネレスト近傍)、分割数(決定木)、木数(ランダム森林)といったモデル固有の複雑性尺度を一般化することを証明する。 我々はまた、ランダムなフーリエ特徴、ランダムな森林、ニューラルネットワーク、勾配上昇に対する二重降下現象に関する新たな知見を得るために、我々の測定値を利用する。

関連論文リスト

• Algorithmic Simplification of Neural Networks with Mosaic-of-Motifs [10.533982886956002]
  プルーニング、量子化、知識蒸留といった手法は、モデルパラメータの数を大幅に削減するために使われてきた。 この振る舞いを説明するために,アルゴリズムの複雑さの観点から考察する。
  論文  参考訳（メタデータ） (2026-02-16T16:30:38Z)
• Estimating Ising Models in Total Variation Distance [23.343281561400033]
  モデルから独立して$l$の標本を与えられた場合、Isingモデルを総変分(TV)距離で$n$変数で推定する問題を考察する。 我々の主な貢献は、イジングモデルの2つの一般的なクラスに対する最大擬似等式エストリメータ(MPLE)の統一的解析である。 この結果から, 最適, 至近距離のアルゴリズムと, 様々な条件下での最適, 至近距離のサンプルの複雑性の保証が得られる。
  論文  参考訳（メタデータ） (2025-11-26T03:15:41Z)
• Simplicial Gaussian Models: Representation and Inference [13.687470962704744]
  本稿では, 単純ガウスモデル (SGM) を提案する。 我々のモデルは離散ホッジ理論に基づいており、独立なランダム成分を通してすべての位相レベルで不確かさを取り入れている。 応用によって動機付けられ、ノードレベルと三角形レベルの変数を潜在変数として扱いながら、辺辺レベルの分布に焦点をあてる。
  論文  参考訳（メタデータ） (2025-10-14T20:51:56Z)
• The Power of Random Features and the Limits of Distribution-Free Gradient Descent [14.742677437485273]
  パラメトリックモデル(例えばニューラルネットワーク)の勾配に基づく最適化とランダムな特徴の線形結合の最適化の関係について検討する。 本研究の主目的は,データ分布を仮定することなく,最小バッチ勾配勾配(bSGD)を用いてパラメトリックモデルを学習できる場合,高い確率で対象関数を近似できることである。
  論文  参考訳（メタデータ） (2025-05-15T15:39:28Z)
• Computational-Statistical Gaps in Gaussian Single-Index Models [77.1473134227844]
  単次元モデル(Single-Index Models)は、植木構造における高次元回帰問題である。 我々は,統計的クエリ (SQ) と低遅延多項式 (LDP) フレームワークの両方において,計算効率のよいアルゴリズムが必ずしも$Omega(dkstar/2)$サンプルを必要とすることを示した。
  論文  参考訳（メタデータ） (2024-03-08T18:50:19Z)
• Sample Complexity of Kernel-Based Q-Learning [11.32718794195643]
  任意に大規模に割引されたMDPにおいて,$epsilon$-optimal Policyを求める非パラメトリックQ-ラーニングアルゴリズムを提案する。 我々の知る限りでは、このような一般モデルの下では、有限サンプルの複雑さを示す最初の結果である。
  論文  参考訳（メタデータ） (2023-02-01T19:46:25Z)
• Goal-directed Generation of Discrete Structures with Conditional Generative Models [85.51463588099556]
  本稿では,強化学習目標を直接最適化し,期待される報酬を最大化するための新しいアプローチを提案する。 提案手法は、ユーザ定義プロパティを持つ分子の生成と、所定の目標値を評価する短いピソン表現の同定という2つのタスクで検証する。
  論文  参考訳（メタデータ） (2020-10-05T20:03:13Z)
• Multipole Graph Neural Operator for Parametric Partial Differential Equations [57.90284928158383]
  物理系をシミュレーションするためのディープラーニングベースの手法を使用する際の大きな課題の1つは、物理ベースのデータの定式化である。 線形複雑度のみを用いて、あらゆる範囲の相互作用をキャプチャする、新しいマルチレベルグラフニューラルネットワークフレームワークを提案する。 実験により, 離散化不変解演算子をPDEに学習し, 線形時間で評価できることを確認した。
  論文  参考訳（メタデータ） (2020-06-16T21:56:22Z)
• Measuring Model Complexity of Neural Networks with Curve Activation Functions [100.98319505253797]
  本稿では,線形近似ニューラルネットワーク(LANN)を提案する。 ニューラルネットワークのトレーニングプロセスを実験的に検討し、オーバーフィッティングを検出する。 我々は、$L1$と$L2$正規化がモデルの複雑さの増加を抑制することを発見した。
  論文  参考訳（メタデータ） (2020-06-16T07:38:06Z)
• Learning Gaussian Graphical Models via Multiplicative Weights [54.252053139374205]
  乗算重み更新法に基づいて,Klivans と Meka のアルゴリズムを適用した。 アルゴリズムは、文献の他のものと質的に類似したサンプル複雑性境界を楽しみます。 ランタイムが低い$O(mp2)$で、$m$サンプルと$p$ノードの場合には、簡単にオンライン形式で実装できる。
  論文  参考訳（メタデータ） (2020-02-20T10:50:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。