論文の概要: Formalizing the Intrinsic Dimension of Objective Landscapes by a Generalized Notion of Co-dimension

• arxiv url: http://arxiv.org/abs/2610.39674v1
• Date: Thu, 29 Oct 2026 09:22:28 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-31 05:25:12.484437
• Title: Formalizing the Intrinsic Dimension of Objective Landscapes by a Generalized Notion of Co-dimension
• Title（参考訳）: 共同次元の一般化表記による目的景観の内在次元の定式化
• Abstract要約: 集合 $subsetmathbbRp$ の内在次元を最小次元 $d_mathrmint()$ と定義する。 学習問題に生じる集合の本質的な次元を$$で推定する手法を開発する。
• 参考スコア（独自算出の注目度）: 18.118426126932288
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In this work, we formalize the concept of intrinsic dimension of objective landscapes introduced in Li et al. (2018), which measures the structural complexity of learning problems by training along randomly generated subspaces. We define the intrinsic dimension of a set $Θ\subset\mathbb{R}^p$ as the minimal dimension $d_{\mathrm{int}}(Θ)$ such that a random plane of dimension $d_{\mathrm{int}}(Θ)$ in $\mathbb{R}^p$ intersects $Θ$ with probability one. We show that it is a generalized notion of co-dimension that depends on the global geometry of $Θ$. We study mathematical properties of the intrinsic dimension and develop techniques to estimate the intrinsic dimension of sets $Θ$ that arise in learning problems. More specifically, we derive upper and/or lower bounds where $Θ$ is the set of optimal parameters in student-teacher settings with shallow and deep ReLU networks, including finite and infinite sample cases, and with and without regularization. We discuss how our theory leads to novel types of generalization bounds, thereby showing that the intrinsic dimension is a measure of learning complexity. Our results connect techniques from seemingly different areas of machine learning research such as classification of symmetries of ReLU networks and stochastic geometry.
• Abstract（参考訳）: 本研究では,Li et al (2018)で導入された目的景観の内在次元の概念を定式化し,ランダムに生成された部分空間に沿ってトレーニングすることで学習問題の構造的複雑さを測定する。 集合 $\subset\mathbb{R}^p$ の内在次元を極小次元 $d_{\mathrm{int}}( )$ と定義し、次元 $d_{\mathrm{int}}( )$ in $\mathbb{R}^p$ のランダム平面が確率 1 と交わる。 共次元の一般化された概念であり、これは大域幾何学(英語版)の$$$に依存する。 内在次元の数学的性質を考察し,学習問題に生じる集合の内在次元を$=と見積もる手法を開発した。 より具体的には、上界と下界を導出する:$$ は、有限および無限サンプルケースを含む、浅い、深いReLUネットワークを持つ学生-教師設定における最適パラメータの集合であり、正規化されていない。 この理論が一般化境界の新たなタイプにどのように結びつくのかを論じ、本質的な次元が複雑性の学習尺度であることを示す。 この結果は,ReLUネットワークの対称性の分類や確率幾何学といった,一見異なる分野の機械学習研究のテクニックを結びつけている。

関連論文リスト

• Expressive Power of Deep Networks on Manifolds: Simultaneous Approximation [2.815765641180636]
  境界重みを持つ定数深度$mathrmReLUk-1$ネットワークは、ソボレフ空間内の任意の関数を近似することができることを示す。 また、必要なパラメータ数が対数係数に一致することを示すことで、我々の構成がほぼ最適であることを示す。
  論文  参考訳（メタデータ） (2025-09-11T11:28:20Z)
• The Sample Complexity of Online Reinforcement Learning: A Multi-model Perspective [55.15192437680943]
  連続状態と行動空間を持つ非線形力学系の一般設定におけるオンライン強化学習のサンプル複雑性について検討した。 我々のアルゴリズムは、$mathcalO(N epsilon2 + Mathrmln(m(epsilon)/epsilon2)$のポリシーを後悔する。 力学がコンパクトで実数値のパラメータ集合によってパラメータ化される特別な場合、$mathcalO(sqrt)のポリシー後悔を証明する。
  論文  参考訳（メタデータ） (2025-01-27T10:01:28Z)
• On Reductions and Representations of Learning Problems in Euclidean Spaces [15.07787640047213]
  多くの実用的な予測アルゴリズムはユークリッド空間における入力を表現し、離散的な0/1分類損失を真の自明な代理損失に置き換える。 我々は古典的トポロジカルアプローチと凸性を考慮したボルスク・ウラム理論の一般化を開発する。 また、ランダム性を利用して、より小さな次元で表現できる自然な分類タスクも提示する。
  論文  参考訳（メタデータ） (2024-11-16T12:09:37Z)
• Effective Minkowski Dimension of Deep Nonparametric Regression: Function Approximation and Statistical Theories [70.90012822736988]
  ディープ非パラメトリック回帰に関する既存の理論は、入力データが低次元多様体上にある場合、ディープニューラルネットワークは本質的なデータ構造に適応できることを示した。 本稿では,$mathcalS$で表される$mathbbRd$のサブセットに入力データが集中するという緩和された仮定を導入する。
  論文  参考訳（メタデータ） (2023-06-26T17:13:31Z)
• Deep Learning Symmetries and Their Lie Groups, Algebras, and Subalgebras from First Principles [55.41644538483948]
  ラベル付きデータセットに存在する連続した対称性群の検出と同定のためのディープラーニングアルゴリズムを設計する。 完全に接続されたニューラルネットワークを用いて、変換対称性と対応するジェネレータをモデル化する。 また,Lie群とその性質の数学的研究に機械学習アプローチを使うための扉を開く。
  論文  参考訳（メタデータ） (2023-01-13T16:25:25Z)
• A deep network construction that adapts to intrinsic dimensionality beyond the domain [79.23797234241471]
  本稿では,ReLUを活性化したディープネットワークを用いて,2層合成の近似を$f(x) = g(phi(x))$で検討する。 例えば、低次元埋め込み部分多様体への射影と、低次元集合の集合への距離である。
  論文  参考訳（メタデータ） (2020-08-06T09:50:29Z)
• Average-case Complexity of Teaching Convex Polytopes via Halfspace Queries [55.28642461328172]
  平均的なケースの教えの複雑さは$Theta(d)$であり、最悪のケースの教えの複雑さは$Theta(n)$とは対照的である。 我々の洞察は、$phi$-separable dichotomiesの平均ケースの複雑さに厳密な拘束力を確立することを可能にする。
  論文  参考訳（メタデータ） (2020-06-25T19:59:24Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。