論文の概要: Simplified derivations for high-dimensional convex learning problems
- arxiv url: http://arxiv.org/abs/2412.01110v1
- Date: Mon, 02 Dec 2024 04:32:14 GMT
- ステータス: 翻訳完了
- システム内更新日: 2024-12-04 15:46:44.873488
- Title: Simplified derivations for high-dimensional convex learning problems
- Title(参考訳): 高次元凸学習問題に対する簡易導出法
- Authors: David G. Clark, Haim Sompolinsky,
- Abstract要約: 本研究では,高次元学習問題を解析するための空洞的手法を提案する。
これらの問題は共通の構造を共有し、統一的な分析を可能にする。
パーセプトロン・キャパシティ問題に対しては、Na" 法による正しいキャパシティの導出を可能にする対称性を同定する。
- 参考スコア(独自算出の注目度): 5.294604210205507
- License:
- Abstract: Statistical physics provides tools for analyzing high-dimensional problems in machine learning and theoretical neuroscience. These calculations, particularly those using the replica method, often involve lengthy derivations that can obscure physical interpretation. We give concise, non-replica derivations of several key results and highlight their underlying similarities. Specifically, we introduce a cavity approach to analyzing high-dimensional learning problems and apply it to three cases: perceptron classification of points, perceptron classification of manifolds, and kernel ridge regression. These problems share a common structure -- a bipartite system of interacting feature and datum variables -- enabling a unified analysis. For perceptron-capacity problems, we identify a symmetry that allows derivation of correct capacities through a na\"ive method. These results match those obtained through the replica method.
- Abstract(参考訳): 統計物理学は、機械学習と理論神経科学の高次元問題を分析するためのツールを提供する。
これらの計算、特に複製法を用いる計算は、しばしば物理的解釈を曖昧にする長い導出を含む。
いくつかの重要な結果の簡潔で非レプリカな導出を行い、その基礎となる類似点を強調する。
具体的には,高次元学習問題を解析するための空洞的アプローチを導入し,点のパーセプトロン分類,多様体のパーセプトロン分類,カーネルリッジ回帰の3例に適用する。
これらの問題は共通の構造 – 相互作用する特徴変数とダタム変数の2部構造 – を共有して,統一的な分析を可能にする。
パーセプトロン・キャパシティ問題に対して、我々はna\ "ive" 法による正しいキャパシティの導出を可能にする対称性を同定する。
これらの結果は複製法で得られたものと一致した。
関連論文リスト
- Physics-informed machine learning as a kernel method [7.755962782612672]
経験的リスクを偏微分方程式で正則化する一般回帰問題を考える。
カーネル理論の利点を生かして、正規化リスクの最小化に対する収束率を導出する。
物理誤差に応じて高速な速度が達成可能であることを示す。
論文 参考訳(メタデータ) (2024-02-12T09:38:42Z) - Physics-informed Neural Network: The Effect of Reparameterization in
Solving Differential Equations [0.0]
複雑な物理学では、解析的に解くのが難しい微分方程式がほとんどである。
近年, 物理インフォームドニューラルネットワークは, 様々な微分方程式の解法系において, 非常によく機能することが示されている。
論文 参考訳(メタデータ) (2023-01-28T07:53:26Z) - Identifiability and Asymptotics in Learning Homogeneous Linear ODE Systems from Discrete Observations [114.17826109037048]
通常の微分方程式(ODE)は、機械学習において最近多くの注目を集めている。
理論的な側面、例えば、統計的推定の識別可能性と特性は、いまだに不明である。
本稿では,1つの軌道からサンプリングされた等間隔の誤差のない観測結果から,同次線形ODE系の同定可能性について十分な条件を導出する。
論文 参考訳(メタデータ) (2022-10-12T06:46:38Z) - On the Benefits of Large Learning Rates for Kernel Methods [110.03020563291788]
本稿では,カーネル手法のコンテキストにおいて,現象を正確に特徴付けることができることを示す。
分離可能なヒルベルト空間における2次対象の最小化を考慮し、早期停止の場合、学習速度の選択が得られた解のスペクトル分解に影響を及ぼすことを示す。
論文 参考訳(メタデータ) (2022-02-28T13:01:04Z) - Multi-scale Feature Learning Dynamics: Insights for Double Descent [71.91871020059857]
一般化誤差の「二重降下」現象について検討する。
二重降下は、異なるスケールで学習される異なる特徴に起因する可能性がある。
論文 参考訳(メタデータ) (2021-12-06T18:17:08Z) - Equivalence between algorithmic instability and transition to replica
symmetry breaking in perceptron learning systems [16.065867388984078]
バイナリパーセプトロンは非アルゴリズム最適化のための教師あり学習のモデルである。
レプリカサドル点を破る不安定性は自由エネルギー関数と同一であることを示す。
論文 参考訳(メタデータ) (2021-11-26T03:23:18Z) - Discovering Latent Causal Variables via Mechanism Sparsity: A New
Principle for Nonlinear ICA [81.4991350761909]
ICA(Independent component analysis)は、この目的を定式化し、実用的な応用のための推定手順を提供する手法の集合を指す。
潜伏変数は、潜伏機構をスパースに正則化すれば、置換まで復元可能であることを示す。
論文 参考訳(メタデータ) (2021-07-21T14:22:14Z) - General stochastic separation theorems with optimal bounds [68.8204255655161]
分離性の現象が明らかになり、機械学習で人工知能(AI)システムのエラーを修正し、AI不安定性を分析するために使用された。
エラーやエラーのクラスタは、残りのデータから分離することができる。
AIシステムを修正する能力は、それに対する攻撃の可能性も開き、高次元性は、同じ分離性によって引き起こされる脆弱性を誘発する。
論文 参考訳(メタデータ) (2020-10-11T13:12:41Z) - Learning Theory for Inferring Interaction Kernels in Second-Order
Interacting Agent Systems [17.623937769189364]
推定器の強い一貫性と最適非パラメトリック min-max 収束率を確立する完全学習理論を開発する。
推定器を構築するための数値アルゴリズムは並列化可能であり、高次元問題に対してよく機能し、複雑な力学系上で実証される。
論文 参考訳(メタデータ) (2020-10-08T02:07:53Z) - Adding machine learning within Hamiltonians: Renormalization group
transformations, symmetry breaking and restoration [0.0]
我々は、位相分類のために設計されたニューラルネットワークの予測関数を、系のハミルトニアン内の外部磁場に結合した共役変数として含む。
結果は, 対称性を破り, 復元することで, 秩序相転移を誘導できることを示す。
機械学習と物理をブリッジする上で,この手法がいかに重要なステップを提供するかを論じる。
論文 参考訳(メタデータ) (2020-09-30T18:44:18Z) - Can Temporal-Difference and Q-Learning Learn Representation? A Mean-Field Theory [110.99247009159726]
時間差とQ-ラーニングは、ニューラルネットワークのような表現力のある非線形関数近似器によって強化される深層強化学習において重要な役割を担っている。
特に時間差学習は、関数近似器が特徴表現において線形であるときに収束する。
論文 参考訳(メタデータ) (2020-06-08T17:25:22Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。