論文の概要: Simplified derivations for high-dimensional convex learning problems

• arxiv url: http://arxiv.org/abs/2412.01110v3
• Date: Mon, 23 Dec 2024 17:52:40 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-24 22:39:31.624749
• Title: Simplified derivations for high-dimensional convex learning problems
• Title（参考訳）: 高次元凸学習問題に対する簡易導出法
• Authors: David G. Clark, Haim Sompolinsky,
• Abstract要約: 本研究では,高次元学習問題を解析するための空洞的手法を提案する。 これらの問題は共通の構造を共有し、統一的な分析を可能にする。 パーセプトロン・キャパシティ問題に対しては、Na" 法による正しいキャパシティの導出を可能にする対称性を同定する。
• 参考スコア（独自算出の注目度）: 5.294604210205507
• License:
• Abstract: Statistical physics provides tools for analyzing high-dimensional problems in machine learning and theoretical neuroscience. These calculations, particularly those using the replica method, often involve lengthy derivations that can obscure physical interpretation. We give concise, non-replica derivations of several key results and highlight their underlying similarities. Specifically, we introduce a cavity approach to analyzing high-dimensional learning problems and apply it to three cases: perceptron classification of points, perceptron classification of manifolds, and kernel ridge regression. These problems share a common structure -- a bipartite system of interacting feature and datum variables -- enabling a unified analysis. For perceptron-capacity problems, we identify a symmetry that allows derivation of correct capacities through a na\"ive method. These results match those obtained through the replica method.
• Abstract（参考訳）: 統計物理学は、機械学習と理論神経科学の高次元問題を分析するためのツールを提供する。 これらの計算、特に複製法を用いる計算は、しばしば物理的解釈を曖昧にする長い導出を含む。 いくつかの重要な結果の簡潔で非レプリカな導出を行い、その基礎となる類似点を強調する。 具体的には,高次元学習問題を解析するための空洞的アプローチを導入し,点のパーセプトロン分類,多様体のパーセプトロン分類,カーネルリッジ回帰の3例に適用する。 これらの問題は共通の構造 – 相互作用する特徴変数とダタム変数の2部構造 – を共有して,統一的な分析を可能にする。 パーセプトロン・キャパシティ問題に対して、我々はna\ "ive" 法による正しいキャパシティの導出を可能にする対称性を同定する。 これらの結果は複製法で得られたものと一致した。

関連論文リスト

• A Critical Assessment of Interpretable and Explainable Machine Learning for Intrusion Detection [0.0]
  本稿では,過度に複雑で不透明なMLモデル,不均衡なデータと相関した特徴,異なる説明法における不整合な影響特徴,そして説明の不可能な有用性について検討する。 具体的には、Deep Neural Networksのような複雑な不透明モデルを避け、代わりにDecision Treesのような解釈可能なMLモデルを使用することを推奨する。 機能ベースのモデル説明は、多くの場合、異なる設定で矛盾している。
  論文  参考訳（メタデータ） (2024-07-04T15:35:42Z)
• Physics-informed machine learning as a kernel method [7.755962782612672]
  経験的リスクを偏微分方程式で正則化する一般回帰問題を考える。 カーネル理論の利点を生かして、正規化リスクの最小化に対する収束率を導出する。 物理誤差に応じて高速な速度が達成可能であることを示す。
  論文  参考訳（メタデータ） (2024-02-12T09:38:42Z)
• On the Dynamics Under the Unhinged Loss and Beyond [104.49565602940699]
  我々は、閉形式力学を解析するための数学的機会を提供する、簡潔な損失関数であるアンヒンジド・ロスを導入する。 アンヒンジされた損失は、時間変化学習率や特徴正規化など、より実践的なテクニックを検討することができる。
  論文  参考訳（メタデータ） (2023-12-13T02:11:07Z)
• Physics-informed Neural Network: The Effect of Reparameterization in Solving Differential Equations [0.0]
  複雑な物理学では、解析的に解くのが難しい微分方程式がほとんどである。 近年, 物理インフォームドニューラルネットワークは, 様々な微分方程式の解法系において, 非常によく機能することが示されている。
  論文  参考訳（メタデータ） (2023-01-28T07:53:26Z)
• Identifiability and Asymptotics in Learning Homogeneous Linear ODE Systems from Discrete Observations [114.17826109037048]
  通常の微分方程式(ODE)は、機械学習において最近多くの注目を集めている。 理論的な側面、例えば、統計的推定の識別可能性と特性は、いまだに不明である。 本稿では,1つの軌道からサンプリングされた等間隔の誤差のない観測結果から,同次線形ODE系の同定可能性について十分な条件を導出する。
  論文  参考訳（メタデータ） (2022-10-12T06:46:38Z)
• On the Benefits of Large Learning Rates for Kernel Methods [110.03020563291788]
  本稿では,カーネル手法のコンテキストにおいて,現象を正確に特徴付けることができることを示す。 分離可能なヒルベルト空間における2次対象の最小化を考慮し、早期停止の場合、学習速度の選択が得られた解のスペクトル分解に影響を及ぼすことを示す。
  論文  参考訳（メタデータ） (2022-02-28T13:01:04Z)
• Multi-scale Feature Learning Dynamics: Insights for Double Descent [71.91871020059857]
  一般化誤差の「二重降下」現象について検討する。 二重降下は、異なるスケールで学習される異なる特徴に起因する可能性がある。
  論文  参考訳（メタデータ） (2021-12-06T18:17:08Z)
• A deep learning driven pseudospectral PCE based FFT homogenization algorithm for complex microstructures [68.8204255655161]
  提案手法は,従来の手法よりも高速に評価できる一方で,興味の中心モーメントを予測できることを示す。 提案手法は,従来の手法よりも高速に評価できると同時に,興味の中心モーメントを予測できることを示す。
  論文  参考訳（メタデータ） (2021-10-26T07:02:14Z)
• Discovering Latent Causal Variables via Mechanism Sparsity: A New Principle for Nonlinear ICA [81.4991350761909]
  ICA(Independent component analysis)は、この目的を定式化し、実用的な応用のための推定手順を提供する手法の集合を指す。 潜伏変数は、潜伏機構をスパースに正則化すれば、置換まで復元可能であることを示す。
  論文  参考訳（メタデータ） (2021-07-21T14:22:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。