論文の概要: Algebraic Approach to Ridge-Regularized Mean Squared Error Minimization in Minimal ReLU Neural Network

• arxiv url: http://arxiv.org/abs/2508.17783v1
• Date: Mon, 25 Aug 2025 08:24:20 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-08-26 18:43:45.691123
• Title: Algebraic Approach to Ridge-Regularized Mean Squared Error Minimization in Minimal ReLU Neural Network
• Title（参考訳）: 最小ReLUニューラルネットワークにおけるリッジ規則化平均二乗誤差最小化への代数的アプローチ
• Authors: Ryoya Fukasaku, Yutaro Kabata, Akifumi Okuno,
• Abstract要約: RR-MSEの局所最小値を列挙する除算-列挙-マージ戦略を開発した。 計算代数的手法は、実際的な大きさのパーセプトロンに対して計算的に非常に集中的であるが、概念の証明として、提案手法をいくつかの隠れ単位を持つ最小のパーセプトロンに適用する。
• 参考スコア（独自算出の注目度）: 0.509780930114934
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: This paper investigates a perceptron, a simple neural network model, with ReLU activation and a ridge-regularized mean squared error (RR-MSE). Our approach leverages the fact that the RR-MSE for ReLU perceptron is piecewise polynomial, enabling a systematic analysis using tools from computational algebra. In particular, we develop a Divide-Enumerate-Merge strategy that exhaustively enumerates all local minima of the RR-MSE. By virtue of the algebraic formulation, our approach can identify not only the typical zero-dimensional minima (i.e., isolated points) obtained by numerical optimization, but also higher-dimensional minima (i.e., connected sets such as curves, surfaces, or hypersurfaces). Although computational algebraic methods are computationally very intensive for perceptrons of practical size, as a proof of concept, we apply the proposed approach in practice to minimal perceptrons with a few hidden units.
• Abstract（参考訳）: 本稿では、ReLUアクティベーションとリッジ正規化平均二乗誤差(RR-MSE)を備えたパーセプトロン、単純なニューラルネットワークモデルについて検討する。 提案手法は,ReLUパーセプトロンのRR-MSEが分数多項式であるという事実を活用し,計算代数学のツールを用いた系統解析を可能にする。 特に、RR-MSEの局所最小値を全列挙する除算列列マージ戦略を開発する。 代数的定式化により、我々のアプローチは、数値最適化によって得られる典型的な零次元のミニマ(すなわち孤立点)だけでなく、高次元のミニマ(すなわち曲線、曲面、超曲面のような連結集合)も特定できる。 計算代数的手法は、実際的な大きさのパーセプトロンに対して計算的に非常に集中的であるが、概念の証明として、提案手法をいくつかの隠れ単位を持つ最小のパーセプトロンに適用する。

関連論文リスト

• Deep Unfolding for MIMO Signal Detection [1.6881346757176976]
  本稿では,Wirtinger計算を用いた複素数値計算を組み込んだ深部展開型ニューラルネットワークMIMO検出器を提案する。 提案アルゴリズムは少数のトレーニング可能なパラメータしか必要とせず、簡易なトレーニングが可能である。 数値計算により,提案手法はより少ない繰り返しと少ない計算量で優れた検出性能が得られることを示した。
  論文  参考訳（メタデータ） (2025-07-24T00:48:04Z)
• Restarted contractive operators to learn at equilibrium [0.0]
  我々は、再起動戦略とADによって計算されたJFBを組み合わせるアルゴリズムを導入し、学習手順を最適なDECフレームワークに任意に近づけることができることを示す。 本稿では,重み付きノルムの重み付け,プラグイン・アンド・プレイスキームの段階化と正規化レベル,フォワード・バックワード・イテレートに埋め込まれたDRUNetデノイザの訓練に有効であることを示す。
  論文  参考訳（メタデータ） (2025-06-16T08:38:56Z)
• Alternating Minimization Schemes for Computing Rate-Distortion-Perception Functions with $f$-Divergence Perception Constraints [10.564071872770146]
  離散メモリレスソースに対するRDPF(Ralse-Distortion-Perception Function)の計算について検討した。 最適パラメトリック解を特徴付ける。 歪みと知覚制約について十分な条件を提供する。
  論文  参考訳（メタデータ） (2024-08-27T12:50:12Z)
• A Mean-Field Analysis of Neural Stochastic Gradient Descent-Ascent for Functional Minimax Optimization [90.87444114491116]
  本稿では,超パラメトリック化された2層ニューラルネットワークの無限次元関数クラス上で定義される最小最適化問題について検討する。 i) 勾配降下指数アルゴリズムの収束と, (ii) ニューラルネットワークの表現学習に対処する。 その結果、ニューラルネットワークによって誘導される特徴表現は、ワッサーシュタイン距離で測定された$O(alpha-1)$で初期表現から逸脱することが許された。
  論文  参考訳（メタデータ） (2024-04-18T16:46:08Z)
• The Dynamics of Riemannian Robbins-Monro Algorithms [101.29301565229265]
  本稿では,Robins と Monro のセミナル近似フレームワークを一般化し拡張するリーマンアルゴリズムの族を提案する。 ユークリッドのそれと比較すると、リーマンのアルゴリズムは多様体上の大域線型構造が欠如しているため、はるかに理解されていない。 ユークリッド・ロビンス=モンロスキームの既存の理論を反映し拡張するほぼ確実な収束結果の一般的なテンプレートを提供する。
  論文  参考訳（メタデータ） (2022-06-14T12:30:11Z)
• Generalized Orthogonal Procrustes Problem under Arbitrary Adversaries [1.0152838128195467]
  半定値緩和法(SDR)と一般化パワー法(GPM)という反復法を用いて最小二乗推定値を求める。 さらに,低ランク因数分解アルゴリズムを解析し,対応する最適化環境が局所最小化器を含まないことを示す。
  論文  参考訳（メタデータ） (2021-06-29T15:19:25Z)
• Solving PDEs on Unknown Manifolds with Machine Learning [8.220217498103315]
  本稿では,未知多様体上の楕円型PDEを解くためのメッシュフリー計算フレームワークと機械学習理論を提案する。 提案したNNソルバは,新しいデータポイント上の一般化とほぼ同一の誤差を持つ新しいデータポイント上でPDEを強固に一般化できることを示す。
  論文  参考訳（メタデータ） (2021-06-12T03:55:15Z)
• Analysis of Truncated Orthogonal Iteration for Sparse Eigenvector Problems [78.95866278697777]
  本研究では,多元的固有ベクトルを分散制約で同時に計算するTruncated Orthogonal Iterationの2つの変種を提案する。 次に,我々のアルゴリズムを適用して,幅広いテストデータセットに対するスパース原理成分分析問題を解く。
  論文  参考訳（メタデータ） (2021-03-24T23:11:32Z)
• Reinforcement Learning for Adaptive Mesh Refinement [63.7867809197671]
  マルコフ決定過程としてのAMRの新規な定式化を提案し,シミュレーションから直接改良政策を訓練するために深部強化学習を適用した。 これらのポリシーアーキテクチャのモデルサイズはメッシュサイズに依存しないため、任意に大きく複雑なシミュレーションにスケールします。
  論文  参考訳（メタデータ） (2021-03-01T22:55:48Z)
• Efficient semidefinite-programming-based inference for binary and multi-class MRFs [83.09715052229782]
  分割関数やMAP推定をペアワイズMRFで効率的に計算する手法を提案する。 一般のバイナリMRFから完全多クラス設定への半定緩和を拡張し、解法を用いて再び効率的に解けるようなコンパクトな半定緩和を開発する。
  論文  参考訳（メタデータ） (2020-12-04T15:36:29Z)
• Neural Control Variates [71.42768823631918]
  ニューラルネットワークの集合が、積分のよい近似を見つけるという課題に直面していることを示す。 理論的に最適な分散最小化損失関数を導出し、実際に安定したオンライントレーニングを行うための代替の複合損失を提案する。 具体的には、学習した光場近似が高次バウンスに十分な品質であることを示し、誤差補正を省略し、無視可能な可視バイアスのコストでノイズを劇的に低減できることを示した。
  論文  参考訳（メタデータ） (2020-06-02T11:17:55Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。