論文の概要: High-order Regularization for Machine Learning and Learning-based Control
- arxiv url: http://arxiv.org/abs/2505.08129v1
- Date: Tue, 13 May 2025 00:00:23 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-05-14 20:57:54.370721
- Title: High-order Regularization for Machine Learning and Learning-based Control
- Title（参考訳）: 機械学習と学習ベース制御のための高次規則化
- Authors: Xinghua Liu, Ming Cao,
- Abstract要約: 本稿では,機械学習のための新しい正規化手法を提案する。
提案手法は近似アルゴリズムの証明可能な収束を保証する。
ニューラルネットワークの一般化性は、適切な正規化行列で最大化できることを示す。
- 参考スコア（独自算出の注目度）: 4.5375744653674275
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The paper proposes a novel regularization procedure for machine learning. The proposed high-order regularization (HR) provides new insight into regularization, which is widely used to train a neural network that can be utilized to approximate the action-value function in general reinforcement learning problems. The proposed HR method ensures the provable convergence of the approximation algorithm, which makes the much-needed connection between regularization and explainable learning using neural networks. The proposed HR method theoretically demonstrates that regularization can be regarded as an approximation in terms of inverse mapping with explicitly calculable approximation error, and the $L_2$ regularization is a lower-order case of the proposed method. We provide lower and upper bounds for the error of the proposed HR solution, which helps build a reliable model. We also find that regularization with the proposed HR can be regarded as a contraction. We prove that the generalizability of neural networks can be maximized with a proper regularization matrix, and the proposed HR is applicable for neural networks with any mapping matrix. With the theoretical explanation of the extreme learning machine for neural network training and the proposed high-order regularization, one can better interpret the output of the neural network, thus leading to explainable learning. We present a case study based on regularized extreme learning neural networks to demonstrate the application of the proposed HR and give the corresponding incremental HR solution. We verify the performance of the proposed HR method by solving a classic control problem in reinforcement learning. The result demonstrates the superior performance of the method with significant enhancement in the generalizability of the neural network.
- Abstract（参考訳）: 本稿では,機械学習のための新しい正規化手法を提案する。
提案した高次正規化(HR)は、一般的な強化学習問題におけるアクション値関数の近似に使用できるニューラルネットワークのトレーニングに広く使用される正規化に関する新たな洞察を提供する。
提案手法は近似アルゴリズムの証明可能な収束を保証し,ニューラルネットワークを用いて正規化と説明可能な学習を大いに関連付ける。
提案手法は, 計算可能な近似誤差を持つ逆写像を用いて正則化を近似とみなすことができ, 提案手法の低次ケースである$L_2$正則化を理論的に証明する。
提案したHR解の誤差に対して下限と上限を提供し、信頼性のあるモデルの構築に役立てる。
また,提案したHRの正規化を縮約と見なすこともできる。
ニューラルネットワークの一般化性は、適切な正規化行列で最大化できることを証明し、提案したHRは、任意のマッピング行列を持つニューラルネットワークに適用可能であることを示す。
ニューラルネットワークトレーニングのための極端な学習マシンの理論的説明と、提案された高次正規化により、ニューラルネットワークの出力をよりよく解釈し、説明可能な学習につながる。
本稿では、正規化された極端学習ニューラルネットワークに基づくケーススタディを提案し、提案したHRの応用を実証し、対応するインクリメンタルHRソリューションを提供する。
強化学習における古典的制御問題を解くことにより,提案手法の性能を検証する。
この結果は,ニューラルネットワークの一般化可能性を大幅に向上した手法の優れた性能を示すものである。
関連論文リスト
- Improving Generalization of Deep Neural Networks by Optimum Shifting [33.092571599896814]
本稿では,ニューラルネットワークのパラメータを最小値からフラット値に変化させる,近位シフトと呼ばれる新しい手法を提案する。
本手法は,ニューラルネットワークの入力と出力が固定された場合,ネットワーク内の行列乗算を,未決定線形方程式系として扱うことができることを示す。
論文 参考訳（メタデータ） (2024-05-23T02:31:55Z) - Function-Space Regularization in Neural Networks: A Probabilistic
Perspective [51.133793272222874]
所望の予測関数に関する情報をニューラルネットワークトレーニングに明示的にエンコードできる、モチベーションの高い正規化手法を導出できることが示される。
本手法の有効性を実証的に評価し,提案手法がほぼ完全なセマンティックシフト検出と高度に校正された予測不確実性推定に繋がることを示す。
論文 参考訳（メタデータ） (2023-12-28T17:50:56Z) - Stochastic Unrolled Federated Learning [85.6993263983062]
本稿では,UnRolled Federated Learning (SURF)を導入する。
提案手法は,この拡張における2つの課題,すなわち,非学習者へのデータセット全体の供給の必要性と,フェデレート学習の分散的性質に対処する。
論文 参考訳（メタデータ） (2023-05-24T17:26:22Z) - Neural networks trained with SGD learn distributions of increasing
complexity [78.30235086565388]
勾配降下法を用いてトレーニングされたニューラルネットワークは、まず低次入力統計を用いて入力を分類する。
その後、トレーニング中にのみ高次の統計を利用する。
本稿では,DSBと他の単純度バイアスとの関係について論じ,学習における普遍性の原理にその意味を考察する。
論文 参考訳（メタデータ） (2022-11-21T15:27:22Z) - Imbedding Deep Neural Networks [0.0]
ニューラルODEのような連続深度ニューラルネットワークは、非線形ベクトル値の最適制御問題の観点から、残留ニューラルネットワークの理解を再燃させた。
本稿では,ネットワークの深さを基本変数とする新しい手法を提案する。
論文 参考訳（メタデータ） (2022-01-31T22:00:41Z) - DL-Reg: A Deep Learning Regularization Technique using Linear Regression [4.1359299555083595]
本稿では,DL-Regと呼ばれる新しいディープラーニング正規化手法を提案する。
ネットワークをできるだけ線形に振る舞うように明示的に強制することで、ディープネットワークの非線形性をある程度まで慎重に減少させる。
DL-Regの性能は、いくつかのベンチマークデータセット上で最先端のディープネットワークモデルをトレーニングすることで評価される。
論文 参考訳（メタデータ） (2020-10-31T21:53:24Z) - CASTLE: Regularization via Auxiliary Causal Graph Discovery [89.74800176981842]
因果構造学習(CASTLE)の正規化を導入し,変数間の因果関係を共同学習することでニューラルネットワークの正規化を提案する。
CASTLEは因果的隣り合いを持つ因果的DAGの特徴のみを効率的に再構成する一方、再構成ベース正規化器は全ての入力特徴を過度に再構成する。
論文 参考訳（メタデータ） (2020-09-28T09:49:38Z) - Input Hessian Regularization of Neural Networks [31.941188983286207]
本稿では,Hessian演算子-ノルム正規化を用いたディープニューラルネットワークの学習アルゴリズムを提案する。
我々は、新しい正規化器が実際に実現可能であること、さらに入力勾配正規化よりもニューラルネットワークの堅牢性を高めることを示している。
論文 参考訳（メタデータ） (2020-09-14T16:58:16Z) - Revisiting Explicit Regularization in Neural Networks for
Well-Calibrated Predictive Uncertainty [6.09170287691728]
本研究では, 予測の不確かさを明確化するために, 明示的な正則化の重要性を再考する。
本稿では,ログ類似度が低いキャリブレーション性能の尺度を提案する。
次に、未確認サンプルのログ類似性を改善するための明示的な正規化手法を探索し、よく校正された予測の不確実性を提供する。
論文 参考訳（メタデータ） (2020-06-11T13:14:01Z) - Communication-Efficient Distributed Stochastic AUC Maximization with
Deep Neural Networks [50.42141893913188]
本稿では,ニューラルネットワークを用いた大規模AUCのための分散変数について検討する。
我々のモデルは通信ラウンドをはるかに少なくし、理論上はまだ多くの通信ラウンドを必要としています。
いくつかのデータセットに対する実験は、我々の理論の有効性を示し、我々の理論を裏付けるものである。
論文 参考訳（メタデータ） (2020-05-05T18:08:23Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。