論文の概要: Elliptic Loss Regularization

• arxiv url: http://arxiv.org/abs/2503.02138v1
• Date: Tue, 04 Mar 2025 00:08:08 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-05 19:26:44.568186
• Title: Elliptic Loss Regularization
• Title（参考訳）: 楕円損失正規化
• Authors: Ali Hasan, Haoming Yang, Yuting Ng, Vahid Tarokh,
• Abstract要約: 本稿では,データ入力空間と損失値のマッピングにおいて,滑らかさのレベルを強制する手法を提案する。 ネットワークの損失がデータ領域上の楕円演算子を満たすことを要求して、正規性のレベルを規定する。
• 参考スコア（独自算出の注目度）: 24.24785205800212
• License:
• Abstract: Regularizing neural networks is important for anticipating model behavior in regions of the data space that are not well represented. In this work, we propose a regularization technique for enforcing a level of smoothness in the mapping between the data input space and the loss value. We specify the level of regularity by requiring that the loss of the network satisfies an elliptic operator over the data domain. To do this, we modify the usual empirical risk minimization objective such that we instead minimize a new objective that satisfies an elliptic operator over points within the domain. This allows us to use existing theory on elliptic operators to anticipate the behavior of the error for points outside the training set. We propose a tractable computational method that approximates the behavior of the elliptic operator while being computationally efficient. Finally, we analyze the properties of the proposed regularization to understand the performance on common problems of distribution shift and group imbalance. Numerical experiments confirm the utility of the proposed regularization technique.
• Abstract（参考訳）: ニューラルネットワークの正規化は、よく表現されていないデータ空間の領域におけるモデルの振る舞いを予測するために重要である。 本研究では,データ入力空間と損失値のマッピングにおいて,滑らか度を付与する正規化手法を提案する。 ネットワークの損失がデータ領域上の楕円演算子を満たすことを要求して、正規性のレベルを規定する。 これを実現するために、通常の経験的リスク最小化目標を変更し、代わりに、領域内の点を越えて楕円演算子を満たす新しい目的を最小化する。 これにより、楕円作用素上の既存の理論を用いて、トレーニングセット外の点に対する誤差の振る舞いを予測できる。 計算効率を高くしながら楕円演算子の挙動を近似するトラクタブル計算法を提案する。 最後に,提案する正規化の特性を分析し,分散シフトとグループ不均衡の共通問題における性能について考察する。 数値実験により,提案手法の有効性が確認された。

関連論文リスト

• Error Feedback under $(L_0,L_1)$-Smoothness: Normalization and Momentum [56.37522020675243]
  機械学習の幅広い問題にまたがる正規化誤差フィードバックアルゴリズムに対する収束の最初の証明を提供する。 提案手法では,許容可能なステップサイズが大きくなったため,新しい正規化エラーフィードバックアルゴリズムは,各種タスクにおける非正規化エラーよりも優れていた。
  論文  参考訳（メタデータ） (2024-10-22T10:19:27Z)
• The Star Geometry of Critic-Based Regularizer Learning [2.2530496464901106]
  変分正規化は統計的推論タスクと逆問題の解法である。 近年の課題依存型レギュレータの学習は, 測定値と地上データとを統合して行われている。 このプロセスを通して学んだ正規化器の構造と、それが2つのデータ分布とどのように関係するかについては、ほとんど理論がない。
  論文  参考訳（メタデータ） (2024-08-29T18:34:59Z)
• DeltaPhi: Learning Physical Trajectory Residual for PDE Solving [54.13671100638092]
  我々は,物理軌道残差学習(DeltaPhi)を提案し,定式化する。 既存のニューラル演算子ネットワークに基づく残差演算子マッピングのサロゲートモデルについて学習する。 直接学習と比較して,PDEの解法には物理残差学習が望ましいと結論づける。
  論文  参考訳（メタデータ） (2024-06-14T07:45:07Z)
• Function-Space Regularization in Neural Networks: A Probabilistic Perspective [51.133793272222874]
  所望の予測関数に関する情報をニューラルネットワークトレーニングに明示的にエンコードできる、モチベーションの高い正規化手法を導出できることが示される。 本手法の有効性を実証的に評価し,提案手法がほぼ完全なセマンティックシフト検出と高度に校正された予測不確実性推定に繋がることを示す。
  論文  参考訳（メタデータ） (2023-12-28T17:50:56Z)
• Stable Nonconvex-Nonconcave Training via Linear Interpolation [51.668052890249726]
  本稿では,ニューラルネットワークトレーニングを安定化(大規模)するための原理的手法として,線形アヘッドの理論解析を提案する。 最適化過程の不安定性は、しばしば損失ランドスケープの非単調性によって引き起こされるものであり、非拡張作用素の理論を活用することによって線型性がいかに役立つかを示す。
  論文  参考訳（メタデータ） (2023-10-20T12:45:12Z)
• Regularization, early-stopping and dreaming: a Hopfield-like setup to address generalization and overfitting [0.0]
  正規化損失関数に勾配降下を適用し,最適ネットワークパラメータを求める。 この枠組みの中で、最適なニューロン相互作用行列は、繰り返し学習プロトコルによって修正されたヘビアン核に対応する。
  論文  参考訳（メタデータ） (2023-08-01T15:04:30Z)
• Safety Performance of Neural Networks in the Presence of Covariate Shift [0.0]
  本稿では,運用データの近似に基づいて,デプロイ前の安全性能評価に使用される初期テストセットを再構築することを提案する。 この近似は、操作中にネットワーク内のニューロンの活性化パターンの分布を観察し、学習することによって得られる。
  論文  参考訳（メタデータ） (2023-07-24T11:55:32Z)
• On the Identification and Optimization of Nonsmooth Superposition Operators in Semilinear Elliptic PDEs [3.045851438458641]
  原型半線形楕円偏微分方程式(PDE)の非線形部分におけるネミトスキー作用素の同定を目的とした無限次元最適化問題について検討する。 以前の研究とは対照的に、ネミトスキー作用素を誘導する関数が a-priori であることは、$H leakyloc(mathbbR)$ の要素であることが知られている。
  論文  参考訳（メタデータ） (2023-06-08T13:33:20Z)
• Benign Overfitting in Deep Neural Networks under Lazy Training [72.28294823115502]
  データ分布が適切に分離された場合、DNNは分類のためのベイズ最適テスト誤差を達成できることを示す。 よりスムーズな関数との補間により、より一般化できることを示す。
  論文  参考訳（メタデータ） (2023-05-30T19:37:44Z)
• Activation Relaxation: A Local Dynamical Approximation to Backpropagation in the Brain [62.997667081978825]
  活性化緩和(AR)は、バックプロパゲーション勾配を力学系の平衡点として構成することで動機付けられる。 我々のアルゴリズムは、正しいバックプロパゲーション勾配に迅速かつ堅牢に収束し、単一のタイプの計算単位しか必要とせず、任意の計算グラフで操作できる。
  論文  参考訳（メタデータ） (2020-09-11T11:56:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。