論文の概要: Representation and Regression Problems in Neural Networks: Relaxation, Generalization, and Numerics

• arxiv url: http://arxiv.org/abs/2412.01619v1
• Date: Mon, 02 Dec 2024 15:40:29 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-04 15:41:31.117757
• Title: Representation and Regression Problems in Neural Networks: Relaxation, Generalization, and Numerics
• Title（参考訳）: ニューラルネットワークにおける表現問題と回帰問題:緩和・一般化・数値
• Authors: Kang Liu, Enrique Zuazua,
• Abstract要約: 浅層ニューラルネットワーク(NN)の訓練に伴う3つの非次元最適化問題に対処する。 我々はこれらの問題と表現を凸化し、不在緩和ギャップを証明するために代表者勾配を適用した。 我々はこれらの境界に対する鍵パラメータの影響を分析し、最適な選択を提案する。 高次元データセットに対して,勾配降下と組み合わせて効率的な解を求めるスペーシフィケーションアルゴリズムを提案する。
• 参考スコア（独自算出の注目度）: 5.915970073098098
• License:
• Abstract: In this work, we address three non-convex optimization problems associated with the training of shallow neural networks (NNs) for exact and approximate representation, as well as for regression tasks. Through a mean-field approach, we convexify these problems and, applying a representer theorem, prove the absence of relaxation gaps. We establish generalization bounds for the resulting NN solutions, assessing their predictive performance on test datasets and, analyzing the impact of key hyperparameters on these bounds, propose optimal choices. On the computational side, we examine the discretization of the convexified problems and derive convergence rates. For low-dimensional datasets, these discretized problems are efficiently solvable using the simplex method. For high-dimensional datasets, we propose a sparsification algorithm that, combined with gradient descent for over-parameterized shallow NNs, yields effective solutions to the primal problems.
• Abstract（参考訳）: 本研究では,ニューラルネットワーク(NN)のトレーニングに伴う3つの非凸最適化問題に対処する。 平均場アプローチにより、これらの問題を凸化し、代表者定理を適用し、緩和ギャップがないことを証明する。 結果のNNソリューションに対する一般化バウンダリを確立し、テストデータセット上での予測性能を評価し、これらのバウンダリに対するキーハイパーパラメータの影響を分析し、最適な選択を提案する。 計算面では、凸問題の離散化と収束率の導出について検討する。 低次元データセットの場合、これらの離散化問題は単純な方法で効率的に解ける。 高次元データセットに対して、過パラメータ化浅層NNの勾配降下と組み合わせることで、原始問題に対する効果的な解が得られるスペーシフィケーションアルゴリズムを提案する。

関連論文リスト

• Error Feedback under $(L_0,L_1)$-Smoothness: Normalization and Momentum [56.37522020675243]
  機械学習の幅広い問題にまたがる正規化誤差フィードバックアルゴリズムに対する収束の最初の証明を提供する。 提案手法では,許容可能なステップサイズが大きくなったため,新しい正規化エラーフィードバックアルゴリズムは,各種タスクにおける非正規化エラーよりも優れていた。
  論文  参考訳（メタデータ） (2024-10-22T10:19:27Z)
• A Primal-dual algorithm for image reconstruction with ICNNs [3.4797100095791706]
  我々は、正規化器が入力ニューラルネットワーク(ICNN)によってパラメータ化されるデータ駆動変分フレームワークにおける最適化問題に対処する。 勾配に基づく手法はそのような問題を解決するのに一般的に用いられるが、非滑らかさを効果的に扱うのに苦労する。 提案手法は, 速度と安定性の両方の観点から, 下位段階の手法よりも優れていることを示す。
  論文  参考訳（メタデータ） (2024-10-16T10:36:29Z)
• Optimizing Solution-Samplers for Combinatorial Problems: The Landscape of Policy-Gradient Methods [52.0617030129699]
  本稿では,DeepMatching NetworksとReinforcement Learningメソッドの有効性を解析するための新しい理論フレームワークを提案する。 我々の主な貢献は、Max- and Min-Cut、Max-$k$-Bipartite-Bi、Maximum-Weight-Bipartite-Bi、Traveing Salesman Problemを含む幅広い問題である。 本分析の副産物として,バニラ降下による新たな正則化プロセスを導入し,失効する段階的な問題に対処し,悪い静止点から逃れる上で有効であることを示す理論的および実験的証拠を提供する。
  論文  参考訳（メタデータ） (2023-10-08T23:39:38Z)
• An Optimization-based Deep Equilibrium Model for Hyperspectral Image Deconvolution with Convergence Guarantees [71.57324258813675]
  本稿では,ハイパースペクトル画像のデコンボリューション問題に対処する新しい手法を提案する。 新しい最適化問題を定式化し、学習可能な正規化器をニューラルネットワークの形で活用する。 導出した反復解法は、Deep Equilibriumフレームワーク内の不動点計算問題として表現される。
  論文  参考訳（メタデータ） (2023-06-10T08:25:16Z)
• Modeling Design and Control Problems Involving Neural Network Surrogates [1.1602089225841632]
  ニューラルネットワークで表される代理モデルを含む非線形最適化問題を考察する。 ニューラルネットワーク評価を直接最適化モデルに組み込む方法を示し、収束を防止できるこのアプローチの難しさを強調します。 本稿では、ReLUを活性化したフィードフォワードニューラルネットワークの特定の場合において、これらの問題の2つの別の定式化を提案する。
  論文  参考訳（メタデータ） (2021-11-20T01:09:15Z)
• Generalization of Neural Combinatorial Solvers Through the Lens of Adversarial Robustness [68.97830259849086]
  ほとんどのデータセットは単純なサブプロブレムのみをキャプチャし、おそらくは突発的な特徴に悩まされる。 本研究では, 局所的な一般化特性である対向ロバスト性について検討し, 厳密でモデル固有な例と突発的な特徴を明らかにする。 他のアプリケーションとは異なり、摂動モデルは知覚できないという主観的な概念に基づいて設計されているため、摂動モデルは効率的かつ健全である。 驚くべきことに、そのような摂動によって、十分に表現力のあるニューラルソルバは、教師あり学習で共通する正確さと悪質さのトレードオフの限界に悩まされない。
  論文  参考訳（メタデータ） (2021-10-21T07:28:11Z)
• NTopo: Mesh-free Topology Optimization using Implicit Neural Representations [35.07884509198916]
  トポロジ最適化問題に対処する新しい機械学習手法を提案する。 我々は多層パーセプトロン(MLP)を用いて密度場と変位場の両方をパラメータ化する。 実験を通じて示すように、私たちのアプローチの大きな利点は、継続的ソリューション空間の自己教師付き学習を可能にすることです。
  論文  参考訳（メタデータ） (2021-02-22T05:25:22Z)
• Consistency analysis of bilevel data-driven learning in inverse problems [1.0705399532413618]
  本稿では,データからの正規化パラメータの適応学習を最適化により検討する。 線形逆問題に対する我々のフレームワークの実装方法を示す。 勾配降下法を用いてオンライン数値スキームを導出する。
  論文  参考訳（メタデータ） (2020-07-06T12:23:29Z)
• Provably Efficient Neural Estimation of Structural Equation Model: An Adversarial Approach [144.21892195917758]
  一般化構造方程式モデル(SEM)のクラスにおける推定について検討する。 線形作用素方程式をmin-maxゲームとして定式化し、ニューラルネットワーク(NN)でパラメータ化し、勾配勾配を用いてニューラルネットワークのパラメータを学習する。 提案手法は,サンプル分割を必要とせず,確固とした収束性を持つNNをベースとしたSEMの抽出可能な推定手順を初めて提供する。
  論文  参考訳（メタデータ） (2020-07-02T17:55:47Z)
• Convex Geometry and Duality of Over-parameterized Neural Networks [70.15611146583068]
  有限幅2層ReLUネットワークの解析のための凸解析手法を開発した。 正規化学習問題に対する最適解が凸集合の極点として特徴づけられることを示す。 高次元では、トレーニング問題は無限に多くの制約を持つ有限次元凸問題としてキャストできることが示される。
  論文  参考訳（メタデータ） (2020-02-25T23:05:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。