論文の概要: Stochastic Quasi-Newton Optimization in Large Dimensions Including Deep Network Training

• arxiv url: http://arxiv.org/abs/2410.14270v1
• Date: Fri, 18 Oct 2024 08:25:28 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-21 14:24:47.513850
• Title: Stochastic Quasi-Newton Optimization in Large Dimensions Including Deep Network Training
• Title（参考訳）: 深部ネットワークトレーニングを含む大規模次元の確率的準ニュートン最適化
• Authors: Uttam Suman, Mariya Mamajiwala, Mukul Saxena, Ankit Tyagi, Debasish Roy,
• Abstract要約: 大規模設計空間上で定義される非滑らかでおそらくは非滑らかな目的関数に対する新しい次元を提案する。 FINDER (Derivative-free Evolutionary Recursion and Derivative-free filtering equations to reach a derivative-free update that has similar with the Newton)
• 参考スコア（独自算出の注目度）: 0.0
• License:
• Abstract: Our proposal is on a new stochastic optimizer for non-convex and possibly non-smooth objective functions typically defined over large dimensional design spaces. Towards this, we have tried to bridge noise-assisted global search and faster local convergence, the latter being the characteristic feature of a Newton-like search. Our specific scheme -- acronymed FINDER (Filtering Informed Newton-like and Derivative-free Evolutionary Recursion), exploits the nonlinear stochastic filtering equations to arrive at a derivative-free update that has resemblance with the Newton search employing the inverse Hessian of the objective function. Following certain simplifications of the update to enable a linear scaling with dimension and a few other enhancements, we apply FINDER to a range of problems, starting with some IEEE benchmark objective functions to a couple of archetypal data-driven problems in deep networks to certain cases of physics-informed deep networks. The performance of the new method vis-\'a-vis the well-known Adam and a few others bears evidence to its promise and potentialities for large dimensional optimization problems of practical interest.
• Abstract（参考訳）: 我々の提案は、通常、大きな次元の設計空間上で定義される非凸およびおそらく非滑らかな目的関数に対する新しい確率最適化についてである。 そこで我々は, 雑音支援グローバルサーチと局所収束の高速化を図り, 後者がニュートンのようなサーチの特徴である。 FINDER (Filtering Informed Newton-like and Derivative-free Evolutionary Recursion) は、非線形確率的フィルタリング方程式を利用して、対象関数の逆 Hessian を用いたニュートン探索に類似した微分自由更新に到達する。 まず、IEEEベンチマークの目的関数から、ディープネットワークの古き良きデータ駆動問題から、物理インフォームドディープネットワークの特定のケースまで、様々な問題にFINDERを適用する。 新しい手法 vis-\'a-vis the well-known Adam と他のいくつかは、実用的関心事の大規模次元最適化問題に対するその可能性と可能性を示す証拠を持っている。

関連論文リスト

• Enhancing GNNs Performance on Combinatorial Optimization by Recurrent Feature Update [0.09986418756990156]
  本稿では,組合せ最適化(CO)問題を効率よく解くために,GNNのパワーを活用して,QRF-GNNと呼ぶ新しいアルゴリズムを提案する。 QUBO緩和による損失関数の最小化による教師なし学習に依存している。 実験の結果、QRF-GNNは既存の学習ベースアプローチを大幅に上回り、最先端の手法に匹敵することがわかった。
  論文  参考訳（メタデータ） (2024-07-23T13:34:35Z)
• A Mean-Field Analysis of Neural Stochastic Gradient Descent-Ascent for Functional Minimax Optimization [90.87444114491116]
  本稿では,超パラメトリック化された2層ニューラルネットワークの無限次元関数クラス上で定義される最小最適化問題について検討する。 i) 勾配降下指数アルゴリズムの収束と, (ii) ニューラルネットワークの表現学習に対処する。 その結果、ニューラルネットワークによって誘導される特徴表現は、ワッサーシュタイン距離で測定された$O(alpha-1)$で初期表現から逸脱することが許された。
  論文  参考訳（メタデータ） (2024-04-18T16:46:08Z)
• Universal Neural Functionals [67.80283995795985]
  多くの現代の機械学習タスクでは、ウェイトスペース機能を処理することが難しい問題である。 最近の研究は、単純なフィードフォワードネットワークの置換対称性に同値な有望な重み空間モデルを開発した。 本研究は,任意の重み空間に対する置換同変モデルを自動的に構築するアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2024-02-07T20:12:27Z)
• Nonlinear functional regression by functional deep neural network with kernel embedding [20.306390874610635]
  本稿では,効率的かつ完全なデータ依存型次元減少法を備えた機能的ディープニューラルネットワークを提案する。 機能ネットのアーキテクチャは、カーネル埋め込みステップ、プロジェクションステップ、予測のための深いReLUニューラルネットワークで構成される。 スムーズなカーネル埋め込みを利用することで、我々の関数ネットは離散化不変であり、効率的で、頑健でノイズの多い観測が可能となる。
  論文  参考訳（メタデータ） (2024-01-05T16:43:39Z)
• Efficient Neural Network Analysis with Sum-of-Infeasibilities [64.31536828511021]
  凸最適化における総和係数法に着想を得て,広範な分岐関数を持つネットワーク上での検証クエリを解析するための新しい手法を提案する。 標準ケース分析に基づく完全探索手順の拡張は、各検索状態で実行される凸手順をDeepSoIに置き換えることによって達成できる。
  論文  参考訳（メタデータ） (2022-03-19T15:05:09Z)
• Non-Gradient Manifold Neural Network [79.44066256794187]
  ディープニューラルネットワーク(DNN)は通常、勾配降下による最適化に数千のイテレーションを要します。 非次最適化に基づく新しい多様体ニューラルネットワークを提案する。
  論文  参考訳（メタデータ） (2021-06-15T06:39:13Z)
• Polygonal Unadjusted Langevin Algorithms: Creating stable and efficient adaptive algorithms for neural networks [0.0]
  本稿では,Langevinベースのアルゴリズムを新たに導入し,一般的な適応的消滅アルゴリズムの欠点の多くを克服する。 特に、この新しいクラスのアルゴリズムの収束性についての漸近解析と完全な理論的保証を提供し、TH$varepsilon$O POULA(あるいは単にTheoPouLa)と名付けた。
  論文  参考訳（メタデータ） (2021-05-28T15:58:48Z)
• Optimal Transport Based Refinement of Physics-Informed Neural Networks [0.0]
  我々は、最適輸送(OT)の概念に基づく偏微分方程式(PDE)の解法として、よく知られた物理情報ニューラルネットワーク(PINN)の改良戦略を提案する。 PINNの解法は、完全接続された病理のスペクトルバイアス、不安定な勾配、収束と精度の難しさなど、多くの問題に悩まされている。 本稿では,既存の PINN フレームワークを補完する OT-based sample を用いて,Fokker-Planck-Kolmogorov Equation (FPKE) を解くための新しいトレーニング戦略を提案する。
  論文  参考訳（メタデータ） (2021-05-26T02:51:20Z)
• NTopo: Mesh-free Topology Optimization using Implicit Neural Representations [35.07884509198916]
  トポロジ最適化問題に対処する新しい機械学習手法を提案する。 我々は多層パーセプトロン(MLP)を用いて密度場と変位場の両方をパラメータ化する。 実験を通じて示すように、私たちのアプローチの大きな利点は、継続的ソリューション空間の自己教師付き学習を可能にすることです。
  論文  参考訳（メタデータ） (2021-02-22T05:25:22Z)
• Offline Model-Based Optimization via Normalized Maximum Likelihood Estimation [101.22379613810881]
  データ駆動最適化の問題を検討し、一定の点セットでクエリのみを与えられた関数を最大化する必要がある。 この問題は、関数評価が複雑で高価なプロセスである多くの領域に現れる。 我々は,提案手法を高容量ニューラルネットワークモデルに拡張可能なトラクタブル近似を提案する。
  論文  参考訳（メタデータ） (2021-02-16T06:04:27Z)
• Efficient Methods for Structured Nonconvex-Nonconcave Min-Max Optimization [98.0595480384208]
  定常点に収束する一般化外空間を提案する。 このアルゴリズムは一般の$p$ノルド空間だけでなく、一般の$p$次元ベクトル空間にも適用される。
  論文  参考訳（メタデータ） (2020-10-31T21:35:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。