論文の概要: Continuous Function Structured in Multilayer Perceptron for Global Optimization

• arxiv url: http://arxiv.org/abs/2303.04623v1
• Date: Tue, 7 Mar 2023 14:50:50 GMT
• ステータス: 処理完了
• システム内更新日: 2023-03-09 13:36:33.427401
• Title: Continuous Function Structured in Multilayer Perceptron for Global Optimization
• Title（参考訳）: グローバル最適化のための多層パーセプトロン構造連続関数
• Authors: Heeyuen Koh
• Abstract要約: 線形ニューロンを持つ多層パーセプトロンの勾配情報は、大域的最小探索問題をベンチマークするために、関数微分を用いて修正される。 関数微分を用いて与えられた連続関数から導かれる勾配の風景は、ax+bニューロンの形で表現できることを示す。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: The gradient information of multilayer perceptron with a linear neuron is modified with functional derivative for the global minimum search benchmarking problems. From this approach, we show that the landscape of the gradient derived from given continuous function using functional derivative can be the MLP-like form with ax+b neurons. In this extent, the suggested algorithm improves the availability of the optimization process to deal all the parameters in the problem set simultaneously. The functionality of this method could be improved through intentionally designed convex function with Kullack-Liebler divergence applied to cost value as well.
• Abstract（参考訳）: 線形ニューロンを持つ多層パーセプトロンの勾配情報を、大域的な最小探索ベンチマーク問題に対する関数微分で修正する。 本稿では,機能的導関数を用いた連続関数から導出される勾配の風景が,ax+bニューロンを持つMLP様形態であることを示す。 この点において,提案アルゴリズムは最適化プロセスの可用性を改善し,同時に設定した問題のパラメータをすべて処理する。 この手法の機能は、クラック・リーブラーの発散を伴う意図的に設計された凸関数をコスト値にも適用することで改善することができる。

関連論文リスト

• Global Optimization of Gaussian Process Acquisition Functions Using a Piecewise-Linear Kernel Approximation [2.3342885570554652]
  本稿では,プロセスカーネルに対する一括近似と,取得関数に対するMIQP表現を紹介する。 我々は,合成関数,制約付きベンチマーク,ハイパーチューニングタスクに関するフレームワークを実証的に実証した。
  論文  参考訳（メタデータ） (2024-10-22T10:56:52Z)
• A Mean-Field Analysis of Neural Stochastic Gradient Descent-Ascent for Functional Minimax Optimization [90.87444114491116]
  本稿では,超パラメトリック化された2層ニューラルネットワークの無限次元関数クラス上で定義される最小最適化問題について検討する。 i) 勾配降下指数アルゴリズムの収束と, (ii) ニューラルネットワークの表現学習に対処する。 その結果、ニューラルネットワークによって誘導される特徴表現は、ワッサーシュタイン距離で測定された$O(alpha-1)$で初期表現から逸脱することが許された。
  論文  参考訳（メタデータ） (2024-04-18T16:46:08Z)
• On Learning Gaussian Multi-index Models with Gradient Flow [57.170617397894404]
  高次元ガウスデータに対する多次元回帰問題の勾配流について検討する。 低階射影をパラメトリする部分空間よりも、非パラメトリックモデルで低次元リンク関数を無限に高速に学習する2時間スケールのアルゴリズムを考える。
  論文  参考訳（メタデータ） (2023-10-30T17:55:28Z)
• Stochastic Marginal Likelihood Gradients using Neural Tangent Kernels [78.6096486885658]
  線形化されたラプラス近似に下界を導入する。 これらの境界は漸進的な最適化が可能であり、推定精度と計算複雑性とのトレードオフを可能にする。
  論文  参考訳（メタデータ） (2023-06-06T19:02:57Z)
• Promises and Pitfalls of the Linearized Laplace in Bayesian Optimization [73.80101701431103]
  線形化ラプラス近似(LLA)はベイズニューラルネットワークの構築に有効で効率的であることが示されている。 ベイズ最適化におけるLLAの有用性について検討し,その性能と柔軟性を強調した。
  論文  参考訳（メタデータ） (2023-04-17T14:23:43Z)
• $\mathcal{C}^k$-continuous Spline Approximation with TensorFlow Gradient Descent Optimizers [2.0305676256390934]
  産業最適化問題に対する機械学習(ML)の「アウト・オブ・ボックス」アプリケーションを提案する。 我々はcam近似設定でデプロイ可能な$mathcalCk$-continuos関数のフィッティングのためのピースワイズモデル(スプライン)を導入する。 次に、機械学習フレームワークが提供する勾配勾配勾配最適化を用いて、近似品質と$mathcalCk$-continuityに関するモデルパラメータを最適化する。
  論文  参考訳（メタデータ） (2023-03-22T10:52:21Z)
• On Solution Functions of Optimization: Universal Approximation and Covering Number Bounds [6.3291148076593355]
  線形目標性(1)(LP)と近似可能なQP近似パワーの凸最適化関数解関数の表現可能性について検討する。 この結果から,制約付きプログラミングの特性の厳密な解析と,アルゴリズム設計や性能保証への示唆が得られた。
  論文  参考訳（メタデータ） (2022-12-02T17:16:04Z)
• Implicit differentiation for fast hyperparameter selection in non-smooth convex learning [87.60600646105696]
  内部最適化問題が凸であるが非滑らかである場合の一階法を研究する。 本研究では, ヤコビアンの近位勾配降下と近位座標降下収率列の前方モード微分が, 正確なヤコビアンに向かって収束していることを示す。
  論文  参考訳（メタデータ） (2021-05-04T17:31:28Z)
• CDiNN -Convex Difference Neural Networks [0.8122270502556374]
  reluアクティベーション関数を持つニューラルネットワークは、普遍関数近似が非スムース関数として関数マッピングを学ぶことが示されている。 ICNNと呼ばれる新しいニューラルネットワークアーキテクチャは、凸入力として出力を学習する。
  論文  参考訳（メタデータ） (2021-03-31T17:31:16Z)
• SLEIPNIR: Deterministic and Provably Accurate Feature Expansion for Gaussian Process Regression with Derivatives [86.01677297601624]
  本稿では,2次フーリエ特徴に基づく導関数によるGP回帰のスケーリング手法を提案する。 我々は、近似されたカーネルと近似された後部の両方に適用される決定論的、非漸近的、指数関数的に高速な崩壊誤差境界を証明した。
  論文  参考訳（メタデータ） (2020-03-05T14:33:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。