論文の概要: An Outer-approximation Guided Optimization Approach for Constrained Neural Network Inverse Problems

• arxiv url: http://arxiv.org/abs/2002.10404v1
• Date: Mon, 24 Feb 2020 17:49:24 GMT
• ステータス: 翻訳完了
• システム内更新日: 2022-12-29 04:42:11.553810
• Title: An Outer-approximation Guided Optimization Approach for Constrained Neural Network Inverse Problems
• Title（参考訳）: 制約付きニューラルネットワーク逆問題に対する外部近似誘導最適化手法
• Authors: Myun-Seok Cheon
• Abstract要約: 制約付きニューラルネットワーク逆問題とは、与えられたトレーニングされたニューラルネットワークの入力値の最適なセットを見つける最適化問題を指す。 本稿では、ニューラルネットワークの逆問題に対する最適解の特性を、補正活性化ユニットを用いて解析する。 提案手法は, 予測勾配法と比較して, 提案手法の優位性を示す。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: This paper discusses an outer-approximation guided optimization method for constrained neural network inverse problems with rectified linear units. The constrained neural network inverse problems refer to an optimization problem to find the best set of input values of a given trained neural network in order to produce a predefined desired output in presence of constraints on input values. This paper analyzes the characteristics of optimal solutions of neural network inverse problems with rectified activation units and proposes an outer-approximation algorithm by exploiting their characteristics. The proposed outer-approximation guided optimization comprises primal and dual phases. The primal phase incorporates neighbor curvatures with neighbor outer-approximations to expedite the process. The dual phase identifies and utilizes the structure of local convex regions to improve the convergence to a local optimal solution. At last, computation experiments demonstrate the superiority of the proposed algorithm compared to a projected gradient method.
• Abstract（参考訳）: 本稿では,直交線形単位を持つ制約付きニューラルネットワーク逆問題に対する外方近似誘導最適化法について述べる。 制約付きニューラルネットワーク逆問題とは、与えられたトレーニングされたニューラルネットワークの入力値の最適なセットを見つけるための最適化問題を指し、入力値に制約がある場合に予め定義された所望の出力を生成する。 本稿では,直交活性化ユニットを用いたニューラルネットワーク逆問題に対する最適解の特性を解析し,その特性を生かして外近似アルゴリズムを提案する。 提案する外近似誘導最適化は、主相と双対相を含む。 原始相は、隣の曲率と隣人の外近似を組み込んで過程を速める。 双対位相は局所凸領域の構造を同定し、局所最適解への収束を改善するために利用する。 最後に,提案手法が投影勾配法よりも優れていることを示す計算実験を行った。

関連論文リスト

• Analyzing and Enhancing the Backward-Pass Convergence of Unrolled Optimization [50.38518771642365]
  ディープネットワークにおけるコンポーネントとしての制約付き最適化モデルの統合は、多くの専門的な学習タスクに有望な進歩をもたらした。 この設定における中心的な課題は最適化問題の解によるバックプロパゲーションであり、しばしば閉形式を欠いている。 本稿では, 非線形最適化の後方通過に関する理論的知見を提供し, 特定の反復法による線形システムの解と等価であることを示す。 Folded Optimizationと呼ばれるシステムが提案され、非ローリングなソルバ実装からより効率的なバックプロパゲーションルールを構築する。
  論文  参考訳（メタデータ） (2023-12-28T23:15:18Z)
• Stable Nonconvex-Nonconcave Training via Linear Interpolation [51.668052890249726]
  本稿では,ニューラルネットワークトレーニングを安定化(大規模)するための原理的手法として,線形アヘッドの理論解析を提案する。 最適化過程の不安定性は、しばしば損失ランドスケープの非単調性によって引き起こされるものであり、非拡張作用素の理論を活用することによって線型性がいかに役立つかを示す。
  論文  参考訳（メタデータ） (2023-10-20T12:45:12Z)
• Composite Optimization Algorithms for Sigmoid Networks [3.160070867400839]
  線形化近位アルゴリズムと乗算器の交互方向に基づく合成最適化アルゴリズムを提案する。 フランク関数のフィッティングに関する数値実験により、提案アルゴリズムは十分堅牢に機能することを示した。
  論文  参考訳（メタデータ） (2023-03-01T15:30:29Z)
• Lower Bounds and Optimal Algorithms for Smooth and Strongly Convex Decentralized Optimization Over Time-Varying Networks [79.16773494166644]
  通信ネットワークのノード間を分散的に保存するスムーズで強い凸関数の和を最小化するタスクについて検討する。 我々は、これらの下位境界を達成するための2つの最適アルゴリズムを設計する。 我々は,既存の最先端手法と実験的な比較を行うことにより,これらのアルゴリズムの理論的効率を裏付ける。
  論文  参考訳（メタデータ） (2021-06-08T15:54:44Z)
• De-homogenization using Convolutional Neural Networks [1.0323063834827415]
  本稿では,構造コンプライアンス最小化のための深層学習に基づく非均質化手法を提案する。 パラメータの適切な選択のために、非均質化設計は、均質化に基づく解の7-25%以内で実行される。
  論文  参考訳（メタデータ） (2021-05-10T09:50:06Z)
• Particle Dual Averaging: Optimization of Mean Field Neural Networks with Global Convergence Rate Analysis [40.762447301225926]
  凸最適化における二重平均法を一般化する粒子二重平均法(PDA)を提案する。 提案手法の重要な応用は, 平均場系における2層ニューラルネットワークの最適化である。 平均場限界におけるニューラルネットワークはpdaによってグローバルに最適化できることを示す。
  論文  参考訳（メタデータ） (2020-12-31T07:07:32Z)
• BAMSProd: A Step towards Generalizing the Adaptive Optimization Methods to Deep Binary Model [34.093978443640616]
  最近のBNN(Binary Neural Networks)の性能は大幅に低下している。 BNNの効果的かつ効率的なトレーニングを保証することは未解決の問題である。 そこで本研究では,BAMSProdアルゴリズムを用いて,深部二元モデルの収束特性が量子化誤差と強く関連していることを示す。
  論文  参考訳（メタデータ） (2020-09-29T06:12:32Z)
• Sequential Subspace Search for Functional Bayesian Optimization Incorporating Experimenter Intuition [63.011641517977644]
  本アルゴリズムは,実験者のガウス過程から引き出された一組の引き数で区切られた関数空間の有限次元ランダム部分空間列を生成する。 標準ベイズ最適化は各部分空間に適用され、次の部分空間の出発点(オリジン)として用いられる最良の解である。 シミュレーションおよび実世界の実験,すなわちブラインド関数マッチング,アルミニウム合金の最適析出強化関数の探索,深層ネットワークの学習速度スケジュール最適化において,本アルゴリズムを検証した。
  論文  参考訳（メタデータ） (2020-09-08T06:54:11Z)
• Convergence of adaptive algorithms for weakly convex constrained optimization [59.36386973876765]
  モローエンベロープの勾配のノルムに対して$mathcaltilde O(t-1/4)$収束率を証明する。 我々の分析では、最小バッチサイズが1ドル、定数が1位と2位のモーメントパラメータが1ドル、そしておそらくスムーズな最適化ドメインで機能する。
  論文  参考訳（メタデータ） (2020-06-11T17:43:19Z)
• The Hidden Convex Optimization Landscape of Two-Layer ReLU Neural Networks: an Exact Characterization of the Optimal Solutions [51.60996023961886]
  コーン制約のある凸最適化プログラムを解くことにより,グローバルな2層ReLUニューラルネットワークの探索が可能であることを示す。 我々の分析は新しく、全ての最適解を特徴づけ、最近、ニューラルネットワークのトレーニングを凸空間に持ち上げるために使われた双対性に基づく分析を活用できない。
  論文  参考訳（メタデータ） (2020-06-10T15:38:30Z)
• A Riemannian Primal-dual Algorithm Based on Proximal Operator and its Application in Metric Learning [3.511851311025242]
  一次変数と双対変数を反復的に最適化する原始双対アルゴリズムを提案する。 提案アルゴリズムの収束を証明し,その非漸近収束率を示す。 ファンドマネージメントにおける最適ファンド選択問題に関する予備実験の結果,有効性が確認された。
  論文  参考訳（メタデータ） (2020-05-19T03:31:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。