論文の概要: Large-scale global optimization of ultra-high dimensional non-convex landscapes based on generative neural networks

• arxiv url: http://arxiv.org/abs/2307.04065v1
• Date: Sun, 9 Jul 2023 00:05:59 GMT
• ステータス: 処理完了
• システム内更新日: 2023-07-11 15:39:02.113228
• Title: Large-scale global optimization of ultra-high dimensional non-convex landscapes based on generative neural networks
• Title（参考訳）: 生成ニューラルネットワークに基づく超高次元非凸景観の大規模大域的最適化
• Authors: Jiaqi Jiang, Jonathan A. Fan
• Abstract要約: 超高次元最適化を行うアルゴリズムを提案する。 ディープ・ジェネレーティブ・ネットワークをベースとしています 提案手法は, 最先端のアルゴリズムと比較して, 機能評価が少なく, 性能がよいことを示す。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We present a non-convex optimization algorithm metaheuristic, based on the training of a deep generative network, which enables effective searching within continuous, ultra-high dimensional landscapes. During network training, populations of sampled local gradients are utilized within a customized loss function to evolve the network output distribution function towards one peak at high-performing optima. The deep network architecture is tailored to support progressive growth over the course of training, which allows the algorithm to manage the curse of dimensionality characteristic of high-dimensional landscapes. We apply our concept to a range of standard optimization problems with dimensions as high as one thousand and show that our method performs better with fewer function evaluations compared to state-of-the-art algorithm benchmarks. We also discuss the role of deep network over-parameterization, loss function engineering, and proper network architecture selection in optimization, and why the required batch size of sampled local gradients is independent of problem dimension. These concepts form the foundation for a new class of algorithms that utilize customizable and expressive deep generative networks to solve non-convex optimization problems.
• Abstract（参考訳）: 超高次元連続景観における効果的な探索を可能にする深層生成ネットワークの訓練に基づいて,非凸最適化アルゴリズムのメタヒューリスティックを提案する。 ネットワークトレーニングでは, サンプリングした局所勾配の集団をカスタマイズされた損失関数内で利用し, ネットワーク出力分布関数を高い性能で1つのピークに進化させる。 深層ネットワークアーキテクチャは、トレーニングの過程で進行的な成長をサポートするように調整されており、高次元景観の次元特性の呪いをアルゴリズムが管理できる。 我々は,1000の次元を持つ標準的な最適化問題に適用し,最先端のアルゴリズムベンチマークと比較して,関数評価の少ない手法で性能が向上することを示す。 また、深層ネットワークの過度パラメータ化、損失関数工学、最適化における適切なネットワークアーキテクチャ選択の役割や、サンプリングした局所勾配のバッチサイズが問題次元に依存しない理由についても論じる。 これらの概念は、非凸最適化問題を解決するためにカスタマイズ可能で表現可能な深層生成ネットワークを利用する新しいアルゴリズムの基盤となる。

関連論文リスト

• Understanding the training of infinitely deep and wide ResNets with Conditional Optimal Transport [26.47265060394168]
  深部ニューラルネットワークの勾配流は遠距離で任意に収束することを示す。 これは空間における有限幅の勾配距離の理論に依存する。
  論文  参考訳（メタデータ） (2024-03-19T16:34:31Z)
• Reverse Engineering Deep ReLU Networks An Optimization-based Algorithm [0.0]
  本稿では,凸最適化手法とサンプリングに基づくアプローチを利用して,深部ReLUネットワークを再構築する手法を提案する。 我々の研究は、リバースエンジニアリングの深いReLUネットワークへの取り組みに寄与し、ニューラルネットワークの解釈可能性とセキュリティの新たな進歩の道を開く。
  論文  参考訳（メタデータ） (2023-12-07T20:15:06Z)
• Federated Multi-Level Optimization over Decentralized Networks [55.776919718214224]
  エージェントが隣人としか通信できないネットワーク上での分散マルチレベル最適化の問題について検討する。 ネットワーク化されたエージェントが1つの時間スケールで異なるレベルの最適化問題を解くことができる新しいゴシップに基づく分散マルチレベル最適化アルゴリズムを提案する。 提案アルゴリズムは, ネットワークサイズと線形にスケーリングし, 各種アプリケーション上での最先端性能を示す。
  論文  参考訳（メタデータ） (2023-10-10T00:21:10Z)
• Sensitivity-Aware Mixed-Precision Quantization and Width Optimization of Deep Neural Networks Through Cluster-Based Tree-Structured Parzen Estimation [4.748931281307333]
  本稿では,個々のニューラルネットワーク層に対して最適なビット幅と層幅を自動的に選択する革新的な探索機構を提案する。 これにより、ディープニューラルネットワークの効率が著しく向上する。
  論文  参考訳（メタデータ） (2023-08-12T00:16:51Z)
• Iterative Soft Shrinkage Learning for Efficient Image Super-Resolution [91.3781512926942]
  画像超解像(SR)は、CNNからトランスフォーマーアーキテクチャへの広範なニューラルネットワーク設計を目撃している。 本研究は,市販のネットワーク設計を生かし,基礎となる計算オーバーヘッドを低減するため,超高解像度イテレーションにおけるネットワークプルーニングの可能性について検討する。 本研究では, ランダムネットワークのスパース構造を最適化し, 重要でない重みを小さめに微調整することにより, 反復型軟収縮率(ISS-P)法を提案する。
  論文  参考訳（メタデータ） (2023-03-16T21:06:13Z)
• Multi-agent Reinforcement Learning with Graph Q-Networks for Antenna Tuning [60.94661435297309]
  モバイルネットワークの規模は、手作業による介入や手作業による戦略を使ってアンテナパラメータの最適化を困難にしている。 本研究では,モバイルネットワーク構成をグローバルに最適化するマルチエージェント強化学習アルゴリズムを提案する。 シミュレーション環境におけるアンテナ傾き調整問題とジョイント傾き・電力制御問題に対するアルゴリズムの性能を実証的に示す。
  論文  参考訳（メタデータ） (2023-01-20T17:06:34Z)
• Joint inference and input optimization in equilibrium networks [68.63726855991052]
  ディープ均衡モデル(Deep equilibrium model)は、従来のネットワークの深さを予測し、代わりに単一の非線形層の固定点を見つけることによってネットワークの出力を計算するモデルのクラスである。 この2つの設定の間には自然なシナジーがあることが示されています。 この戦略は、生成モデルのトレーニングや、潜時符号の最適化、デノベートやインペインティングといった逆問題に対するトレーニングモデル、対逆トレーニング、勾配に基づくメタラーニングなど、様々なタスクにおいて実証される。
  論文  参考訳（メタデータ） (2021-11-25T19:59:33Z)
• Path Regularization: A Convexity and Sparsity Inducing Regularization for Parallel ReLU Networks [75.33431791218302]
  本稿では,ディープニューラルネットワークのトレーニング問題について検討し,最適化環境に隠された凸性を明らかにするための解析的アプローチを提案する。 我々は、標準のディープ・ネットワークとResNetを特別なケースとして含む、ディープ・パラレルなReLUネットワークアーキテクチャについて検討する。
  論文  参考訳（メタデータ） (2021-10-18T18:00:36Z)
• What can linear interpolation of neural network loss landscapes tell us? [11.753360538833139]
  ロスランドスケープは、人間が理解しやすい方法で可視化することが非常に難しいことで知られています。 この問題に対処する一般的な方法は、ランドスケープの線形スライスをプロットすることである。
  論文  参考訳（メタデータ） (2021-06-30T11:54:04Z)
• A Dynamical View on Optimization Algorithms of Overparameterized Neural Networks [23.038631072178735]
  我々は、一般的に使用される最適化アルゴリズムの幅広いクラスについて考察する。 その結果、ニューラルネットワークの収束挙動を利用することができる。 このアプローチは他の最適化アルゴリズムやネットワーク理論にも拡張できると考えています。
  論文  参考訳（メタデータ） (2020-10-25T17:10:22Z)
• The Hidden Convex Optimization Landscape of Two-Layer ReLU Neural Networks: an Exact Characterization of the Optimal Solutions [51.60996023961886]
  コーン制約のある凸最適化プログラムを解くことにより,グローバルな2層ReLUニューラルネットワークの探索が可能であることを示す。 我々の分析は新しく、全ての最適解を特徴づけ、最近、ニューラルネットワークのトレーニングを凸空間に持ち上げるために使われた双対性に基づく分析を活用できない。
  論文  参考訳（メタデータ） (2020-06-10T15:38:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。