論文の概要: NOVAS: Non-convex Optimization via Adaptive Stochastic Search for End-to-End Learning and Control

• arxiv url: http://arxiv.org/abs/2006.11992v3
• Date: Thu, 1 Apr 2021 19:43:46 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-18 06:06:39.120263
• Title: NOVAS: Non-convex Optimization via Adaptive Stochastic Search for End-to-End Learning and Control
• Title（参考訳）: NOVAS: エンドツーエンド学習と制御のための適応確率探索による非凸最適化
• Authors: Ioannis Exarchos and Marcus A. Pereira and Ziyi Wang and Evangelos A. Theodorou
• Abstract要約: 本稿では,一般のニューラルネットワーク最適化操作において,適応探索をビルディングブロックとして用いることを提案する。 我々は、合成エネルギーベースの構造化タスクにおける既存の2つの代替案に対してベンチマークを行い、最適制御アプリケーションでの使用例を示す。
• 参考スコア（独自算出の注目度）: 22.120942106939122
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In this work we propose the use of adaptive stochastic search as a building block for general, non-convex optimization operations within deep neural network architectures. Specifically, for an objective function located at some layer in the network and parameterized by some network parameters, we employ adaptive stochastic search to perform optimization over its output. This operation is differentiable and does not obstruct the passing of gradients during backpropagation, thus enabling us to incorporate it as a component in end-to-end learning. We study the proposed optimization module's properties and benchmark it against two existing alternatives on a synthetic energy-based structured prediction task, and further showcase its use in stochastic optimal control applications.
• Abstract（参考訳）: 本研究では、ニューラルネットワークアーキテクチャにおける一般の非凸最適化演算のためのビルディングブロックとして適応確率探索を提案する。 具体的には,ネットワークのある層に位置し,ネットワークパラメータによってパラメータ化される目的関数に対して,その出力に対する最適化を行うために適応的確率探索を用いる。 この操作は微分可能であり、バックプロパゲーション中の勾配の通過を妨げないため、エンドツーエンド学習においてコンポーネントとして組み込むことができる。 提案した最適化モジュールの特性を,合成エネルギーベース構造予測タスクにおける既存の2つの代替手法と比較し,確率的最適制御への応用を示す。

関連論文リスト

• A Novel Unified Parametric Assumption for Nonconvex Optimization [53.943470475510196]
  非最適化は機械学習の中心であるが、一般の非凸性は弱い収束を保証するため、他方に比べて悲観的すぎる。 非凸アルゴリズムに新しい統一仮定を導入する。
  論文  参考訳（メタデータ） (2025-02-17T21:25:31Z)
• Indirect Query Bayesian Optimization with Integrated Feedback [17.66813850517961]
  我々は,未知関数の条件付き期待値$f$を最適化することで,統合されたフィードバックが与えられるような,ベイズ最適化の新たなクラスを開発する。 目的は、条件分布によって変換された空間を適応的にクエリし、観察することで、$f$のグローバルな最適値を見つけることである。 これは、プライバシ、ハードウェア、計算上の制約による直接的なフィードバックにアクセスできない現実世界のアプリケーションによって動機付けられている。
  論文  参考訳（メタデータ） (2024-12-18T07:20:33Z)
• Explicit and Implicit Graduated Optimization in Deep Neural Networks [0.6906005491572401]
  本稿では,最適雑音スケジューリングを用いた明示的な累積最適化アルゴリズムの性能を実験的に評価する。 さらに、ResNetアーキテクチャを用いた画像分類タスクの実験を通じて、その効果を実証する。
  論文  参考訳（メタデータ） (2024-12-16T07:23:22Z)
• Analyzing and Enhancing the Backward-Pass Convergence of Unrolled Optimization [50.38518771642365]
  ディープネットワークにおけるコンポーネントとしての制約付き最適化モデルの統合は、多くの専門的な学習タスクに有望な進歩をもたらした。 この設定における中心的な課題は最適化問題の解によるバックプロパゲーションであり、しばしば閉形式を欠いている。 本稿では, 非線形最適化の後方通過に関する理論的知見を提供し, 特定の反復法による線形システムの解と等価であることを示す。 Folded Optimizationと呼ばれるシステムが提案され、非ローリングなソルバ実装からより効率的なバックプロパゲーションルールを構築する。
  論文  参考訳（メタデータ） (2023-12-28T23:15:18Z)
• Federated Conditional Stochastic Optimization [110.513884892319]
  条件付き最適化は、不変学習タスク、AUPRC、AMLなど、幅広い機械学習タスクで見られる。 本稿では,分散フェデレーション学習のためのアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2023-10-04T01:47:37Z)
• Backpropagation of Unrolled Solvers with Folded Optimization [55.04219793298687]
  ディープネットワークにおけるコンポーネントとしての制約付き最適化モデルの統合は、多くの専門的な学習タスクに有望な進歩をもたらした。 1つの典型的な戦略はアルゴリズムのアンローリングであり、これは反復解法の操作による自動微分に依存している。 本稿では,非ロール最適化の後方通過に関する理論的知見を提供し,効率よく解けるバックプロパゲーション解析モデルを生成するシステムに繋がる。
  論文  参考訳（メタデータ） (2023-01-28T01:50:42Z)
• Transformer-Based Learned Optimization [37.84626515073609]
  ニューラルネットワークを用いて計算の更新ステップを表現できる学習最適化手法を提案する。 私たちの革新は、古典的なBFGSアルゴリズムにインスパイアされた、新しいニューラルネットワークアーキテクチャです。 最適化アルゴリズムの評価に伝統的に用いられてきた目的関数からなるベンチマークにおいて,提案手法の利点を実証する。
  論文  参考訳（メタデータ） (2022-12-02T09:47:08Z)
• Efficient Non-Parametric Optimizer Search for Diverse Tasks [93.64739408827604]
  興味のあるタスクを直接検索できる,スケーラブルで汎用的なフレームワークを初めて提示する。 基礎となる数学表現の自然木構造に着想を得て、空間を超木に再配置する。 我々は,モンテカルロ法を木探索に適用し,レジェクションサンプリングと等価形状検出を備える。
  論文  参考訳（メタデータ） (2022-09-27T17:51:31Z)
• Bayesian Optimization for auto-tuning GPU kernels [0.0]
  GPUカーネルの最適パラメータ設定を見つけることは、たとえ自動化されても、大規模な検索スペースにとって簡単な作業ではない。 拡張性を改善した新しい文脈探索機能と,情報機能選択機構を併用した新しい獲得機能を導入する。
  論文  参考訳（メタデータ） (2021-11-26T11:26:26Z)
• Additive Tree-Structured Conditional Parameter Spaces in Bayesian Optimization: A Novel Covariance Function and a Fast Implementation [34.89735938765757]
  木構造関数への加法仮定を一般化し, 改良された試料効率, より広い適用性, 柔軟性を示す。 パラメータ空間の構造情報と加法仮定をBOループに組み込むことで,取得関数を最適化する並列アルゴリズムを開発した。 本稿では,事前学習したVGG16およびRes50モデルのプルーニングとResNet20の検索アクティベーション関数に関する最適化ベンチマーク関数について述べる。
  論文  参考訳（メタデータ） (2020-10-06T16:08:58Z)
• Adaptive pruning-based optimization of parameterized quantum circuits [62.997667081978825]
  Variisyハイブリッド量子古典アルゴリズムは、ノイズ中間量子デバイスの使用を最大化する強力なツールである。 我々は、変分量子アルゴリズムで使用されるそのようなアンサーゼを「効率的な回路訓練」(PECT)と呼ぶ戦略を提案する。 すべてのアンサッツパラメータを一度に最適化する代わりに、PECTは一連の変分アルゴリズムを起動する。
  論文  参考訳（メタデータ） (2020-10-01T18:14:11Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。