論文の概要: Tutorial on amortized optimization for learning to optimize over continuous domains

• arxiv url: http://arxiv.org/abs/2202.00665v1
• Date: Tue, 1 Feb 2022 18:58:33 GMT
• ステータス: 処理完了
• システム内更新日: 2022-02-02 14:51:28.088625
• Title: Tutorial on amortized optimization for learning to optimize over continuous domains
• Title（参考訳）: 連続ドメインを最適化する学習のための償却最適化のチュートリアル
• Authors: Brandon Amos
• Abstract要約: 償却最適化手法は、同じ問題の類似した事例を繰り返し解決する設定において、学習を用いて問題の解決策を予測する。 本チュートリアルでは,1)モデルから完全アモダライズされた半アモダライズされたアプローチ,2)回帰ベースおよび客観的なアプローチへの学習方法を大まかに分類し,アモダライズされた最適化の背後にある重要な設計選択について論じる。 次に、これらの基礎を通じて既存のアプリケーションを見て、多様体最適化、変分推論、スパース符号化、メタラーニング、制御、強化学習、凸最適化、深い平衡ネットワークなど、それらの間の接続を描く。
• 参考スコア（独自算出の注目度）: 13.60842910539914
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Optimization is a ubiquitous modeling tool that is often deployed in settings that repeatedly solve similar instances of the same problem. Amortized optimization methods use learning to predict the solutions to problems in these settings. This leverages the shared structure between similar problem instances. In this tutorial, we will discuss the key design choices behind amortized optimization, roughly categorizing 1) models into fully-amortized and semi-amortized approaches, and 2) learning methods into regression-based and objective-based. We then view existing applications through these foundations to draw connections between them, including for manifold optimization, variational inference, sparse coding, meta-learning, control, reinforcement learning, convex optimization, and deep equilibrium networks. This framing enables us easily see, for example, that the amortized inference in variational autoencoders is conceptually identical to value gradients in control and reinforcement learning as they both use fully-amortized models with a objective-based loss. The source code for this tutorial is available at https://www.github.com/facebookresearch/amortized-optimization-tutorial
• Abstract（参考訳）: 最適化はユビキタスなモデリングツールであり、同じ問題を繰り返し解決する設定にしばしばデプロイされる。 償却最適化手法は、学習を用いてこれらの設定における問題の解を予測する。 これは同様の問題インスタンス間の共有構造を利用する。 このチュートリアルでは、大まかに分類して、償却最適化の背後にある重要な設計選択について論じる。 1) 完全同化および半同化アプローチへのモデル、及び 2)回帰ベースおよび客観的ベースへの学習方法 次に、これらの基盤を通して既存のアプリケーションを見て、多様体最適化、変分推論、スパースコーディング、メタ学習、制御、強化学習、凸最適化、ディープ平衡ネットワークなど、それらの間の接続を描く。 このフレーミングにより、例えば、変分オートエンコーダの償却推論が、客観的な損失を伴う完全修飾モデルを使用するため、制御および強化学習における値勾配と概念的に同一であることを容易に確認できる。 このチュートリアルのソースコードはhttps://www.github.com/facebookresearch/amortized-optimization-tutorialで入手できる。

関連論文リスト

• Learning Joint Models of Prediction and Optimization [56.04498536842065]
  Predict-Then-Thenフレームワークは、機械学習モデルを使用して、最適化問題の未知のパラメータを、解決前の機能から予測する。 本稿では,共同予測モデルを用いて観測可能特徴から最適解を直接学習する手法を提案する。
  論文  参考訳（メタデータ） (2024-09-07T19:52:14Z)
• Two Optimizers Are Better Than One: LLM Catalyst Empowers Gradient-Based Optimization for Prompt Tuning [69.95292905263393]
  我々は,勾配に基づく最適化と大規模言語モデル(MsLL)が相互補完的であることを示し,協調的な最適化手法を提案する。 私たちのコードはhttps://www.guozix.com/guozix/LLM-catalystでリリースされています。
  論文  参考訳（メタデータ） (2024-05-30T06:24:14Z)
• Learning to optimize: A tutorial for continuous and mixed-integer optimization [41.29549467082292]
  Learning to Optimize (L2O)は、従来の最適化と機械学習の交差点に立っている。 このチュートリアルでは、L2Oテクニックを深く掘り下げて、最適化アルゴリズムの高速化、ソリューションの見積の迅速化、あるいは最適化問題自体の作り直しなどを紹介している。
  論文  参考訳（メタデータ） (2024-05-24T06:21:01Z)
• Analyzing and Enhancing the Backward-Pass Convergence of Unrolled Optimization [50.38518771642365]
  ディープネットワークにおけるコンポーネントとしての制約付き最適化モデルの統合は、多くの専門的な学習タスクに有望な進歩をもたらした。 この設定における中心的な課題は最適化問題の解によるバックプロパゲーションであり、しばしば閉形式を欠いている。 本稿では, 非線形最適化の後方通過に関する理論的知見を提供し, 特定の反復法による線形システムの解と等価であることを示す。 Folded Optimizationと呼ばれるシステムが提案され、非ローリングなソルバ実装からより効率的なバックプロパゲーションルールを構築する。
  論文  参考訳（メタデータ） (2023-12-28T23:15:18Z)
• Backpropagation of Unrolled Solvers with Folded Optimization [55.04219793298687]
  ディープネットワークにおけるコンポーネントとしての制約付き最適化モデルの統合は、多くの専門的な学習タスクに有望な進歩をもたらした。 1つの典型的な戦略はアルゴリズムのアンローリングであり、これは反復解法の操作による自動微分に依存している。 本稿では,非ロール最適化の後方通過に関する理論的知見を提供し,効率よく解けるバックプロパゲーション解析モデルを生成するシステムに繋がる。
  論文  参考訳（メタデータ） (2023-01-28T01:50:42Z)
• Accelerated Federated Learning with Decoupled Adaptive Optimization [53.230515878096426]
  フェデレートドラーニング(FL)フレームワークは、クライアント上のトレーニングデータのプライバシを維持しながら、共有モデルを協調的に学習することを可能にする。 近年,SGDM,Adam,AdaGradなどの集中型適応最適化手法をフェデレートした設定に一般化するためのイテレーションが多数実施されている。 本研究は、常微分方程式(ODE)のダイナミクスの観点から、FLの新しい適応最適化手法を開発することを目的としている。
  論文  参考訳（メタデータ） (2022-07-14T22:46:43Z)
• Teaching Networks to Solve Optimization Problems [13.803078209630444]
  反復解法をトレーニング可能なパラメトリック集合関数に置き換えることを提案する。 このようなパラメトリックな(集合)関数を学習することで、様々な古典的最適化問題を解くことができることを示す。
  論文  参考訳（メタデータ） (2022-02-08T19:13:13Z)
• Particle Swarm Optimization: Fundamental Study and its Application to Optimization and to Jetty Scheduling Problems [0.0]
  従来の手法に関する進化的アルゴリズムの利点は、文献で大いに議論されている。 粒子群はそのような利点を共有しているが、計算コストの低減と実装の容易さが要求されるため、進化的アルゴリズムよりも優れている。 本論文は, それらのチューニングについて検討するものではなく, 従来の研究から汎用的な設定を抽出し, 様々な問題を最適化するために, 事実上同じアルゴリズムを用いている。
  論文  参考訳（メタデータ） (2021-01-25T02:06:30Z)
• Learning to Optimize Under Constraints with Unsupervised Deep Neural Networks [0.0]
  機械学習(ML)手法を提案し,汎用的制約付き連続最適化問題の解法を学習する。 本稿では,制約付き最適化問題をリアルタイムに解くための教師なしディープラーニング(DL)ソリューションを提案する。
  論文  参考訳（メタデータ） (2021-01-04T02:58:37Z)
• A Primer on Zeroth-Order Optimization in Signal Processing and Machine Learning [95.85269649177336]
  ZO最適化は、勾配推定、降下方向、ソリューション更新の3つの主要なステップを反復的に実行する。 我々は,ブラックボックス深層学習モデルによる説明文の評価や生成,効率的なオンラインセンサ管理など,ZO最適化の有望な応用を実証する。
  論文  参考訳（メタデータ） (2020-06-11T06:50:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。