論文の概要: Learning to Optimize by Differentiable Programming
- arxiv url: http://arxiv.org/abs/2601.16510v1
- Date: Fri, 23 Jan 2026 07:18:07 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-01-26 14:27:27.587112
- Title: Learning to Optimize by Differentiable Programming
- Title（参考訳）: 差別化可能なプログラミングによって最適化する学習
- Authors: Liping Tao, Xindi Tong, Chee Wei Tan,
- Abstract要約: 大規模な最適化問題を解決するには、コストの低いスケーラブルな一階法が必要となる。
このチュートリアルでは、最適化のシフトを強調している。アルゴリズムを実行するだけでなく、それらを設計する方法を学ぶために、微分可能なプログラミングを使用する。
- 参考スコア（独自算出の注目度）: 2.130842272968602
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Solving massive-scale optimization problems requires scalable first-order methods with low per-iteration cost. This tutorial highlights a shift in optimization: using differentiable programming not only to execute algorithms but to learn how to design them. Modern frameworks such as PyTorch, TensorFlow, and JAX enable this paradigm through efficient automatic differentiation. Embedding first-order methods within these systems allows end-to-end training that improves convergence and solution quality. Guided by Fenchel-Rockafellar duality, the tutorial demonstrates how duality-informed iterative schemes such as ADMM and PDHG can be learned and adapted. Case studies across LP, OPF, Laplacian regularization, and neural network verification illustrate these gains.
- Abstract（参考訳）: 大規模な最適化問題を解決するには、コストの低いスケーラブルな一階法が必要となる。
このチュートリアルでは、最適化のシフトを強調している。アルゴリズムを実行するだけでなく、それらを設計する方法を学ぶために、微分可能なプログラミングを使用する。
PyTorch、TensorFlow、JAXといったモダンなフレームワークは、このパラダイムを効率的な自動微分によって実現している。
これらのシステムに一階法を組み込むことで、収束性とソリューションの品質を向上させるエンドツーエンドのトレーニングが可能になる。
このチュートリアルは、Fenchel-Rockafellar双対性によってガイドされ、ADMMやPDHGのような双対性インフォームされた反復スキームをどのように学習し、適応するかを示す。
LP、OPF、ラプラシア正規化、ニューラルネットワーク検証にわたるケーススタディは、これらの利点を示している。
関連論文リスト
- Scalable Meta-Learning via Mixed-Mode Differentiation [20.117663282362944]
Mixed-Flow Meta-Gradientsは、より効率的でスケーラブルな計算グラフを構築するために混合モード微分を利用する実用的なアルゴリズムである。
モダンなメタ学習セットアップの標準実装よりも10倍以上のメモリと25%のウォールクロック時間の改善を実現している。
論文 参考訳（メタデータ） (2025-05-01T18:46:44Z) - Towards Practical Second-Order Optimizers in Deep Learning: Insights from Fisher Information Analysis [0.0]
本稿では、ディープニューラルネットワーク(DNN)のための新しい適応2階チューニングであるAdaFisherを紹介する。
AdaFisherは、改良された収束と2階法の一般化と、訓練に必要な計算効率とのギャップを埋めることを目的としている。
我々はAdaFisherが精度と収束速度の両方で最先端の近似より優れていることを示す。
論文 参考訳（メタデータ） (2025-04-26T05:02:21Z) - Learning Constrained Optimization with Deep Augmented Lagrangian Methods [54.22290715244502]
機械学習(ML)モデルは、制約付き最適化ソルバをエミュレートするために訓練される。
本稿では,MLモデルを用いて2つの解推定を直接予測する手法を提案する。
これにより、双対目的が損失関数であるエンドツーエンドのトレーニングスキームと、双対上昇法をエミュレートした原始的実現可能性への解推定を可能にする。
論文 参考訳（メタデータ） (2024-03-06T04:43:22Z) - ELRA: Exponential learning rate adaption gradient descent optimization
method [83.88591755871734]
我々は, 高速(指数率), ab initio(超自由)勾配に基づく適応法を提案する。
本手法の主な考え方は,状況認識による$alphaの適応である。
これは任意の次元 n の問題に適用でき、線型にしかスケールできない。
論文 参考訳（メタデータ） (2023-09-12T14:36:13Z) - Tutorial on amortized optimization [12.633807327297191]
このチュートリアルでは、これらの進歩の背後にある償却最適化の基礎について紹介する。
変分推論、スパース符号化、勾配に基づくメタラーニング、制御、強化学習、凸最適化、最適輸送、深い平衡ネットワークにおけるそれらの応用を概説する。
論文 参考訳（メタデータ） (2022-02-01T18:58:33Z) - Joint inference and input optimization in equilibrium networks [68.63726855991052]
ディープ均衡モデル(Deep equilibrium model)は、従来のネットワークの深さを予測し、代わりに単一の非線形層の固定点を見つけることによってネットワークの出力を計算するモデルのクラスである。
この2つの設定の間には自然なシナジーがあることが示されています。
この戦略は、生成モデルのトレーニングや、潜時符号の最適化、デノベートやインペインティングといった逆問題に対するトレーニングモデル、対逆トレーニング、勾配に基づくメタラーニングなど、様々なタスクにおいて実証される。
論文 参考訳（メタデータ） (2021-11-25T19:59:33Z) - Meta-Regularization: An Approach to Adaptive Choice of the Learning Rate
in Gradient Descent [20.47598828422897]
第一次下降法における学習率の適応的選択のための新しいアプローチであるtextit-Meta-Regularizationを提案する。
本手法は,正規化項を追加して目的関数を修正し,共同処理パラメータをキャストする。
論文 参考訳（メタデータ） (2021-04-12T13:13:34Z) - Learning to Optimize: A Primer and A Benchmark [94.29436694770953]
最適化への学習(L2O)は、機械学習を活用して最適化方法を開発する新しいアプローチです。
この記事では、継続的最適化のためのL2Oの総合的な調査とベンチマークを行う。
論文 参考訳（メタデータ） (2021-03-23T20:46:20Z) - Physarum Powered Differentiable Linear Programming Layers and
Applications [48.77235931652611]
一般線形プログラミング問題に対する効率的かつ微分可能な解法を提案する。
本稿では,ビデオセグメンテーションタスクとメタラーニングにおける問題解決手法について述べる。
論文 参考訳（メタデータ） (2020-04-30T01:50:37Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。