論文の概要: Differentiable Frank-Wolfe Optimization Layer
- arxiv url: http://arxiv.org/abs/2308.10806v1
- Date: Mon, 21 Aug 2023 15:53:38 GMT
- ステータス: 処理完了
- システム内更新日: 2023-08-22 12:50:44.465313
- Title: Differentiable Frank-Wolfe Optimization Layer
- Title(参考訳): 微分可能なフランク・ウルフ最適化層
- Authors: Zixuan Liu, Liu Liu, Xueqian Wang, Peilin Zhao
- Abstract要約: ニューラルネットワークに基づく機械学習の領域において、微分可能な最適化は大きな注目を集めている。
本稿では,Frank-Wolfe法をロールアウトした微分可能なFrank-Wolfe Layer (DFWLayer)を提案する。
実験的な評価は、DFWLayerが解と勾配の競争精度を得るだけでなく、制約に一貫して従っていることを示している。
- 参考スコア(独自算出の注目度): 36.274625601152884
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Differentiable optimization has received a significant amount of attention
due to its foundational role in the domain of machine learning based on neural
networks. The existing methods leverages the optimality conditions and implicit
function theorem to obtain the Jacobian matrix of the output, which increases
the computational cost and limits the application of differentiable
optimization. In addition, some non-differentiable constraints lead to more
challenges when using prior differentiable optimization layers. This paper
proposes a differentiable layer, named Differentiable Frank-Wolfe Layer
(DFWLayer), by rolling out the Frank-Wolfe method, a well-known optimization
algorithm which can solve constrained optimization problems without projections
and Hessian matrix computations, thus leading to a efficient way of dealing
with large-scale problems. Theoretically, we establish a bound on the
suboptimality gap of the DFWLayer in the context of l1-norm constraints.
Experimental assessments demonstrate that the DFWLayer not only attains
competitive accuracy in solutions and gradients but also consistently adheres
to constraints. Moreover, it surpasses the baselines in both forward and
backward computational speeds.
- Abstract(参考訳): ニューラルネットワークに基づく機械学習の分野における基礎的な役割から、微分可能な最適化にはかなりの注目を集めている。
既存の手法は最適条件と暗黙の関数定理を利用して出力のヤコビ行列を求め、計算コストを増大させ、微分可能な最適化の適用を制限する。
さらに、いくつかの非微分可能制約は、事前微分可能最適化層を使用する際により多くの課題を引き起こす。
本稿では,Frank-Wolfe法(Frank-Wolfe method)のロールアウトによる微分可能なFrank-Wolfe層(DFWLayer)を提案する。
理論的には、dfw層の部分最適ギャップにl1-ノルム制約の文脈で境界を定める。
実験評価により,dfw層は解と勾配において競合精度を得るだけでなく,制約に一貫して従うことが示された。
さらに、前方および後方の計算速度のベースラインを超えている。
関連論文リスト
- Analyzing and Enhancing the Backward-Pass Convergence of Unrolled
Optimization [50.38518771642365]
ディープネットワークにおけるコンポーネントとしての制約付き最適化モデルの統合は、多くの専門的な学習タスクに有望な進歩をもたらした。
この設定における中心的な課題は最適化問題の解によるバックプロパゲーションであり、しばしば閉形式を欠いている。
本稿では, 非線形最適化の後方通過に関する理論的知見を提供し, 特定の反復法による線形システムの解と等価であることを示す。
Folded Optimizationと呼ばれるシステムが提案され、非ローリングなソルバ実装からより効率的なバックプロパゲーションルールを構築する。
論文 参考訳(メタデータ) (2023-12-28T23:15:18Z) - Linearization Algorithms for Fully Composite Optimization [61.20539085730636]
本稿では,完全合成最適化問題を凸コンパクト集合で解くための一階アルゴリズムについて検討する。
微分可能および非微分可能を別々に扱い、滑らかな部分のみを線形化することで目的の構造を利用する。
論文 参考訳(メタデータ) (2023-02-24T18:41:48Z) - Efficient Gradient Approximation Method for Constrained Bilevel
Optimization [2.0305676256390934]
大規模高次元データを用いたバイレベル最適化が開発されている。
本稿では凸と微分不可能な近似を伴う制約付き二値問題について考察する。
論文 参考訳(メタデータ) (2023-02-03T19:34:56Z) - Accelerated First-Order Optimization under Nonlinear Constraints [73.2273449996098]
我々は、制約付き最適化のための一階アルゴリズムと非滑らかなシステムの間で、新しい一階アルゴリズムのクラスを設計する。
これらのアルゴリズムの重要な性質は、制約がスパース変数の代わりに速度で表されることである。
論文 参考訳(メタデータ) (2023-02-01T08:50:48Z) - Alternating Differentiation for Optimization Layers [133.2668019610731]
そこで我々は,最適化問題を識別するAlternating Differentiation (Alt-Diff) という新しいフレームワークを開発した。
Alt-Diff はヤコビ行列の次元を特に大規模制約のある最適化のために著しく減少させることを示す。
また,Alt-Diffを切断して計算速度をさらに高速化することを提案する。
論文 参考訳(メタデータ) (2022-10-03T11:32:13Z) - The Curse of Unrolling: Rate of Differentiating Through Optimization [35.327233435055305]
未分化は反復解法を用いて解を近似し、計算経路を通して解を微分する。
我々は,(1)高速収束につながる大きな学習率を選択することができるが,アルゴリズムが任意に長いバーンインフェーズを持つことを受け入れるか,あるいは(2)即時収束につながるより少ない学習率を選択するかのどちらかを示す。
論文 参考訳(メタデータ) (2022-09-27T09:27:29Z) - Efficient differentiable quadratic programming layers: an ADMM approach [0.0]
乗算器の交互方向法(ADMM)に基づく代替ネットワーク層アーキテクチャを提案する。
後方微分は、修正された固定点反復の残差写像の暗黙の微分によって行われる。
シミュレーションの結果は、中規模の問題に対してOptNet二次プログラミング層よりも約1桁高速であるADMM層の計算上の利点を示している。
論文 参考訳(メタデータ) (2021-12-14T15:25:07Z) - Recent Theoretical Advances in Non-Convex Optimization [56.88981258425256]
近年、深層ネットワークにおける非最適化アルゴリズムの解析やデータ問題への関心が高まっており、非最適化のための理論的最適化アルゴリズムの最近の結果の概要を概説する。
論文 参考訳(メタデータ) (2020-12-11T08:28:51Z) - Projection-Free Adaptive Gradients for Large-Scale Optimization [22.0439695290991]
フランク=ウルフアルゴリズムは、目的から近似した一階情報のみをクエリすることで、両方の計算負担を軽減するため、ユニークな位置を占める。
本手法は,制約付き最適化のための適応アルゴリズムの性能を向上させることができることを示す。
論文 参考訳(メタデータ) (2020-09-29T15:56:12Z) - Cogradient Descent for Bilinear Optimization [124.45816011848096]
双線形問題に対処するために、CoGDアルゴリズム(Cogradient Descent Algorithm)を導入する。
一方の変数は、他方の変数との結合関係を考慮し、同期勾配降下をもたらす。
本アルゴリズムは,空間的制約下での1変数の問題を解くために応用される。
論文 参考訳(メタデータ) (2020-06-16T13:41:54Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。