論文の概要: Differentiable Frank-Wolfe Optimization Layer

• arxiv url: http://arxiv.org/abs/2308.10806v1
• Date: Mon, 21 Aug 2023 15:53:38 GMT
• ステータス: 処理完了
• システム内更新日: 2023-08-22 12:50:44.465313
• Title: Differentiable Frank-Wolfe Optimization Layer
• Title（参考訳）: 微分可能なフランク・ウルフ最適化層
• Authors: Zixuan Liu, Liu Liu, Xueqian Wang, Peilin Zhao
• Abstract要約: ニューラルネットワークに基づく機械学習の領域において、微分可能な最適化は大きな注目を集めている。 本稿では,Frank-Wolfe法をロールアウトした微分可能なFrank-Wolfe Layer (DFWLayer)を提案する。 実験的な評価は、DFWLayerが解と勾配の競争精度を得るだけでなく、制約に一貫して従っていることを示している。
• 参考スコア（独自算出の注目度）: 36.274625601152884
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Differentiable optimization has received a significant amount of attention due to its foundational role in the domain of machine learning based on neural networks. The existing methods leverages the optimality conditions and implicit function theorem to obtain the Jacobian matrix of the output, which increases the computational cost and limits the application of differentiable optimization. In addition, some non-differentiable constraints lead to more challenges when using prior differentiable optimization layers. This paper proposes a differentiable layer, named Differentiable Frank-Wolfe Layer (DFWLayer), by rolling out the Frank-Wolfe method, a well-known optimization algorithm which can solve constrained optimization problems without projections and Hessian matrix computations, thus leading to a efficient way of dealing with large-scale problems. Theoretically, we establish a bound on the suboptimality gap of the DFWLayer in the context of l1-norm constraints. Experimental assessments demonstrate that the DFWLayer not only attains competitive accuracy in solutions and gradients but also consistently adheres to constraints. Moreover, it surpasses the baselines in both forward and backward computational speeds.
• Abstract（参考訳）: ニューラルネットワークに基づく機械学習の分野における基礎的な役割から、微分可能な最適化にはかなりの注目を集めている。 既存の手法は最適条件と暗黙の関数定理を利用して出力のヤコビ行列を求め、計算コストを増大させ、微分可能な最適化の適用を制限する。 さらに、いくつかの非微分可能制約は、事前微分可能最適化層を使用する際により多くの課題を引き起こす。 本稿では,Frank-Wolfe法(Frank-Wolfe method)のロールアウトによる微分可能なFrank-Wolfe層(DFWLayer)を提案する。 理論的には、dfw層の部分最適ギャップにl1-ノルム制約の文脈で境界を定める。 実験評価により,dfw層は解と勾配において競合精度を得るだけでなく,制約に一貫して従うことが示された。 さらに、前方および後方の計算速度のベースラインを超えている。

関連論文リスト

• Gradient-Variation Online Learning under Generalized Smoothness [56.38427425920781]
  勾配変分オンライン学習は、オンライン関数の勾配の変化とともにスケールする後悔の保証を達成することを目的としている。 ニューラルネットワーク最適化における最近の取り組みは、一般化された滑らかさ条件を示唆し、滑らかさは勾配ノルムと相関する。 ゲームにおける高速収束と拡張逆最適化への応用について述べる。
  論文  参考訳（メタデータ） (2024-08-17T02:22:08Z)
• Learning the Efficient Frontier [0.01874930567916036]
  我々は,効率的なフロンティア(EF)凸最適化問題の結果を頑健に予測する高速ニューラルネットワーク近似フレームワークであるNeuralEFを紹介する。 本研究では,不連続な動作を処理しながら大規模シミュレーションを高速化するための,NeuralEFが有効なソリューションであることを示す。
  論文  参考訳（メタデータ） (2023-09-27T16:49:37Z)
• Sarah Frank-Wolfe: Methods for Constrained Optimization with Best Rates and Practical Features [65.64276393443346]
  Frank-Wolfe (FW) 法は、構造化制約による最適化問題の解法として一般的な手法である。 有限サム勾配の最小化のためのアルゴリズムの2つの新しい変種を示す。
  論文  参考訳（メタデータ） (2023-04-23T20:05:09Z)
• Linearization Algorithms for Fully Composite Optimization [61.20539085730636]
  本稿では,完全合成最適化問題を凸コンパクト集合で解くための一階アルゴリズムについて検討する。 微分可能および非微分可能を別々に扱い、滑らかな部分のみを線形化することで目的の構造を利用する。
  論文  参考訳（メタデータ） (2023-02-24T18:41:48Z)
• An Empirical Evaluation of Zeroth-Order Optimization Methods on AI-driven Molecule Optimization [78.36413169647408]
  分子目的を最適化するための様々なZO最適化手法の有効性について検討する。 ZO符号に基づく勾配降下(ZO-signGD)の利点を示す。 本稿では,Guurcamol スイートから広く使用されているベンチマークタスクに対して,ZO 最適化手法の有効性を示す。
  論文  参考訳（メタデータ） (2022-10-27T01:58:10Z)
• Efficient differentiable quadratic programming layers: an ADMM approach [0.0]
  乗算器の交互方向法(ADMM)に基づく代替ネットワーク層アーキテクチャを提案する。 後方微分は、修正された固定点反復の残差写像の暗黙の微分によって行われる。 シミュレーションの結果は、中規模の問題に対してOptNet二次プログラミング層よりも約1桁高速であるADMM層の計算上の利点を示している。
  論文  参考訳（メタデータ） (2021-12-14T15:25:07Z)
• Convex Optimization with an Interpolation-based Projection and its Application to Deep Learning [36.19092177858517]
  提案手法は,不正確なが,より安価な投影法により,降下アルゴリズムを最適に駆動できるかどうかを考察する。 具体的には,凸,領域定義,関数が与えられた場合,計算コストが低く,計算が容易な非コンパクトなプロジェクションを提案する。
  論文  参考訳（メタデータ） (2020-11-13T16:52:50Z)
• Projection-Free Adaptive Gradients for Large-Scale Optimization [22.0439695290991]
  フランク=ウルフアルゴリズムは、目的から近似した一階情報のみをクエリすることで、両方の計算負担を軽減するため、ユニークな位置を占める。 本手法は,制約付き最適化のための適応アルゴリズムの性能を向上させることができることを示す。
  論文  参考訳（メタデータ） (2020-09-29T15:56:12Z)
• Efficient Optimization of Dominant Set Clustering with Frank-Wolfe Algorithms [4.873362301533825]
  ドミナント・セット・クラスタリングの効率的な最適化のために,Frank-Wolfeアルゴリズム(標準,ペアワイズ,アウトステップ)について検討する。 フランク=ウルフ法の異なる変種を利用するための統一的で計算効率の良いフレームワークを提案する。
  論文  参考訳（メタデータ） (2020-07-22T20:08:41Z)
• A Flexible Framework for Designing Trainable Priors with Adaptive Smoothing and Game Encoding [57.1077544780653]
  我々は、前方通過を非滑らかな凸最適化問題として解釈できるニューラルネットワーク層の設計とトレーニングのための一般的なフレームワークを紹介する。 グラフのノードに代表されるローカルエージェントによって解決され、正規化関数を介して相互作用する凸ゲームに焦点を当てる。 このアプローチは、訓練可能なエンドツーエンドのディープモデル内で、古典的な画像の事前使用を可能にするため、画像の問題を解決するために魅力的である。
  論文  参考訳（メタデータ） (2020-06-26T08:34:54Z)
• Cogradient Descent for Bilinear Optimization [124.45816011848096]
  双線形問題に対処するために、CoGDアルゴリズム(Cogradient Descent Algorithm)を導入する。 一方の変数は、他方の変数との結合関係を考慮し、同期勾配降下をもたらす。 本アルゴリズムは,空間的制約下での1変数の問題を解くために応用される。
  論文  参考訳（メタデータ） (2020-06-16T13:41:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。