Fugu-MT 論文翻訳(概要): DFWLayer: Differentiable Frank-Wolfe Optimization Layer

論文の概要: DFWLayer: Differentiable Frank-Wolfe Optimization Layer

arxiv url: http://arxiv.org/abs/2308.10806v2
Date: Fri, 29 Mar 2024 06:15:41 GMT
ステータス: 処理完了
システム内更新日: 2024-04-01 20:46:32.725773
Title: DFWLayer: Differentiable Frank-Wolfe Optimization Layer
Title（参考訳）: DFWLayer: 微分可能なFrank-Wolfe最適化レイヤ
Authors: Zixuan Liu, Liu Liu, Xueqian Wang, Peilin Zhao,
Abstract要約: ニューラルネットワークに基づく機械学習の分野において、差別化可能な最適化は基礎的な役割を担っているため、かなりの注目を集めている。本稿では,Frank-Wolfe法をロールアウトした微分可能なFrank-Wolfe Layer (DFWLayer)を提案する。実験の結果、DFWLayerは解と勾配の競争精度を得るだけでなく、制約に一貫して従うことを示した。
参考スコア（独自算出の注目度）: 33.20550212188619
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Differentiable optimization has received a significant amount of attention due to its foundational role in the domain of machine learning based on neural networks. This paper proposes a differentiable layer, named Differentiable Frank-Wolfe Layer (DFWLayer), by rolling out the Frank-Wolfe method, a well-known optimization algorithm which can solve constrained optimization problems without projections and Hessian matrix computations, thus leading to an efficient way of dealing with large-scale convex optimization problems with norm constraints. Experimental results demonstrate that the DFWLayer not only attains competitive accuracy in solutions and gradients but also consistently adheres to constraints.
Abstract（参考訳）: ニューラルネットワークに基づく機械学習の分野における基礎的な役割から、微分可能な最適化は大きな注目を集めている。本稿では,Frank-Wolfe法(Frank-Wolfe method)のロールアウトにより,Frank-Wolfe法(DFWLayer)と呼ばれる微分可能な層を提案する。実験の結果、DFWLayerは解と勾配の競争精度を得るだけでなく、制約に一貫して従うことを示した。

関連論文リスト

Gradient-Variation Online Learning under Generalized Smoothness [56.38427425920781]
勾配変分オンライン学習は、オンライン関数の勾配の変化とともにスケールする後悔の保証を達成することを目的としている。ニューラルネットワーク最適化における最近の取り組みは、一般化された滑らかさ条件を示唆し、滑らかさは勾配ノルムと相関する。ゲームにおける高速収束と拡張逆最適化への応用について述べる。
論文参考訳（メタデータ） (2024-08-17T02:22:08Z)
Learning the Efficient Frontier [0.01874930567916036]
我々は,効率的なフロンティア(EF)凸最適化問題の結果を頑健に予測する高速ニューラルネットワーク近似フレームワークであるNeuralEFを紹介する。本研究では,不連続な動作を処理しながら大規模シミュレーションを高速化するための,NeuralEFが有効なソリューションであることを示す。
論文参考訳（メタデータ） (2023-09-27T16:49:37Z)
Sarah Frank-Wolfe: Methods for Constrained Optimization with Best Rates and Practical Features [65.64276393443346]
Frank-Wolfe (FW) 法は、構造化制約による最適化問題の解法として一般的な手法である。有限サム勾配の最小化のためのアルゴリズムの2つの新しい変種を示す。
論文参考訳（メタデータ） (2023-04-23T20:05:09Z)
Linearization Algorithms for Fully Composite Optimization [61.20539085730636]
本稿では,完全合成最適化問題を凸コンパクト集合で解くための一階アルゴリズムについて検討する。微分可能および非微分可能を別々に扱い、滑らかな部分のみを線形化することで目的の構造を利用する。
論文参考訳（メタデータ） (2023-02-24T18:41:48Z)
An Empirical Evaluation of Zeroth-Order Optimization Methods on AI-driven Molecule Optimization [78.36413169647408]
分子目的を最適化するための様々なZO最適化手法の有効性について検討する。 ZO符号に基づく勾配降下(ZO-signGD)の利点を示す。本稿では,Guurcamol スイートから広く使用されているベンチマークタスクに対して,ZO 最適化手法の有効性を示す。
論文参考訳（メタデータ） (2022-10-27T01:58:10Z)
Efficient differentiable quadratic programming layers: an ADMM approach [0.0]
乗算器の交互方向法(ADMM)に基づく代替ネットワーク層アーキテクチャを提案する。後方微分は、修正された固定点反復の残差写像の暗黙の微分によって行われる。シミュレーションの結果は、中規模の問題に対してOptNet二次プログラミング層よりも約1桁高速であるADMM層の計算上の利点を示している。
論文参考訳（メタデータ） (2021-12-14T15:25:07Z)
Convex Optimization with an Interpolation-based Projection and its Application to Deep Learning [36.19092177858517]
提案手法は,不正確なが,より安価な投影法により,降下アルゴリズムを最適に駆動できるかどうかを考察する。具体的には,凸,領域定義,関数が与えられた場合,計算コストが低く,計算が容易な非コンパクトなプロジェクションを提案する。
論文参考訳（メタデータ） (2020-11-13T16:52:50Z)
Projection-Free Adaptive Gradients for Large-Scale Optimization [22.0439695290991]
フランク=ウルフアルゴリズムは、目的から近似した一階情報のみをクエリすることで、両方の計算負担を軽減するため、ユニークな位置を占める。本手法は,制約付き最適化のための適応アルゴリズムの性能を向上させることができることを示す。
論文参考訳（メタデータ） (2020-09-29T15:56:12Z)
Efficient Optimization of Dominant Set Clustering with Frank-Wolfe Algorithms [4.873362301533825]
ドミナント・セット・クラスタリングの効率的な最適化のために,Frank-Wolfeアルゴリズム(標準,ペアワイズ,アウトステップ)について検討する。フランク=ウルフ法の異なる変種を利用するための統一的で計算効率の良いフレームワークを提案する。
論文参考訳（メタデータ） (2020-07-22T20:08:41Z)
A Flexible Framework for Designing Trainable Priors with Adaptive Smoothing and Game Encoding [57.1077544780653]
我々は、前方通過を非滑らかな凸最適化問題として解釈できるニューラルネットワーク層の設計とトレーニングのための一般的なフレームワークを紹介する。グラフのノードに代表されるローカルエージェントによって解決され、正規化関数を介して相互作用する凸ゲームに焦点を当てる。このアプローチは、訓練可能なエンドツーエンドのディープモデル内で、古典的な画像の事前使用を可能にするため、画像の問題を解決するために魅力的である。
論文参考訳（メタデータ） (2020-06-26T08:34:54Z)
Cogradient Descent for Bilinear Optimization [124.45816011848096]
双線形問題に対処するために、CoGDアルゴリズム(Cogradient Descent Algorithm)を導入する。一方の変数は、他方の変数との結合関係を考慮し、同期勾配降下をもたらす。本アルゴリズムは,空間的制約下での1変数の問題を解くために応用される。
論文参考訳（メタデータ） (2020-06-16T13:41:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。