論文の概要: Convex Optimization with an Interpolation-based Projection and its Application to Deep Learning

• arxiv url: http://arxiv.org/abs/2011.07016v1
• Date: Fri, 13 Nov 2020 16:52:50 GMT
• ステータス: 処理完了
• システム内更新日: 2022-09-25 23:43:33.283394
• Title: Convex Optimization with an Interpolation-based Projection and its Application to Deep Learning
• Title（参考訳）: 補間型投影による凸最適化と深層学習への応用
• Authors: Riad Akrour, Asma Atamna, Jan Peters
• Abstract要約: 提案手法は,不正確なが,より安価な投影法により,降下アルゴリズムを最適に駆動できるかどうかを考察する。 具体的には,凸,領域定義,関数が与えられた場合,計算コストが低く,計算が容易な非コンパクトなプロジェクションを提案する。
• 参考スコア（独自算出の注目度）: 36.19092177858517
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Convex optimizers have known many applications as differentiable layers within deep neural architectures. One application of these convex layers is to project points into a convex set. However, both forward and backward passes of these convex layers are significantly more expensive to compute than those of a typical neural network. We investigate in this paper whether an inexact, but cheaper projection, can drive a descent algorithm to an optimum. Specifically, we propose an interpolation-based projection that is computationally cheap and easy to compute given a convex, domain defining, function. We then propose an optimization algorithm that follows the gradient of the composition of the objective and the projection and prove its convergence for linear objectives and arbitrary convex and Lipschitz domain defining inequality constraints. In addition to the theoretical contributions, we demonstrate empirically the practical interest of the interpolation projection when used in conjunction with neural networks in a reinforcement learning and a supervised learning setting.
• Abstract（参考訳）: convexオプティマイザは、ディープニューラルネットワークアーキテクチャ内の微分可能なレイヤとして、多くのアプリケーションを知っている。 これらの凸層の1つの応用は、凸集合に点を投影することである。 しかし、これらの凸層の前方および後方の通過は、通常のニューラルネットワークよりも計算がかなり高価である。 本稿では,不正確ながより安価な投影法が降下アルゴリズムを最適に駆動できるかどうかを考察する。 具体的には,コンベックス,ドメイン定義,関数が与えられた場合,計算コストが低く,計算が容易な補間型プロジェクションを提案する。 次に,対象と射影の構成の勾配に従う最適化アルゴリズムを提案し,線形対象と任意の凸および不等式制約を定義するリプシッツ領域の収束を証明する。 理論的な貢献に加えて、強化学習と教師付き学習設定において、ニューラルネットワークと連携して使用する場合の補間投影の実用的関心を実証的に示す。

関連論文リスト

• The Convex Landscape of Neural Networks: Characterizing Global Optima and Stationary Points via Lasso Models [75.33431791218302]
  ディープニューラルネットワーク(DNN)モデルは、プログラミング目的に使用される。 本稿では,凸型神経回復モデルについて検討する。 定常的非次元目的物はすべて,グローバルサブサンプリング型凸解法プログラムとして特徴付けられることを示す。 また, 静止非次元目的物はすべて, グローバルサブサンプリング型凸解法プログラムとして特徴付けられることを示す。
  論文  参考訳（メタデータ） (2023-12-19T23:04:56Z)
• DFWLayer: Differentiable Frank-Wolfe Optimization Layer [33.20550212188619]
  ニューラルネットワークに基づく機械学習の分野において、差別化可能な最適化は基礎的な役割を担っているため、かなりの注目を集めている。 本稿では,Frank-Wolfe法をロールアウトした微分可能なFrank-Wolfe Layer (DFWLayer)を提案する。 実験の結果、DFWLayerは解と勾配の競争精度を得るだけでなく、制約に一貫して従うことを示した。
  論文  参考訳（メタデータ） (2023-08-21T15:53:38Z)
• Linearization Algorithms for Fully Composite Optimization [61.20539085730636]
  本稿では,完全合成最適化問題を凸コンパクト集合で解くための一階アルゴリズムについて検討する。 微分可能および非微分可能を別々に扱い、滑らかな部分のみを線形化することで目的の構造を利用する。
  論文  参考訳（メタデータ） (2023-02-24T18:41:48Z)
• Optimization-Based Separations for Neural Networks [57.875347246373956]
  本研究では,2層のシグモダルアクティベーションを持つディープ2ニューラルネットワークを用いて,ボールインジケータ関数を効率よく学習できることを示す。 これは最適化に基づく最初の分離結果であり、より強力なアーキテクチャの近似の利点は、実際に確実に現れる。
  論文  参考訳（メタデータ） (2021-12-04T18:07:47Z)
• Delayed Projection Techniques for Linearly Constrained Problems: Convergence Rates, Acceleration, and Applications [24.763531954075656]
  線形制約問題(LCP)に対する新しいプロジェクションベースアルゴリズムのクラスについて検討する。 そこで本研究では,射影を一時的に呼び出す遅延射影手法を提案し,射影周波数を下げ,射影効率を向上させる。 強凸, 一般凸のどちらの場合においても, 投射効率を向上させることが可能であることを示す。
  論文  参考訳（メタデータ） (2021-01-05T13:42:41Z)
• Zeroth-Order Hybrid Gradient Descent: Towards A Principled Black-Box Optimization Framework [100.36569795440889]
  この作業は、一階情報を必要としない零次最適化(ZO)の反復である。 座標重要度サンプリングにおける優雅な設計により,ZO最適化法は複雑度と関数クエリコストの両面において効率的であることを示す。
  論文  参考訳（メタデータ） (2020-12-21T17:29:58Z)
• Efficient Methods for Structured Nonconvex-Nonconcave Min-Max Optimization [98.0595480384208]
  定常点に収束する一般化外空間を提案する。 このアルゴリズムは一般の$p$ノルド空間だけでなく、一般の$p$次元ベクトル空間にも適用される。
  論文  参考訳（メタデータ） (2020-10-31T21:35:42Z)
• Projection-Free Adaptive Gradients for Large-Scale Optimization [22.0439695290991]
  フランク=ウルフアルゴリズムは、目的から近似した一階情報のみをクエリすることで、両方の計算負担を軽減するため、ユニークな位置を占める。 本手法は,制約付き最適化のための適応アルゴリズムの性能を向上させることができることを示す。
  論文  参考訳（メタデータ） (2020-09-29T15:56:12Z)
• The Hidden Convex Optimization Landscape of Two-Layer ReLU Neural Networks: an Exact Characterization of the Optimal Solutions [51.60996023961886]
  コーン制約のある凸最適化プログラムを解くことにより,グローバルな2層ReLUニューラルネットワークの探索が可能であることを示す。 我々の分析は新しく、全ての最適解を特徴づけ、最近、ニューラルネットワークのトレーニングを凸空間に持ち上げるために使われた双対性に基づく分析を活用できない。
  論文  参考訳（メタデータ） (2020-06-10T15:38:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。