論文の概要: Competitive Mirror Descent

• arxiv url: http://arxiv.org/abs/2006.10179v1
• Date: Wed, 17 Jun 2020 22:11:35 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-19 21:37:31.510625
• Title: Competitive Mirror Descent
• Title（参考訳）: 競争力のあるミラー降下
• Authors: Florian Sch\"afer and Anima Anandkumar and Houman Owhadi
• Abstract要約: 制約のある競合最適化には、制約の対象となる競合する目的を最小化しようとする複数のエージェントが含まれる。 本稿では, 競合ミラー降下法(CMD)を提案する。 特別の場合として、正の円錐上の問題に対する新しい競合乗法重みアルゴリズムを得る。
• 参考スコア（独自算出の注目度）: 67.31015611281225
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Constrained competitive optimization involves multiple agents trying to minimize conflicting objectives, subject to constraints. This is a highly expressive modeling language that subsumes most of modern machine learning. In this work we propose competitive mirror descent (CMD): a general method for solving such problems based on first order information that can be obtained by automatic differentiation. First, by adding Lagrange multipliers, we obtain a simplified constraint set with an associated Bregman potential. At each iteration, we then solve for the Nash equilibrium of a regularized bilinear approximation of the full problem to obtain a direction of movement of the agents. Finally, we obtain the next iterate by following this direction according to the dual geometry induced by the Bregman potential. By using the dual geometry we obtain feasible iterates despite only solving a linear system at each iteration, eliminating the need for projection steps while still accounting for the global nonlinear structure of the constraint set. As a special case we obtain a novel competitive multiplicative weights algorithm for problems on the positive cone.
• Abstract（参考訳）: 制約付き競争最適化は、制約の対象となる競合する目標を最小化しようとする複数のエージェントを含む。 これは非常に表現力豊かなモデリング言語であり、現代の機械学習のほとんどを仮定している。 本研究では,自動微分によって得られる一階情報に基づいて,そのような問題を解決する汎用手法である競争ミラー降下法(cmd)を提案する。 まず、ラグランジュ乗数を加えることで、関連するブレグマンポテンシャルを持つ単純化された制約集合を得る。 各イテレーションにおいて、全問題の正規化された双線形近似のナッシュ平衡を解き、エージェントの運動方向を求める。 最後に、ブレグマンポテンシャルによって誘導される双対幾何学に従って、この方向を従えば次の繰り返しが得られる。 双対幾何を用いることで、各反復で線形系を解くだけで実現可能なイテレートを得ることができ、制約集合の大域的非線形構造を考慮しつつ射影ステップを不要にすることができる。 特別の場合として、正の円錐上の問題に対する新しい競合乗法重みアルゴリズムを得る。

関連論文リスト

• Stable Nonconvex-Nonconcave Training via Linear Interpolation [51.668052890249726]
  本稿では,ニューラルネットワークトレーニングを安定化(大規模)するための原理的手法として,線形アヘッドの理論解析を提案する。 最適化過程の不安定性は、しばしば損失ランドスケープの非単調性によって引き起こされるものであり、非拡張作用素の理論を活用することによって線型性がいかに役立つかを示す。
  論文  参考訳（メタデータ） (2023-10-20T12:45:12Z)
• Constrained Optimization via Exact Augmented Lagrangian and Randomized Iterative Sketching [55.28394191394675]
  等式制約付き非線形非IBS最適化問題に対する適応的不正確なニュートン法を開発した。 ベンチマーク非線形問題,LVMのデータによる制約付きロジスティック回帰,PDE制約問題において,本手法の優れた性能を示す。
  論文  参考訳（メタデータ） (2023-05-28T06:33:37Z)
• Efficient Alternating Minimization Solvers for Wyner Multi-View Unsupervised Learning [0.0]
  本稿では,計算効率のよい解法の開発を可能にする2つの新しい定式化法を提案する。 提案した解法は, 計算効率, 理論的収束保証, ビュー数による局所最小値複雑性, 最先端技術と比較して, 例外的な精度を提供する。
  論文  参考訳（メタデータ） (2023-03-28T10:17:51Z)
• Efficient Global Optimization of Two-layer ReLU Networks: Quadratic-time Algorithms and Adversarial Training [12.354076490479516]
  我々は,ANNをグローバル収束保証で訓練する2つの効率的なアルゴリズムを開発した。 最初のアルゴリズムは交互法乗算器(ADMM)に基づいている 第二のアルゴリズムは、"sampled convex program"理論に基づいており、実装が簡単である。
  論文  参考訳（メタデータ） (2022-01-06T08:24:11Z)
• Sparse Quadratic Optimisation over the Stiefel Manifold with Application to Permutation Synchronisation [71.27989298860481]
  二次目的関数を最大化するスティーフェル多様体上の行列を求める非最適化問題に対処する。 そこで本研究では,支配的固有空間行列を求めるための,単純かつ効果的なスパーシティプロモーティングアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2021-09-30T19:17:35Z)
• Unfolding Projection-free SDP Relaxation of Binary Graph Classifier via GDPA Linearization [59.87663954467815]
  アルゴリズムの展開は、モデルベースのアルゴリズムの各イテレーションをニューラルネットワーク層として実装することにより、解釈可能で類似のニューラルネットワークアーキテクチャを生成する。 本稿では、Gershgorin disc perfect alignment (GDPA)と呼ばれる最近の線形代数定理を利用して、二進グラフの半定値プログラミング緩和(SDR)のためのプロジェクションフリーアルゴリズムをアンロールする。 実験結果から,我々の未学習ネットワークは純粋モデルベースグラフ分類器よりも優れ,純粋データ駆動ネットワークに匹敵する性能を示したが,パラメータははるかに少なかった。
  論文  参考訳（メタデータ） (2021-09-10T07:01:15Z)
• Optimization Induced Equilibrium Networks [76.05825996887573]
  暗黙の方程式によって定義されるディープニューラルネットワーク(DNN)のような暗黙の平衡モデルは最近ますます魅力的になりつつある。 我々は,パラメータが少ない場合でも,OptEqが従来の暗黙的モデルより優れていることを示す。
  論文  参考訳（メタデータ） (2021-05-27T15:17:41Z)
• Mixed-Projection Conic Optimization: A New Paradigm for Modeling Rank Constraints [3.179831861897336]
  低ランク最適化問題を証明可能な最適性に解決するためのフレームワークを提供する。 我々のフレームワークは、ラウンドリングや局所探索技術を通じて、ほぼ最適のソリューションを提供する。
  論文  参考訳（メタデータ） (2020-09-22T08:59:06Z)
• Solution Path Algorithm for Twin Multi-class Support Vector Machine [6.97711662470035]
  本論文は, ツインマルチクラスサポートベクトルマシンの高速正規化パラメータチューニングアルゴリズムについて述べる。 新たなサンプルデータセット分割法を採用し,ラグランジアン乗算器は分数線形であることが証明された。 提案手法は,グリッド探索手法の計算コストを指数レベルから定数レベルに削減し,優れた分類性能を実現する。
  論文  参考訳（メタデータ） (2020-05-30T14:05:46Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。