論文の概要: Smooth Bilevel Programming for Sparse Regularization

• arxiv url: http://arxiv.org/abs/2106.01429v1
• Date: Wed, 2 Jun 2021 19:18:22 GMT
• ステータス: 処理完了
• システム内更新日: 2021-06-05 05:50:12.676731
• Title: Smooth Bilevel Programming for Sparse Regularization
• Title（参考訳）: スパース正規化のための滑らかなバイレベルプログラミング
• Authors: Clarice Poon and Gabriel Peyr\'e
• Abstract要約: 反復再重み付き最小二乗法(IRLS)は、機械学習における空間的回帰問題を解くための一般的な手法である。 両レベルスキームが組み合わさって、IRLSの驚くほど再パラメータ化が、いかにスパーシティの上位化を実現するかを示す。
• 参考スコア（独自算出の注目度）: 5.177947445379688
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Iteratively reweighted least square (IRLS) is a popular approach to solve sparsity-enforcing regression problems in machine learning. State of the art approaches are more efficient but typically rely on specific coordinate pruning schemes. In this work, we show how a surprisingly simple reparametrization of IRLS, coupled with a bilevel resolution (instead of an alternating scheme) is able to achieve top performances on a wide range of sparsity (such as Lasso, group Lasso and trace norm regularizations), regularization strength (including hard constraints), and design matrices (ranging from correlated designs to differential operators). Similarly to IRLS, our method only involves linear systems resolutions, but in sharp contrast, corresponds to the minimization of a smooth function. Despite being non-convex, we show that there is no spurious minima and that saddle points are "ridable", so that there always exists a descent direction. We thus advocate for the use of a BFGS quasi-Newton solver, which makes our approach simple, robust and efficient. We perform a numerical benchmark of the convergence speed of our algorithm against state of the art solvers for Lasso, group Lasso, trace norm and linearly constrained problems. These results highlight the versatility of our approach, removing the need to use different solvers depending on the specificity of the ML problem under study.
• Abstract（参考訳）: 反復的重み付け最小正方形(irls)は、機械学習におけるスパーシティ強化回帰問題を解決するための一般的なアプローチである。 state of the artアプローチはより効率的だが、通常は特定の座標プラニングスキームに依存している。 本研究では,irlsの驚くほど単純な再パラメータ化と,(交互なスキームではなく)2段階の解像度を組み合わせることで,幅広いスパース性(ラッソ,グループラッソ,トレースノルム正規化など),正規化強度(ハード制約を含む),設計行列(微分作用素と相関した設計から配置)において最高性能を達成できることを示す。 IRLSと同様に、この手法は線形システム分解のみを含むが、鋭いコントラストでは滑らかな関数の最小化に対応する。 非凸であるにもかかわらず、スパイラルなミニマが存在しないことと、サドル点が常に降下方向が存在することを示せる。 したがって、bfgs準ニュートンソルバの使用を提唱し、この手法をシンプルでロバストで効率的なものにする。 我々は,ラッソ,グループラッソ,トレースノルム,線形制約問題に対して,アルゴリズムの収束速度の数値ベンチマークを行う。 これらの結果は,本手法の汎用性を強調し,研究中のML問題の特異性に応じて,異なる解法を使用する必要性を排除した。

関連論文リスト

• Constrained Optimization via Exact Augmented Lagrangian and Randomized Iterative Sketching [55.28394191394675]
  等式制約付き非線形非IBS最適化問題に対する適応的不正確なニュートン法を開発した。 ベンチマーク非線形問題,LVMのデータによる制約付きロジスティック回帰,PDE制約問題において,本手法の優れた性能を示す。
  論文  参考訳（メタデータ） (2023-05-28T06:33:37Z)
• Infeasible Deterministic, Stochastic, and Variance-Reduction Algorithms for Optimization under Orthogonality Constraints [9.301728976515255]
  本稿では,着陸アルゴリズムの実用化と理論的展開について述べる。 まず、この方法はスティーフェル多様体に拡張される。 また、コスト関数が多くの関数の平均である場合の分散還元アルゴリズムについても検討する。
  論文  参考訳（メタデータ） (2023-03-29T07:36:54Z)
• Smooth over-parameterized solvers for non-smooth structured optimization [3.756550107432323]
  非滑らか性 (non-smoothness) は、空間性、群空間性、低ランクエッジ、鋭いエッジなどの解の構造的制約を符号化する。 我々は、基礎となる非滑らかな最適化問題の非重み付きだが滑らかな過度パラメータ化を運用する。 我々の主な貢献は変数の一部を明示的に最小化することで新しい定式化を定義する変数射影(VarPro)を適用することです。
  論文  参考訳（メタデータ） (2022-05-03T09:23:07Z)
• Solving weakly supervised regression problem using low-rank manifold regularization [77.34726150561087]
  我々は弱い教師付き回帰問題を解く。 weakly"の下では、いくつかのトレーニングポイントではラベルが知られ、未知のものもあれば、無作為なノイズの存在やリソースの欠如などの理由によって不確かであることが分かっています。 数値的な節ではモンテカルロモデルを用いて提案手法を人工と実のデータセットに適用した。
  論文  参考訳（メタデータ） (2021-04-13T23:21:01Z)
• Hybrid Trilinear and Bilinear Programming for Aligning Partially Overlapping Point Sets [85.71360365315128]
  多くの応用において、部分重なり合う点集合が対応するRPMアルゴリズムに不変であるようなアルゴリズムが必要である。 まず、目的が立方体有界関数であることを示し、次に、三線型および双線型単相変換の凸エンベロープを用いて、その下界を導出する。 次に、変換変数上の分岐のみを効率よく実行するブランチ・アンド・バウンド(BnB)アルゴリズムを開発する。
  論文  参考訳（メタデータ） (2021-01-19T04:24:23Z)
• Conditional gradient methods for stochastically constrained convex minimization [54.53786593679331]
  構造凸最適化問題に対する条件勾配に基づく2つの新しい解法を提案する。 私たちのフレームワークの最も重要な特徴は、各イテレーションで制約のサブセットだけが処理されることです。 提案アルゴリズムは, 条件勾配のステップとともに, 分散の低減と平滑化に頼り, 厳密な収束保証を伴っている。
  論文  参考訳（メタデータ） (2020-07-07T21:26:35Z)
• Physarum Powered Differentiable Linear Programming Layers and Applications [48.77235931652611]
  一般線形プログラミング問題に対する効率的かつ微分可能な解法を提案する。 本稿では,ビデオセグメンテーションタスクとメタラーニングにおける問題解決手法について述べる。
  論文  参考訳（メタデータ） (2020-04-30T01:50:37Z)
• Stochastic gradient algorithms from ODE splitting perspective [0.0]
  我々は、ODEの近似解の分割スキームに遡る最適化に関する異なる見解を示す。 そこで本研究では, ODE の勾配一階分割方式と降下アプローチの関連性について述べる。 我々は、機械学習アプリケーションにインスパイアされた分割の特殊なケースを考察し、それに対するグローバルスプリッティングエラーに新たな上限を導出する。
  論文  参考訳（メタデータ） (2020-04-19T22:45:32Z)
• Multi-Objective Matrix Normalization for Fine-grained Visual Recognition [153.49014114484424]
  双線形プールは細粒度視覚認識(FGVC)において大きな成功を収める 近年,行列パワー正規化は双線形特徴量において2次情報を安定化させることができることが示されている。 両線形表現を同時に正規化できる効率的な多目的行列正規化法(MOMN)を提案する。
  論文  参考訳（メタデータ） (2020-03-30T08:40:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。