論文の概要: Persistent Reductions in Regularized Loss Minimization for Variable
Selection
- arxiv url: http://arxiv.org/abs/2011.14549v1
- Date: Mon, 30 Nov 2020 04:59:44 GMT
- ステータス: 処理完了
- システム内更新日: 2021-06-06 14:56:14.328224
- Title: Persistent Reductions in Regularized Loss Minimization for Variable
Selection
- Title(参考訳): 可変選択のための正規化損失最小化の持続的削減
- Authors: Amin Jalali
- Abstract要約: 広い種類の損失関数に対して、係数がゼロであることが保証される部分集合を効率的に同定できることが示される。
我々は、超高次元問題に適用できるように、既存のレイアルゴリズムを極端線識別に使用し、保証アルゴリズムを適用させる。
- 参考スコア(独自算出の注目度): 3.3504365823045035
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: In the context of regularized loss minimization with polyhedral gauges, we
show that for a broad class of loss functions (possibly non-smooth and
non-convex) and under a simple geometric condition on the input data it is
possible to efficiently identify a subset of features which are guaranteed to
have zero coefficients in all optimal solutions in all problems with loss
functions from said class, before any iterative optimization has been performed
for the original problem. This procedure is standalone, takes only the data as
input, and does not require any calls to the loss function. Therefore, we term
this procedure as a persistent reduction for the aforementioned class of
regularized loss minimization problems. This reduction can be efficiently
implemented via an extreme ray identification subroutine applied to a
polyhedral cone formed from the datapoints. We employ an existing
output-sensitive algorithm for extreme ray identification which makes our
guarantee and algorithm applicable in ultra-high dimensional problems.
- Abstract(参考訳): 多面体ゲージによる正規化損失最小化の文脈では、幅広い損失関数(おそらく非スムースおよび非凸)と入力データ上の単純な幾何条件の下では、元の問題に対して反復最適化が行われる前に、そのクラスから損失関数を持つすべての問題において、すべての最適解において0係数であることが保証された特徴のサブセットを効率的に識別することができる。
この手順はスタンドアロンで、データのみを入力として取り、損失関数を呼び出す必要はない。
そこで我々は,この手順を,上述の正規化損失最小化問題に対する持続的削減とみなす。
この低減は、データポイントから形成された多面体円錐に適用される極端線識別サブルーチンを介して効率的に実装することができる。
我々は,超高次元問題に適用可能な,既存の極端線識別のための出力センシティブアルゴリズムを採用している。
関連論文リスト
- On the existence of minimizers in shallow residual ReLU neural network
optimization landscapes [2.1055643409860743]
実際の関連する学習問題では、GD最適化プロセスが境界を保ち続けるように、ANNアーキテクチャを設計することが望ましいと考えられる。
特に、GDトラジェクトリは、誤差関数(対象関数)の無限小が最適化ランドスケープで達成されない場合、無限大に逃れることができる。
このことは、最適化ランドスケープにおける最小化器の存在に関する疑問を自然に提起する。
論文 参考訳(メタデータ) (2023-02-28T16:01:38Z) - Offline Minimax Soft-Q-learning Under Realizability and Partial Coverage [100.8180383245813]
オフライン強化学習(RL)のための値ベースアルゴリズムを提案する。
ソフトマージン条件下でのバニラQ関数の類似した結果を示す。
我々のアルゴリズムの損失関数は、推定問題を非線形凸最適化問題とラグランジフィケーションとしてキャストすることによって生じる。
論文 参考訳(メタデータ) (2023-02-05T14:22:41Z) - An Accelerated Doubly Stochastic Gradient Method with Faster Explicit
Model Identification [97.28167655721766]
本稿では、分散正規化損失最小化問題に対する2倍加速勾配降下法(ADSGD)を提案する。
まず、ADSGDが線形収束率を達成でき、全体的な計算複雑性を低減できることを示す。
論文 参考訳(メタデータ) (2022-08-11T22:27:22Z) - Support Vector Machines with the Hard-Margin Loss: Optimal Training via
Combinatorial Benders' Cuts [8.281391209717105]
我々は、グローバルな最適性のために、ハードマージンのSVMモデルをトレーニングする方法を示す。
本稿では,この問題を解くための反復サンプリングと部分分解アルゴリズムを提案する。
論文 参考訳(メタデータ) (2022-07-15T18:21:51Z) - Adaptivity and Non-stationarity: Problem-dependent Dynamic Regret for
Online Convex Optimization [93.71361250701075]
本稿では,スムーズさを生かし,問題依存量による動的後悔のT$への依存を補う新しいオンラインアルゴリズムを提案する。
この結果が本質的な難易度に適応するのは, 既往の結果よりも厳密であり, 最悪の場合, 同一の値が保証されるためである。
論文 参考訳(メタデータ) (2021-12-29T02:42:59Z) - Solving weakly supervised regression problem using low-rank manifold
regularization [77.34726150561087]
我々は弱い教師付き回帰問題を解く。
weakly"の下では、いくつかのトレーニングポイントではラベルが知られ、未知のものもあれば、無作為なノイズの存在やリソースの欠如などの理由によって不確かであることが分かっています。
数値的な節ではモンテカルロモデルを用いて提案手法を人工と実のデータセットに適用した。
論文 参考訳(メタデータ) (2021-04-13T23:21:01Z) - Deep learning algorithms for solving high dimensional nonlinear backward
stochastic differential equations [1.8655840060559168]
我々は高次元非線形後方微分方程式(BSDEs)を解くためのディープラーニングに基づく新しいスキームを提案する。
我々は、ディープニューラルネットワークを用いたBSDEの未知解と、その勾配を自動微分で近似する。
提案アルゴリズムの性能を示すために,ファイナンスにおける価格問題を含む非線形BSDEについて述べる。
論文 参考訳(メタデータ) (2020-10-03T10:18:58Z) - Dynamic Regret of Convex and Smooth Functions [93.71361250701075]
非定常環境におけるオンライン凸最適化について検討する。
パフォーマンス指標として動的後悔を選択します。
本研究では, 滑らかさを活かして, 動的後悔をさらに高めることが可能であることを示す。
論文 参考訳(メタデータ) (2020-07-07T14:10:57Z) - Aligning Partially Overlapping Point Sets: an Inner Approximation
Algorithm [80.15123031136564]
変換の値に関する事前情報がない点集合を整列するロバストな手法を提案する。
我々のアルゴリズムは変換の正規化を必要とせず、変換の値に関する事前情報がない状況に対処できる。
実験により,提案手法が最先端のアルゴリズムよりも高いロバスト性を示した。
論文 参考訳(メタデータ) (2020-07-05T15:23:33Z) - Linear Regression without Correspondences via Concave Minimization [24.823689223437917]
信号は、対応のない線形回帰設定で復元される。
関連する最大可能性関数は、信号が1より大きい次元を持つとき、NPハードで計算する。
我々はこれを凹凸最小化問題として再定義し、分岐とバウンドによって解決する。
結果として得られたアルゴリズムは、完全にシャッフルされたデータに対して最先端の手法より優れており、最大8ドルの信号で抽出可能である。
論文 参考訳(メタデータ) (2020-03-17T13:19:23Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。