論文の概要: Model identification and local linear convergence of coordinate descent
- arxiv url: http://arxiv.org/abs/2010.11825v1
- Date: Thu, 22 Oct 2020 16:03:19 GMT
- ステータス: 処理完了
- システム内更新日: 2022-10-04 06:14:28.153686
- Title: Model identification and local linear convergence of coordinate descent
- Title(参考訳): 座標系のモデル同定と局所線形収束
- Authors: Quentin Klopfenstein and Quentin Bertrand and Alexandre Gramfort and
Joseph Salmon and Samuel Vaiter
- Abstract要約: 循環座標降下は、幅広い種類の関数に対して有限時間でモデル同定を達成することを示す。
また、座標降下に対する局所収束速度を明示的に証明する。
- 参考スコア(独自算出の注目度): 74.87531444344381
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: For composite nonsmooth optimization problems, Forward-Backward algorithm
achieves model identification (e.g. support identification for the Lasso) after
a finite number of iterations, provided the objective function is regular
enough. Results concerning coordinate descent are scarcer and model
identification has only been shown for specific estimators, the support-vector
machine for instance. In this work, we show that cyclic coordinate descent
achieves model identification in finite time for a wide class of functions. In
addition, we prove explicit local linear convergence rates for coordinate
descent. Extensive experiments on various estimators and on real datasets
demonstrate that these rates match well empirical results.
- Abstract(参考訳): 複合非滑らかな最適化問題に対して、フォワード・バックワードアルゴリズムは、目的関数が十分に正規であるならば、有限反復の後にモデル同定(例えばラッソのサポート識別)を達成する。
座標降下に関する結果は乏しく、モデル同定は特定の推定器、例えば支持ベクトルマシンに対してのみ示された。
本研究では, 循環座標降下が, 幅広い関数に対して有限時間でモデル同定を実現することを示す。
さらに,座標降下に対する局所線形収束率を明示的に証明する。
様々な推定器と実際のデータセットに関する広範囲な実験は、これらのレートが経験的な結果によく合っていることを示している。
関連論文リスト
- Machine Learning for the identification of phase-transitions in interacting agent-based systems: a Desai-Zwanzig example [0.0]
本稿では,エージェントモデルに対する位相遷移を平均フィールド限界でピンポイントするデータ駆動フレームワークを提案する。
この目的のために、多様体学習アルゴリズムであるマップを用いて、データ駆動潜在変数の相似集合を同定する。
次に、深層学習フレームワークを用いて、データ駆動座標の共形再パラメータ化を求める。
論文 参考訳(メタデータ) (2023-10-29T15:07:08Z) - T-LoHo: A Bayesian Regularization Model for Structured Sparsity and
Smoothness on Graphs [0.0]
グラフ構造化データでは、構造化されたスパーシリティと滑らかさが団結する傾向にある。
グラフィカルな関係を持つ高次元パラメータに先立って提案する。
構造された空間と滑らかさを同時に検出するために使用します。
論文 参考訳(メタデータ) (2021-07-06T10:10:03Z) - SGD with Coordinate Sampling: Theory and Practice [0.0]
MUSKETEERは大規模問題に対する適応勾配降下アルゴリズムである。
ノイズ勾配上で最も座標座標をサンプリングし、一方向に沿って動き、座標が大幅に減少する。
合成データと実データの両方に関する数値実験により,大規模問題におけるMUSKETEERの有効性が確認された。
論文 参考訳(メタデータ) (2021-05-25T10:37:50Z) - Finding Geometric Models by Clustering in the Consensus Space [61.65661010039768]
本稿では,未知数の幾何学的モデル,例えばホモグラフィーを求めるアルゴリズムを提案する。
複数の幾何モデルを用いることで精度が向上するアプリケーションをいくつか提示する。
これには、複数の一般化されたホモグラフからのポーズ推定、高速移動物体の軌道推定が含まれる。
論文 参考訳(メタデータ) (2021-03-25T14:35:07Z) - Articulated Shape Matching Using Laplacian Eigenfunctions and
Unsupervised Point Registration [38.16866987817019]
スペクトルグラフ理論は、これらのグラフを低次元空間にマッピングし、それらの埋め込みを整列させることで形状と一致させることができる。
我々は、ラプラシア行列の固有関数の最適部分集合を選択することによって、2つの同値な$K$-次元の点集合の最良の整合を求める新しい定式化を導出する。
論文 参考訳(メタデータ) (2020-12-14T08:49:25Z) - Out-of-distribution Generalization via Partial Feature Decorrelation [72.96261704851683]
本稿では,特徴分解ネットワークと対象画像分類モデルとを協調的に最適化する,PFDL(Partial Feature Deorrelation Learning)アルゴリズムを提案する。
実世界のデータセットを用いた実験により,OOD画像分類データセットにおけるバックボーンモデルの精度が向上することを示した。
論文 参考訳(メタデータ) (2020-07-30T05:48:48Z) - Making Affine Correspondences Work in Camera Geometry Computation [62.7633180470428]
局所的な特徴は、ポイント・ツー・ポイント対応ではなく、リージョン・ツー・リージョンを提供する。
本稿では,全モデル推定パイプラインにおいて,地域間マッチングを効果的に活用するためのガイドラインを提案する。
実験により、アフィンソルバはより高速な実行時にポイントベースソルバに匹敵する精度を達成できることが示された。
論文 参考訳(メタデータ) (2020-07-20T12:07:48Z) - Random extrapolation for primal-dual coordinate descent [61.55967255151027]
本稿では,データ行列の疎度と目的関数の好適な構造に適応する,ランダムに外挿した原始-双対座標降下法を提案する。
一般凸凹の場合, 主対差と目的値に対するシーケンスのほぼ確実に収束と最適サブ線形収束率を示す。
論文 参考訳(メタデータ) (2020-07-13T17:39:35Z) - Asymptotic Analysis of an Ensemble of Randomly Projected Linear
Discriminants [94.46276668068327]
[1]では、ランダムに投影された線形判別式のアンサンブルを用いてデータセットを分類する。
我々は,計算コストのかかるクロスバリデーション推定器の代替として,誤分類確率の一貫した推定器を開発する。
また、実データと合成データの両方で投影次元を調整するための推定器の使用を実証する。
論文 参考訳(メタデータ) (2020-04-17T12:47:04Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。