論文の概要: A Bregman Method for Structure Learning on Sparse Directed Acyclic
Graphs
- arxiv url: http://arxiv.org/abs/2011.02764v1
- Date: Thu, 5 Nov 2020 11:37:44 GMT
- ステータス: 処理完了
- システム内更新日: 2022-09-29 11:30:49.477137
- Title: A Bregman Method for Structure Learning on Sparse Directed Acyclic
Graphs
- Title(参考訳): スパース指向非巡回グラフの構造学習のためのブレグマン法
- Authors: Manon Romain and Alexandre d'Aspremont
- Abstract要約: 構造学習のためのBregman近位勾配法を開発した。
高い非線形反復に対する曲率の影響を計測する。
様々な合成および実集合上で本手法をテストする。
- 参考スコア(独自算出の注目度): 84.7328507118758
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We develop a Bregman proximal gradient method for structure learning on
linear structural causal models. While the problem is non-convex, has high
curvature and is in fact NP-hard, Bregman gradient methods allow us to
neutralize at least part of the impact of curvature by measuring smoothness
against a highly nonlinear kernel. This allows the method to make longer steps
and significantly improves convergence. Each iteration requires solving a
Bregman proximal step which is convex and efficiently solvable for our
particular choice of kernel. We test our method on various synthetic and real
data sets.
- Abstract(参考訳): 線形構造因果モデルに基づく構造学習のためのBregman近位勾配法を開発した。
非凸であり、高い曲率を持ち、実際はNPハードであるが、ブレグマン勾配法は、高非線形カーネルに対して滑らかさを測定することで、曲率の影響の少なくとも一部を中和することができる。
これにより、より長いステップを踏むことができ、収束を大幅に改善できる。
各反復は、特定のカーネルの選択に対して凸で効率的に解けるブレグマン近位ステップを解く必要がある。
本手法を様々な合成データと実データでテストする。
関連論文リスト
- Low-rank extended Kalman filtering for online learning of neural
networks from streaming data [71.97861600347959]
非定常データストリームから非線形関数のパラメータを推定するための効率的なオンライン近似ベイズ推定アルゴリズムを提案する。
この方法は拡張カルマンフィルタ (EKF) に基づいているが、新しい低ランク+斜角行列分解法を用いている。
変分推論に基づく手法とは対照的に,本手法は完全に決定論的であり,ステップサイズチューニングを必要としない。
論文 参考訳(メタデータ) (2023-05-31T03:48:49Z) - Linearization Algorithms for Fully Composite Optimization [61.20539085730636]
本稿では,完全合成最適化問題を凸コンパクト集合で解くための一階アルゴリズムについて検討する。
微分可能および非微分可能を別々に扱い、滑らかな部分のみを線形化することで目的の構造を利用する。
論文 参考訳(メタデータ) (2023-02-24T18:41:48Z) - Cyclic Block Coordinate Descent With Variance Reduction for Composite
Nonconvex Optimization [26.218670461973705]
非漸近勾配ノルム保証を協調する問題の解法を提案する。
本研究は,ニューラルネットの深部学習における循環還元方式の有効性を実証するものである。
論文 参考訳(メタデータ) (2022-12-09T19:17:39Z) - Cogradient Descent for Dependable Learning [64.02052988844301]
双線形最適化問題に対処するために,CoGDアルゴリズムに基づく信頼度の高い学習法を提案する。
CoGDは、ある変数がスパーシティ制約を持つ場合の双線形問題を解くために導入された。
また、特徴と重みの関連を分解するためにも使用できるため、畳み込みニューラルネットワーク(CNN)をより良く訓練するための我々の手法をさらに一般化することができる。
論文 参考訳(メタデータ) (2021-06-20T04:28:20Z) - Improved Analysis of Clipping Algorithms for Non-convex Optimization [19.507750439784605]
最近、citetzhang 2019gradient show that clipped (stochastic) Gradient Descent (GD) converges faster than vanilla GD/SGD。
実験は、深層学習におけるクリッピングに基づく手法の優位性を確認する。
論文 参考訳(メタデータ) (2020-10-05T14:36:59Z) - A Manifold Proximal Linear Method for Sparse Spectral Clustering with
Application to Single-Cell RNA Sequencing Data Analysis [9.643152256249884]
本稿では,SSCモデルを非滑らかかつ非客観的な最適化モデルとして広く採用している。
本研究では,従来のSSC問題を解く新しい手法(ManPL)を提案する。
提案手法の結果が得られた。
論文 参考訳(メタデータ) (2020-07-18T22:05:00Z) - Cogradient Descent for Bilinear Optimization [124.45816011848096]
双線形問題に対処するために、CoGDアルゴリズム(Cogradient Descent Algorithm)を導入する。
一方の変数は、他方の変数との結合関係を考慮し、同期勾配降下をもたらす。
本アルゴリズムは,空間的制約下での1変数の問題を解くために応用される。
論文 参考訳(メタデータ) (2020-06-16T13:41:54Z) - Better scalability under potentially heavy-tailed gradients [9.36599317326032]
本研究では, 勾配の重み付けに使用可能なロバスト勾配勾配降下法(RGD)のスケーラブルな代替法について検討する。
それぞれのステップでグラデーションをしっかりと集約する代わりに、分割されたデータに対して1回のパスで実行される安価なサブプロセスの大半からそれほど遠く離れない候補を選択します。
論文 参考訳(メタデータ) (2020-06-01T08:16:56Z) - Improved guarantees and a multiple-descent curve for Column Subset
Selection and the Nystr\"om method [76.73096213472897]
我々は,データ行列のスペクトル特性を利用して近似保証を改良する手法を開発した。
我々のアプローチは、特異値減衰の既知の速度を持つデータセットのバウンダリが大幅に向上する。
RBFパラメータを変更すれば,改良された境界線と多重発振曲線の両方を実データセット上で観測できることが示される。
論文 参考訳(メタデータ) (2020-02-21T00:43:06Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。