論文の概要: Computing Large-Scale Matrix and Tensor Decomposition with Structured
Factors: A Unified Nonconvex Optimization Perspective
- arxiv url: http://arxiv.org/abs/2006.08183v2
- Date: Wed, 5 Aug 2020 20:31:41 GMT
- ステータス: 処理完了
- システム内更新日: 2022-11-21 05:19:34.800108
- Title: Computing Large-Scale Matrix and Tensor Decomposition with Structured
Factors: A Unified Nonconvex Optimization Perspective
- Title（参考訳）: 構造因子を用いた大規模行列とテンソル分解の計算:統一された非凸最適化
- Authors: Xiao Fu, Nico Vervliet, Lieven De Lathauwer, Kejun Huang, Nicolas
Gillis
- Abstract要約: 本稿では、構造化行列とテンソル因子化の計算的側面に関する包括的なチュートリアルを提供する。
まず、多種多様な制約を伴う幅広い因数分解問題をカバーする一般化最適化理論から始める。
そして、私たちは、これらの導入原則の下で、特定のアルゴリズム設計を示すために、フードの下に進みます。
- 参考スコア（独自算出の注目度）: 33.19643734230432
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The proposed article aims at offering a comprehensive tutorial for the
computational aspects of structured matrix and tensor factorization. Unlike
existing tutorials that mainly focus on {\it algorithmic procedures} for a
small set of problems, e.g., nonnegativity or sparsity-constrained
factorization, we take a {\it top-down} approach: we start with general
optimization theory (e.g., inexact and accelerated block coordinate descent,
stochastic optimization, and Gauss-Newton methods) that covers a wide range of
factorization problems with diverse constraints and regularization terms of
engineering interest. Then, we go `under the hood' to showcase specific
algorithm design under these introduced principles. We pay a particular
attention to recent algorithmic developments in structured tensor and matrix
factorization (e.g., random sketching and adaptive step size based stochastic
optimization and structure-exploiting second-order algorithms), which are the
state of the art---yet much less touched upon in the literature compared to
{\it block coordinate descent} (BCD)-based methods. We expect that the article
to have an educational values in the field of structured factorization and hope
to stimulate more research in this important and exciting direction.
- Abstract（参考訳）: 提案する論文は、構造化行列とテンソル因子化の計算的側面に関する包括的なチュートリアルを提供することを目的としている。
非負性(nonnegativity)やスパーシティ制約付き因子化(sparsity-constrained factorization)といった小さな問題に対して、主に「itアルゴリズム手順」に焦点を当てた既存のチュートリアルとは異なり、我々は「itトップダウン(it top-down)」アプローチを採っている: 我々は、様々な制約と工学的関心の正規化の観点から、幅広い因子化問題をカバーする、一般的な最適化理論(例えば、不正確かつ加速されたブロック座標降下、確率的最適化、ガウス・ニュートン法)から始める。
そして、これらの導入原則の下で、特定のアルゴリズム設計を示すために、'内部'に進みます。
構造的テンソルと行列因子化(例えば、ランダムなスケッチと適応的ステップサイズに基づく確率的最適化と構造展開2次アルゴリズム)における最近のアルゴリズムの発展に特に注目する。
本稿は、構造化因子化の分野における教育的価値と、この重要かつエキサイティングな方向性に関するさらなる研究の促進を期待する。
関連論文リスト
- Structured Regularization for Constrained Optimization on the SPD Manifold [1.1126342180866644]
対称ゲージ関数に基づく構造化正規化器のクラスを導入し、より高速な非制約手法でSPD多様体上の制約付き最適化を解けるようにする。
構造正規化器は望ましい構造(特に凸性や凸の差)を保存または誘導するために選択できることを示す。
論文 参考訳（メタデータ） (2024-10-12T22:11:22Z) - Structured Low-Rank Tensor Learning [2.1227526213206542]
構造制約のある部分的な観測から低ランクテンソルを学習する問題を考察する。
このようなテンソルの新たな分解法を提案し、より単純な最適化問題を導いた。
論文 参考訳（メタデータ） (2023-05-13T17:04:54Z) - Infeasible Deterministic, Stochastic, and Variance-Reduction Algorithms for Optimization under Orthogonality Constraints [9.301728976515255]
本稿では,着陸アルゴリズムの実用化と理論的展開について述べる。
まず、この方法はスティーフェル多様体に拡張される。
また、コスト関数が多くの関数の平均である場合の分散還元アルゴリズムについても検討する。
論文 参考訳（メタデータ） (2023-03-29T07:36:54Z) - Linearization Algorithms for Fully Composite Optimization [61.20539085730636]
本稿では,完全合成最適化問題を凸コンパクト集合で解くための一階アルゴリズムについて検討する。
微分可能および非微分可能を別々に扱い、滑らかな部分のみを線形化することで目的の構造を利用する。
論文 参考訳（メタデータ） (2023-02-24T18:41:48Z) - Learning Graphical Factor Models with Riemannian Optimization [70.13748170371889]
本稿では,低ランク構造制約下でのグラフ学習のためのフレキシブルなアルゴリズムフレームワークを提案する。
この問題は楕円分布のペナルティ化された最大推定値として表される。
楕円モデルによく適合する正定行列と定ランクの正半定行列のジオメトリを利用する。
論文 参考訳（メタデータ） (2022-10-21T13:19:45Z) - On a class of geodesically convex optimization problems solved via
Euclidean MM methods [50.428784381385164]
ユークリッド凸化関数の違いは、統計学と機械学習の異なるタイプの問題の違いとして記述できることを示す。
最終的に、より広い範囲、より広い範囲の作業を支援するのです。
論文 参考訳（メタデータ） (2022-06-22T23:57:40Z) - Amortized Implicit Differentiation for Stochastic Bilevel Optimization [53.12363770169761]
決定論的条件と決定論的条件の両方において、二段階最適化問題を解決するアルゴリズムのクラスについて検討する。
厳密な勾配の推定を補正するために、ウォームスタート戦略を利用する。
このフレームワークを用いることで、これらのアルゴリズムは勾配の偏りのない推定値にアクセス可能な手法の計算複雑性と一致することを示す。
論文 参考訳（メタデータ） (2021-11-29T15:10:09Z) - Bilevel Optimization for Machine Learning: Algorithm Design and
Convergence Analysis [12.680169619392695]
この論文は、2レベル最適化アルゴリズムに対する総合収束率解析を提供する。
問題に基づく定式化では、AIDおよびITDに基づく2レベルアルゴリズムの収束率解析を行う。
そこで我々は,ゆるやかな仮定で形状収束解析を行う加速バイレベルアルゴリズムを開発した。
論文 参考訳（メタデータ） (2021-07-31T22:05:47Z) - Fractal Structure and Generalization Properties of Stochastic
Optimization Algorithms [71.62575565990502]
最適化アルゴリズムの一般化誤差は、その一般化尺度の根底にあるフラクタル構造の複雑性'にバウンドできることを示す。
さらに、特定の問題(リニア/ロジスティックレグレッション、隠れ/層ニューラルネットワークなど)とアルゴリズムに対して、結果をさらに専門化します。
論文 参考訳（メタデータ） (2021-06-09T08:05:36Z) - First-Order Methods for Convex Optimization [2.578242050187029]
一階法は、計算量が少なくて精度の低い解を提供する可能性がある。
我々は、様々な重要な結果の完全な証明を行い、いくつかの最適化アルゴリズムの統一的な側面を強調した。
論文 参考訳（メタデータ） (2021-01-04T13:03:38Z) - A General Framework for Consistent Structured Prediction with Implicit
Loss Embeddings [113.15416137912399]
構造化予測のための理論的・アルゴリズム的な枠組みを提案し,解析する。
問題に対して適切な幾何を暗黙的に定義する、損失関数の大規模なクラスについて検討する。
出力空間を無限の濃度で扱うとき、推定子の適切な暗黙の定式化が重要であることが示される。
論文 参考訳（メタデータ） (2020-02-13T10:30:04Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。