論文の概要: Optimization Landscape of Tucker Decomposition
- arxiv url: http://arxiv.org/abs/2006.16297v1
- Date: Mon, 29 Jun 2020 18:15:22 GMT
- ステータス: 処理完了
- システム内更新日: 2022-11-15 14:22:15.572747
- Title: Optimization Landscape of Tucker Decomposition
- Title(参考訳): タッカー分解の最適化景観
- Authors: Abraham Frandsen, Rong Ge
- Abstract要約: タッカー分解は多くのデータ分析やマシンアプリケーションで一般的なテクニックである。
学習問題の増加に伴い,地域検索の規模は増加傾向にある。
- 参考スコア(独自算出の注目度): 10.382642122818648
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Tucker decomposition is a popular technique for many data analysis and
machine learning applications. Finding a Tucker decomposition is a nonconvex
optimization problem. As the scale of the problems increases, local search
algorithms such as stochastic gradient descent have become popular in practice.
In this paper, we characterize the optimization landscape of the Tucker
decomposition problem. In particular, we show that if the tensor has an exact
Tucker decomposition, for a standard nonconvex objective of Tucker
decomposition, all local minima are also globally optimal. We also give a local
search algorithm that can find an approximate local (and global) optimal
solution in polynomial time.
- Abstract(参考訳): タッカー分解は多くのデータ分析や機械学習アプリケーションで一般的なテクニックである。
タッカー分解を見つけることは非凸最適化問題である。
問題の規模が大きくなるにつれて、確率的勾配降下のような局所探索アルゴリズムが実際に普及している。
本稿では,タッカー分解問題の最適化景観を特徴付ける。
特に、テンソルが正確なタッカー分解を持つ場合、タッカー分解の標準的な非凸目的に対して、すべての局所ミニマも大域的に最適であることを示す。
また,多項式時間に近似した局所的(および大域的)最適解を求める局所探索アルゴリズムを提案する。
関連論文リスト
- Approximating a RUM from Distributions on k-Slates [88.32814292632675]
与えられた分布を平均で最もよく近似するRUMを求める一般化時間アルゴリズムを求める。
我々の理論的結果は、実世界のデータセットに効果的でスケール可能なものを得るという、実践的な結果も得られます。
論文 参考訳(メタデータ) (2023-05-22T17:43:34Z) - Approximately Optimal Core Shapes for Tensor Decompositions [7.1439425093981574]
我々は,高次特異値への接続による再構成誤差の証明可能な近似保証付きアルゴリズムを提案する。
具体的には、NPハードであることが証明された新しいタッカーパッキング問題を導入し、マトロイドを用いた2次元クナップサック問題への還元に基づく制約時間近似スキームを提案する。
論文 参考訳(メタデータ) (2023-02-08T05:24:01Z) - Sparse Quadratic Optimisation over the Stiefel Manifold with Application
to Permutation Synchronisation [71.27989298860481]
二次目的関数を最大化するスティーフェル多様体上の行列を求める非最適化問題に対処する。
そこで本研究では,支配的固有空間行列を求めるための,単純かつ効果的なスパーシティプロモーティングアルゴリズムを提案する。
論文 参考訳(メタデータ) (2021-09-30T19:17:35Z) - Fast Low-Rank Tensor Decomposition by Ridge Leverage Score Sampling [5.740578698172382]
リッジレバレッジスコア (ridge leverage scores) と呼ばれるランダム化数値線形代数のタッカー分解とツールの利用について検討する。
近似リッジレバレッジスコアを用いて、任意のリッジ回帰問題に対してスケッチされたインスタンスを構築する方法を示す。
本研究では, 合成データと実世界のデータの両方に対して, 大規模かつ低ランクのタッカー分解に対する近似リッジ回帰アルゴリズムの有効性を示す。
論文 参考訳(メタデータ) (2021-07-22T13:32:47Z) - Fast and Accurate Randomized Algorithms for Low-rank Tensor
Decompositions [1.8356693937139124]
低ランクタッカーとcpテンソル分解は、データ分析の強力なツールである。
タッカー分解のための高速かつ正確なスケッチALSアルゴリズムを提案する。
さらに、ランダム化されたタッカー圧縮と、タッカーコアテンソルのCP分解を用いて、CP分解を加速するためにも用いられる。
論文 参考訳(メタデータ) (2021-04-02T15:55:02Z) - Why Do Local Methods Solve Nonconvex Problems? [54.284687261929115]
非使用最適化は、現代の機械学習においてユビキタスである。
機械学習問題の場合、厳格に定式化します。
我々はこの現象の統一的な説明を仮定する。
論文 参考訳(メタデータ) (2021-03-24T19:34:11Z) - Recent Theoretical Advances in Non-Convex Optimization [56.88981258425256]
近年、深層ネットワークにおける非最適化アルゴリズムの解析やデータ問題への関心が高まっており、非最適化のための理論的最適化アルゴリズムの最近の結果の概要を概説する。
論文 参考訳(メタデータ) (2020-12-11T08:28:51Z) - Community detection using fast low-cardinality semidefinite programming [94.4878715085334]
局所的な更新を一般化し、ライデン-k-カットから導かれる半定緩和を最大化する、新しい低カルチナリティアルゴリズムを提案する。
提案アルゴリズムはスケーラビリティが高く,最先端のアルゴリズムより優れ,実時間では性能が向上し,追加コストがほとんどない。
論文 参考訳(メタデータ) (2020-12-04T15:46:30Z) - Optimistic search strategy: Change point detection for large-scale data
via adaptive logarithmic queries [1.3212010735248336]
変更点検出は、データセグメント化時の適合性の改善を記述したゲイン関数の最大値の探索として、しばしば定式化される。
我々は、ゲイン関数の特定の構造を利用した楽観的な探索戦略を$O(log T)$で提案する。
論文 参考訳(メタデータ) (2020-10-20T11:09:52Z) - a-Tucker: Input-Adaptive and Matricization-Free Tucker Decomposition for
Dense Tensors on CPUs and GPUs [6.308492837096872]
A-Tuckerは、高密度テンソルの入力適応性と行列化のないタッカー分解のための新しいフレームワークである。
機械学習適応型ソルバセレクタを適用し、入力データとハードウェアの両方のバリエーションを自動的に処理する。
論文 参考訳(メタデータ) (2020-10-20T08:52:14Z) - Stochastic Optimization Forests [60.523606291705214]
標準的なランダムな森林アルゴリズムのように予測精度を向上させるために分割するのではなく、分割を選択した木を栽培し、下流の意思決定品質を直接最適化することで、森林決定政策の訓練方法を示す。
概略分割基準は、各候補分割に対して正確に最適化された森林アルゴリズムに近い性能を保ちながら、100倍のランニング時間を短縮できることを示す。
論文 参考訳(メタデータ) (2020-08-17T16:56:06Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。