論文の概要: Statistically Guided Divide-and-Conquer for Sparse Factorization of
Large Matrix
- arxiv url: http://arxiv.org/abs/2003.07898v1
- Date: Tue, 17 Mar 2020 19:12:21 GMT
- ステータス: 処理完了
- システム内更新日: 2022-12-22 21:13:48.627654
- Title: Statistically Guided Divide-and-Conquer for Sparse Factorization of
Large Matrix
- Title（参考訳）: 大行列のスパース分解のための統計的導出除算器
- Authors: Kun Chen, Ruipeng Dong, Wanwan Xu, Zemin Zheng
- Abstract要約: 統計的問題をスパース係数回帰として定式化し、分割コンカレントアプローチでそれに取り組む。
第1段階分割では、タスクを1組の同時並列推定(CURE)問題に単純化するための2つの潜時並列アプローチについて検討する。
第2段階分割では、CUREの全解を効率的に追跡するために、一連の単純な増分経路からなる段階学習手法を革新する。
- 参考スコア（独自算出の注目度）: 2.345015036605934
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The sparse factorization of a large matrix is fundamental in modern
statistical learning. In particular, the sparse singular value decomposition
and its variants have been utilized in multivariate regression, factor
analysis, biclustering, vector time series modeling, among others. The appeal
of this factorization is owing to its power in discovering a
highly-interpretable latent association network, either between samples and
variables or between responses and predictors. However, many existing methods
are either ad hoc without a general performance guarantee, or are
computationally intensive, rendering them unsuitable for large-scale studies.
We formulate the statistical problem as a sparse factor regression and tackle
it with a divide-and-conquer approach. In the first stage of division, we
consider both sequential and parallel approaches for simplifying the task into
a set of co-sparse unit-rank estimation (CURE) problems, and establish the
statistical underpinnings of these commonly-adopted and yet poorly understood
deflation methods. In the second stage of division, we innovate a contended
stagewise learning technique, consisting of a sequence of simple incremental
updates, to efficiently trace out the whole solution paths of CURE. Our
algorithm has a much lower computational complexity than alternating convex
search, and the choice of the step size enables a flexible and principled
tradeoff between statistical accuracy and computational efficiency. Our work is
among the first to enable stagewise learning for non-convex problems, and the
idea can be applicable in many multi-convex problems. Extensive simulation
studies and an application in genetics demonstrate the effectiveness and
scalability of our approach.
- Abstract（参考訳）: 大きな行列のスパース分解は、現代の統計的学習において基礎的である。
特に、スパース特異値分解とその変種は、多変量回帰、因子分析、双クラスタリング、ベクトル時系列モデリングなどに利用されてきた。
この因子化の魅力は、サンプルと変数の間の、あるいは応答と予測者の間の、高度に解釈可能な潜在関連ネットワークを発見する力によるものである。
しかし、既存の手法の多くは一般的な性能保証のないアドホックか計算集約的であり、大規模な研究には適さない。
我々は,統計問題をスパース因子回帰として定式化し,分割・解法で解く。
分割の第1段階では、タスクをco-sparse unit-rank estimation (cure) 問題に単純化するための逐次的および並列的アプローチを考察し、一般に採用されているデフレ法の統計的基礎を確立する。
分割の第2段階では,簡単なインクリメンタル更新のシーケンスからなる段階的学習手法を革新し,治療のソリューションパス全体を効率的に追跡する。
このアルゴリズムは交互な凸探索よりも計算複雑性がずっと低く,ステップサイズの選択により,統計的精度と計算効率との柔軟かつ原理的なトレードオフが可能となる。
我々の研究は、非凸問題に対して段階的に学習を可能にする最初の試みであり、そのアイデアは多くのマルチ凸問題に適用できる。
広範なシミュレーション研究と遺伝学への応用により,本手法の有効性と拡張性が実証された。
関連論文リスト
- Maximum likelihood inference for high-dimensional problems with multiaffine variable relations [2.4578723416255754]
本稿では,変数がマルチファイン表現によって関連付けられている推論問題について考察する。
本稿では, 一般化正規分布問題に対して, 交互・反復重み付き最小二乗法 (AIRLS) アルゴリズムを提案し, その収束性を証明する。
論文 参考訳（メタデータ） (2024-09-05T13:07:31Z) - Variational Annealing on Graphs for Combinatorial Optimization [7.378582040635655]
解変数間の統計的依存関係を捉える自己回帰的手法は,多くのCO問題に対して優れた性能を示すことを示す。
本稿では,一組の解変数の構成を単一トークンで表すサブグラフトークン化を提案する。
論文 参考訳（メタデータ） (2023-11-23T18:56:51Z) - Distributionally Robust Model-based Reinforcement Learning with Large
State Spaces [55.14361269378122]
強化学習における3つの大きな課題は、大きな状態空間を持つ複雑な力学系、コストのかかるデータ取得プロセス、トレーニング環境の展開から現実の力学を逸脱させることである。
広範に用いられているKullback-Leibler, chi-square, および全変分不確実性集合の下で, 連続状態空間を持つ分布ロバストなマルコフ決定過程について検討した。
本稿では,ガウス過程と最大分散削減アルゴリズムを用いて,多出力名目遷移力学を効率的に学習するモデルベースアプローチを提案する。
論文 参考訳（メタデータ） (2023-09-05T13:42:11Z) - Efficient Model-Free Exploration in Low-Rank MDPs [76.87340323826945]
低ランクマルコフ決定プロセスは、関数近似を持つRLに対して単純だが表現力のあるフレームワークを提供する。
既存のアルゴリズムは、(1)計算的に抽出可能であるか、または(2)制限的な統計的仮定に依存している。
提案手法は,低ランクMPPの探索のための最初の実証可能なサンプル効率アルゴリズムである。
論文 参考訳（メタデータ） (2023-07-08T15:41:48Z) - Representation Learning with Multi-Step Inverse Kinematics: An Efficient
and Optimal Approach to Rich-Observation RL [106.82295532402335]
既存の強化学習アルゴリズムは、計算的難易度、強い統計的仮定、最適なサンプルの複雑さに悩まされている。
所望の精度レベルに対して、レート最適サンプル複雑性を実現するための、最初の計算効率の良いアルゴリズムを提供する。
我々のアルゴリズムMusIKは、多段階の逆運動学に基づく表現学習と体系的な探索を組み合わせる。
論文 参考訳（メタデータ） (2023-04-12T14:51:47Z) - Simple Stochastic and Online Gradient DescentAlgorithms for Pairwise
Learning [65.54757265434465]
ペアワイズ学習(Pairwise learning)とは、損失関数がペアインスタンスに依存するタスクをいう。
オンライン降下(OGD)は、ペアワイズ学習でストリーミングデータを処理する一般的なアプローチである。
本稿では,ペアワイズ学習のための手法について,シンプルでオンラインな下降を提案する。
論文 参考訳（メタデータ） (2021-11-23T18:10:48Z) - Linear regression with partially mismatched data: local search with
theoretical guarantees [9.398989897176953]
本稿では,予測と応答のペアが部分的に一致しない線形回帰の重要な変種について検討する。
最適化定式化を用いて、基礎となる回帰係数とミスマッチに対応する置換を同時に学習する。
我々は,局所探索アルゴリズムが線形速度でほぼ最適解に収束することを証明した。
論文 参考訳（メタデータ） (2021-06-03T23:32:12Z) - Multi-task Supervised Learning via Cross-learning [102.64082402388192]
我々は,様々なタスクを解くことを目的とした回帰関数の集合を適合させることで,マルチタスク学習と呼ばれる問題を考える。
我々の新しい定式化では、これらの関数のパラメータを2つに分けて、互いに近づきながらタスク固有のドメインで学習する。
これにより、異なるドメインにまたがって収集されたデータが、互いのタスクにおける学習パフォーマンスを改善するのに役立つ、クロス・ファーティライズが促進される。
論文 参考訳（メタデータ） (2020-10-24T21:35:57Z) - Progressive Batching for Efficient Non-linear Least Squares [31.082253632197023]
ガウス・ニュートンの基本的な改良のほとんどは、基礎となる問題構造の空間性を保証するか、あるいは活用して計算速度を上げることである。
我々の研究は、機械学習と統計の両方からアイデアを借用し、収束を保証するとともに、必要な計算量を大幅に削減する非線形最小二乗に対するアプローチを提案する。
論文 参考訳（メタデータ） (2020-10-21T13:00:04Z) - Rank-Based Multi-task Learning for Fair Regression [9.95899391250129]
バイアス付きデータセットに基づくマルチタスク回帰モデルのための新しい学習手法を開発した。
一般的な非パラメトリックオラクルベースの非ワールド乗算器データセットを使用します。
論文 参考訳（メタデータ） (2020-09-23T22:32:57Z) - Instability, Computational Efficiency and Statistical Accuracy [101.32305022521024]
我々は,人口レベルでのアルゴリズムの決定論的収束率と,$n$サンプルに基づく経験的対象に適用した場合の(不安定性)の間の相互作用に基づいて,統計的精度を得るフレームワークを開発する。
本稿では,ガウス混合推定,非線形回帰モデル,情報的非応答モデルなど,いくつかの具体的なモデルに対する一般結果の応用について述べる。
論文 参考訳（メタデータ） (2020-05-22T22:30:52Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。