論文の概要: Compressive Independent Component Analysis: Theory and Algorithms
- arxiv url: http://arxiv.org/abs/2110.08045v1
- Date: Fri, 15 Oct 2021 12:19:07 GMT
- ステータス: 処理完了
- システム内更新日: 2021-10-18 20:18:01.736527
- Title: Compressive Independent Component Analysis: Theory and Algorithms
- Title(参考訳): 圧縮独立成分分析:理論とアルゴリズム
- Authors: Michael P. Sheehan and Mike E. Davies
- Abstract要約: 圧縮学習レンズを用いた独立成分分析(ICA)モデルについて検討する。
累積型ICAモデルに対する解は、低次元モデル集合を誘導する特定の構造を持つことを示す。
圧縮ICAのための反復勾配投影法 (IPG) と交互急降下法 (ASD) の2つのアルゴリズムを提案する。
- 参考スコア(独自算出の注目度): 16.594813920535486
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Compressive learning forms the exciting intersection between compressed
sensing and statistical learning where one exploits forms of sparsity and
structure to reduce the memory and/or computational complexity of the learning
task. In this paper, we look at the independent component analysis (ICA) model
through the compressive learning lens. In particular, we show that solutions to
the cumulant based ICA model have particular structure that induces a low
dimensional model set that resides in the cumulant tensor space. By showing a
restricted isometry property holds for random cumulants e.g. Gaussian
ensembles, we prove the existence of a compressive ICA scheme. Thereafter, we
propose two algorithms of the form of an iterative projection gradient (IPG)
and an alternating steepest descent (ASD) algorithm for compressive ICA, where
the order of compression asserted from the restricted isometry property is
realised through empirical results. We provide analysis of the CICA algorithms
including the effects of finite samples. The effects of compression are
characterised by a trade-off between the sketch size and the statistical
efficiency of the ICA estimates. By considering synthetic and real datasets, we
show the substantial memory gains achieved over well-known ICA algorithms by
using one of the proposed CICA algorithms. Finally, we conclude the paper with
open problems including interesting challenges from the emerging field of
compressive learning.
- Abstract(参考訳): 圧縮学習は、圧縮センシングと統計学習の間のエキサイティングな交点を形成し、学習タスクの記憶と計算の複雑さを減らすためにスパーシティと構造を利用する。
本稿では,圧縮学習レンズを用いた独立成分分析(ICA)モデルについて考察する。
特に、累積型ICAモデルに対する解は、累積テンソル空間に存在する低次元モデル集合を誘導する特定の構造を持つことを示す。
ガウスアンサンブルのようなランダム累積に対する制限等尺性を示すことによって、圧縮ICAスキームの存在を証明できる。
その後、圧縮ICAの反復射影勾配(IPG)と交互急降下(ASD)の2つのアルゴリズムを提案し、そこで、制限された等尺性から主張される圧縮の順序を経験的結果により実現した。
有限サンプルの効果を含むCICAアルゴリズムの解析を行う。
圧縮の効果は、スケッチサイズとICA推定の統計的効率とのトレードオフによって特徴づけられる。
合成および実データセットを考慮し、提案したCICAアルゴリズムの1つを用いて、よく知られたICAアルゴリズム上で達成されたメモリゲインを示す。
最後に, 圧縮学習の新興分野からの興味深い課題を含む, オープンな問題で論文を締めくくった。
関連論文リスト
- An efficient quantum algorithm for independent component analysis [3.400945485383699]
独立成分分析(ICA)は、取得した信号を可能な限り独立成分に分解する基本的なデータ処理技術である。
本稿では,量子コンピュータ上で特定のコントラスト関数を演算する量子ICAアルゴリズムを提案する。
論文 参考訳(メタデータ) (2023-11-21T11:21:23Z) - Deep Unrolling for Nonconvex Robust Principal Component Analysis [75.32013242448151]
我々はロバスト成分分析のためのアルゴリズムを設計する(A)
行列を低主行列とスパース主行列の和に分解する。
論文 参考訳(メタデータ) (2023-07-12T03:48:26Z) - An Interpretable Constructive Algorithm for Incremental Random Weight
Neural Networks and Its Application [3.725257880268641]
本稿では,幾何的情報制約を伴う解釈可能な構成アルゴリズム(ICA)を提案する。
ICAは、モデリング速度、モデル精度、モデルネットワーク構造において、他の構築アルゴリズムよりも優れている。
論文 参考訳(メタデータ) (2023-07-01T01:07:20Z) - DDAC-SpAM: A Distributed Algorithm for Fitting High-dimensional Sparse
Additive Models with Feature Division and Decorrelation [16.232378903482143]
本稿では,高次元のスパース加法モデルの下で特徴を分割する分散統計学習アルゴリズムDDAC-SpAMを提案する。
提案アルゴリズムの有効性と有効性は, 合成データと実データの両方に関する理論的解析と実験結果によって実証される。
提案手法は, スパース加法モデルと, 広範囲の領域で有望な応用を実現するための実用的ソリューションを提供する。
論文 参考訳(メタデータ) (2022-05-16T18:31:03Z) - Amortized Implicit Differentiation for Stochastic Bilevel Optimization [53.12363770169761]
決定論的条件と決定論的条件の両方において、二段階最適化問題を解決するアルゴリズムのクラスについて検討する。
厳密な勾配の推定を補正するために、ウォームスタート戦略を利用する。
このフレームワークを用いることで、これらのアルゴリズムは勾配の偏りのない推定値にアクセス可能な手法の計算複雑性と一致することを示す。
論文 参考訳(メタデータ) (2021-11-29T15:10:09Z) - Partial Counterfactual Identification from Observational and
Experimental Data [83.798237968683]
観測データと実験データの任意の組み合わせから最適境界を近似する有効なモンテカルロアルゴリズムを開発した。
我々のアルゴリズムは、合成および実世界のデータセットに基づいて広範囲に検証されている。
論文 参考訳(メタデータ) (2021-10-12T02:21:30Z) - Fractal Structure and Generalization Properties of Stochastic
Optimization Algorithms [71.62575565990502]
最適化アルゴリズムの一般化誤差は、その一般化尺度の根底にあるフラクタル構造の複雑性'にバウンドできることを示す。
さらに、特定の問題(リニア/ロジスティックレグレッション、隠れ/層ニューラルネットワークなど)とアルゴリズムに対して、結果をさらに専門化します。
論文 参考訳(メタデータ) (2021-06-09T08:05:36Z) - Joint Network Topology Inference via Structured Fusion Regularization [70.30364652829164]
結合ネットワークトポロジ推論は、異種グラフ信号から複数のグラフラプラシア行列を学習する標準的な問題を表す。
新規な構造化融合正規化に基づく一般グラフ推定器を提案する。
提案するグラフ推定器は高い計算効率と厳密な理論保証の両方を享受できることを示す。
論文 参考訳(メタデータ) (2021-03-05T04:42:32Z) - Stochastic Approximation for Online Tensorial Independent Component
Analysis [98.34292831923335]
独立成分分析(ICA)は統計機械学習や信号処理において一般的な次元削減ツールである。
本稿では,各独立成分を推定する副産物オンライン時系列アルゴリズムを提案する。
論文 参考訳(メタデータ) (2020-12-28T18:52:37Z) - Expectation propagation on the diluted Bayesian classifier [0.0]
本稿では,二項分類の文脈におけるスパース特徴選択の問題に対処する統計力学にインスパイアされた戦略を導入する。
予測伝搬(EP)として知られる計算スキームは、分類規則を学習する連続重みの知覚を訓練するために用いられる。
EPは、変数選択特性、推定精度、計算複雑性の点で頑健で競争力のあるアルゴリズムである。
論文 参考訳(メタデータ) (2020-09-20T23:59:44Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。