論文の概要: Compressive Independent Component Analysis: Theory and Algorithms
- arxiv url: http://arxiv.org/abs/2110.08045v1
- Date: Fri, 15 Oct 2021 12:19:07 GMT
- ステータス: 処理完了
- システム内更新日: 2021-10-18 20:18:01.736527
- Title: Compressive Independent Component Analysis: Theory and Algorithms
- Title（参考訳）: 圧縮独立成分分析:理論とアルゴリズム
- Authors: Michael P. Sheehan and Mike E. Davies
- Abstract要約: 圧縮学習レンズを用いた独立成分分析(ICA)モデルについて検討する。
累積型ICAモデルに対する解は、低次元モデル集合を誘導する特定の構造を持つことを示す。
圧縮ICAのための反復勾配投影法 (IPG) と交互急降下法 (ASD) の2つのアルゴリズムを提案する。
- 参考スコア（独自算出の注目度）: 16.594813920535486
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Compressive learning forms the exciting intersection between compressed
sensing and statistical learning where one exploits forms of sparsity and
structure to reduce the memory and/or computational complexity of the learning
task. In this paper, we look at the independent component analysis (ICA) model
through the compressive learning lens. In particular, we show that solutions to
the cumulant based ICA model have particular structure that induces a low
dimensional model set that resides in the cumulant tensor space. By showing a
restricted isometry property holds for random cumulants e.g. Gaussian
ensembles, we prove the existence of a compressive ICA scheme. Thereafter, we
propose two algorithms of the form of an iterative projection gradient (IPG)
and an alternating steepest descent (ASD) algorithm for compressive ICA, where
the order of compression asserted from the restricted isometry property is
realised through empirical results. We provide analysis of the CICA algorithms
including the effects of finite samples. The effects of compression are
characterised by a trade-off between the sketch size and the statistical
efficiency of the ICA estimates. By considering synthetic and real datasets, we
show the substantial memory gains achieved over well-known ICA algorithms by
using one of the proposed CICA algorithms. Finally, we conclude the paper with
open problems including interesting challenges from the emerging field of
compressive learning.
- Abstract（参考訳）: 圧縮学習は、圧縮センシングと統計学習の間のエキサイティングな交点を形成し、学習タスクの記憶と計算の複雑さを減らすためにスパーシティと構造を利用する。
本稿では,圧縮学習レンズを用いた独立成分分析(ICA)モデルについて考察する。
特に、累積型ICAモデルに対する解は、累積テンソル空間に存在する低次元モデル集合を誘導する特定の構造を持つことを示す。
ガウスアンサンブルのようなランダム累積に対する制限等尺性を示すことによって、圧縮ICAスキームの存在を証明できる。
その後、圧縮ICAの反復射影勾配(IPG)と交互急降下(ASD)の2つのアルゴリズムを提案し、そこで、制限された等尺性から主張される圧縮の順序を経験的結果により実現した。
有限サンプルの効果を含むCICAアルゴリズムの解析を行う。
圧縮の効果は、スケッチサイズとICA推定の統計的効率とのトレードオフによって特徴づけられる。
合成および実データセットを考慮し、提案したCICAアルゴリズムの1つを用いて、よく知られたICAアルゴリズム上で達成されたメモリゲインを示す。
最後に, 圧縮学習の新興分野からの興味深い課題を含む, オープンな問題で論文を締めくくった。
関連論文リスト
- Information limits and Thouless-Anderson-Palmer equations for spiked matrix models with structured noise [19.496063739638924]
構造スパイクモデルに対するベイズ推定の飽和問題を考える。
適応的なThouless-Anderson-Palmer方程式の理論にインスパイアされた効率的なアルゴリズムを用いて、統計的限界を予測する方法を示す。
論文 参考訳（メタデータ） (2024-05-31T16:38:35Z) - Quantization of Large Language Models with an Overdetermined Basis [73.79368761182998]
本稿では,嘉心表現の原理に基づくデータ量子化アルゴリズムを提案する。
以上の結果から, カシ量子化はモデル性能の競争力や優れた品質を達成できることが示唆された。
論文 参考訳（メタデータ） (2024-04-15T12:38:46Z) - An efficient quantum algorithm for independent component analysis [3.400945485383699]
独立成分分析(ICA)は、取得した信号を可能な限り独立成分に分解する基本的なデータ処理技術である。
本稿では,量子コンピュータ上で特定のコントラスト関数を演算する量子ICAアルゴリズムを提案する。
論文 参考訳（メタデータ） (2023-11-21T11:21:23Z) - Forward and Backward Constrained Bisimulations for Quantum Circuits using Decision Diagrams [3.788308836856851]
我々は,古典コンピュータ上での量子回路のシミュレーションを効率的に行う手法を開発した。
特に,制約バイシミュレーションにより,決定図に基づく量子回路シミュレーションを桁違いに高速化できることを示す。
論文 参考訳（メタデータ） (2023-08-18T12:40:47Z) - Deep Unrolling for Nonconvex Robust Principal Component Analysis [75.32013242448151]
我々はロバスト成分分析のためのアルゴリズムを設計する(A)
行列を低主行列とスパース主行列の和に分解する。
論文 参考訳（メタデータ） (2023-07-12T03:48:26Z) - Reinforcement Learning from Partial Observation: Linear Function Approximation with Provable Sample Efficiency [111.83670279016599]
部分観察決定過程(POMDP)の無限観測および状態空間を用いた強化学習について検討した。
線形構造をもつPOMDPのクラスに対する部分可観測性と関数近似の最初の試みを行う。
論文 参考訳（メタデータ） (2022-04-20T21:15:38Z) - Fractal Structure and Generalization Properties of Stochastic
Optimization Algorithms [71.62575565990502]
最適化アルゴリズムの一般化誤差は、その一般化尺度の根底にあるフラクタル構造の複雑性'にバウンドできることを示す。
さらに、特定の問題(リニア/ロジスティックレグレッション、隠れ/層ニューラルネットワークなど)とアルゴリズムに対して、結果をさらに専門化します。
論文 参考訳（メタデータ） (2021-06-09T08:05:36Z) - Joint Network Topology Inference via Structured Fusion Regularization [70.30364652829164]
結合ネットワークトポロジ推論は、異種グラフ信号から複数のグラフラプラシア行列を学習する標準的な問題を表す。
新規な構造化融合正規化に基づく一般グラフ推定器を提案する。
提案するグラフ推定器は高い計算効率と厳密な理論保証の両方を享受できることを示す。
論文 参考訳（メタデータ） (2021-03-05T04:42:32Z) - Stochastic Approximation for Online Tensorial Independent Component
Analysis [98.34292831923335]
独立成分分析(ICA)は統計機械学習や信号処理において一般的な次元削減ツールである。
本稿では,各独立成分を推定する副産物オンライン時系列アルゴリズムを提案する。
論文 参考訳（メタデータ） (2020-12-28T18:52:37Z) - Expectation propagation on the diluted Bayesian classifier [0.0]
本稿では,二項分類の文脈におけるスパース特徴選択の問題に対処する統計力学にインスパイアされた戦略を導入する。
予測伝搬(EP)として知られる計算スキームは、分類規則を学習する連続重みの知覚を訓練するために用いられる。
EPは、変数選択特性、推定精度、計算複雑性の点で頑健で競争力のあるアルゴリズムである。
論文 参考訳（メタデータ） (2020-09-20T23:59:44Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。