論文の概要: Finite-Sample Analysis of Nonlinear Independent Component Analysis:Sample Complexity and Identifiability Bounds

• arxiv url: http://arxiv.org/abs/2604.08850v1
• Date: Fri, 10 Apr 2026 01:15:27 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-04-13 17:57:53.625075
• Title: Finite-Sample Analysis of Nonlinear Independent Component Analysis:Sample Complexity and Identifiability Bounds
• Title（参考訳）: 非線形独立成分分析の有限サンプル解析:サンプル複雑度と識別可能性境界
• Authors: Yuwen Jiang,
• Abstract要約: 独立成分分析(Independent Component Analysis, ICA)は、混合信号を独立したソースに分離することで、データの構造を解明するための基本的な教師なし学習手法である。 学習アルゴリズムの有限サンプル統計特性は未だよく理解されていない。 本稿では,ニューラルネットワークエンコーダを用いた非線形ICAの包括的有限サンプル解析について述べる。
• 参考スコア（独自算出の注目度）: 1.624454100511275
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Independent Component Analysis (ICA) is a fundamental unsupervised learning technique foruncovering latent structure in data by separating mixed signals into their independent sources. While substantial progress has been made in establishing asymptotic identifiability guarantees for nonlinear ICA, the finite-sample statistical properties of learning algorithms remain poorly understood. This gap poses significant challenges for practitioners who must determine appropriate sample sizes for reliable source recovery. This paper presents a comprehensive finite-sample analysis of nonlinear ICA with neural network encoders, providing the first complete characterization with matching upper and lower bounds. Our theoretical development introduces three key technical contributions. First, we establish a direct relationship between excess risk and identification error that bypasses parameter-space arguments, thereby avoiding the rate degradation that would otherwise yield suboptimal scaling. Second, we prove matching information-theoretic lower bounds that confirm the optimality of our sample complexity results. Third, we extend our analysis to practical SGD optimization, showing that the same sample efficiency can be achieved with finite-iteration gradient descent under standard landscape assumptions. We validate our theoretical predictions through carefully designed simulation experiments. This gap points toward valuable future research on finite-sample behavior of neural network training and highlights the importance of our validated scaling laws for dimension and diversity.
• Abstract（参考訳）: 独立成分分析(Independent Component Analysis, ICA)は、データ中の潜在構造を明らかにするための基礎的な教師なし学習手法である。 非線形ICAに対する漸近的識別性保証を確立するためにかなりの進歩があったが、学習アルゴリズムの有限サンプル統計的性質はいまだに理解されていない。 このギャップは、信頼できるソースリカバリのために適切なサンプルサイズを決定する必要がある実践者にとって大きな課題となる。 本稿では,ニューラルネットワークエンコーダを用いた非線形ICAの包括的有限サンプル解析について述べる。 我々の理論的発展は3つの重要な技術的貢献をもたらす。 まず,パラメータ空間の議論をバイパスする過大なリスクと識別誤差の直接的な関係を確立する。 第2に、サンプルの複雑性結果の最適性を確認する情報理論の下限をマッチングして証明する。 第3に,本解析を実用的なSGD最適化に拡張し,標準景観仮定の下で有限点勾配勾配で同じサンプル効率を実現できることを示した。 我々は、慎重に設計されたシミュレーション実験を通して理論予測を検証する。 このギャップは、ニューラルネットワークトレーニングの有限サンプル行動に関する貴重な研究に向けられ、我々の次元と多様性に対する検証されたスケーリング法則の重要性を強調している。

関連論文リスト

• Nonconvex Penalized LAD Estimation in Partial Linear Models with DNNs: Asymptotic Analysis and Proximal Algorithms [3.8450418136547224]
  本稿では,LAST Absolute Deviation (LAD) による線形部分モデルについて検討する。 我々は、ディープニューラルネットワーク(NN)とペナライズされたLADモデルを用いて、非下位パラメータを定式化する。
  論文  参考訳（メタデータ） (2025-11-26T07:01:35Z)
• Improved Sample Complexity For Diffusion Model Training Without Empirical Risk Minimizer Access [47.96419637803502]
  拡散モデルを解析し、$widetildemathcalO(epsilon-4)$に束縛された最先端のサンプル複雑性を提供する。 スコア推定誤差の統計的および最適化成分への構造化分解は、拡散モデルを効率的に訓練する方法に関する重要な洞察を与える。
  論文  参考訳（メタデータ） (2025-05-23T20:02:15Z)
• Beyond Discreteness: Finite-Sample Analysis of Straight-Through Estimator for Quantization [2.8948274245812327]
  この研究は、ニューラルネットワーク量子化の文脈におけるストレートスルー推定器(STE)の最初の有限サンプル解析を示す。 具体的には、2重みとアクティベーションを持つ2層ニューラルネットワークの量子化学習を解析することにより、データの次元性の観点から、サンプルの複雑さを導出する。 ラベルノイズの存在下では,STE-gradient法の興味深い再帰性を明らかにする。
  論文  参考訳（メタデータ） (2025-05-23T17:11:22Z)
• Provably Neural Active Learning Succeeds via Prioritizing Perplexing Samples [53.95282502030541]
  ニューラルネットワークベースのアクティブラーニング(NAL)は、ニューラルネットワークを使用してサンプルの小さなサブセットを選択してトレーニングする、費用対効果の高いデータ選択技術である。 我々は、機能学習の観点から、両方のクエリ基準ベースのNALの成功について、統一的な説明を提供することにより、一歩前進させようとする。
  論文  参考訳（メタデータ） (2024-06-06T10:38:01Z)
• Understanding Augmentation-based Self-Supervised Representation Learning via RKHS Approximation and Regression [53.15502562048627]
  最近の研究は、自己教師付き学習とグラフラプラシアン作用素のトップ固有空間の近似との関係を構築している。 この研究は、増強に基づく事前訓練の統計的分析に発展する。
  論文  参考訳（メタデータ） (2023-06-01T15:18:55Z)
• Joint Edge-Model Sparse Learning is Provably Efficient for Graph Neural Networks [89.28881869440433]
  本稿では,グラフニューラルネットワーク(GNN)における結合エッジモデルスパース学習の理論的特徴について述べる。 解析学的には、重要なノードをサンプリングし、最小のマグニチュードでプルーニングニューロンをサンプリングすることで、サンプルの複雑さを減らし、テスト精度を損なうことなく収束を改善することができる。
  論文  参考訳（メタデータ） (2023-02-06T16:54:20Z)
• Stability and Generalization Analysis of Gradient Methods for Shallow Neural Networks [59.142826407441106]
  本稿では,アルゴリズム安定性の概念を活用して,浅層ニューラルネットワーク(SNN)の一般化挙動について検討する。 我々は、SNNを訓練するために勾配降下(GD)と勾配降下(SGD)を考慮する。
  論文  参考訳（メタデータ） (2022-09-19T18:48:00Z)
• Pessimistic Q-Learning for Offline Reinforcement Learning: Towards Optimal Sample Complexity [51.476337785345436]
  有限水平マルコフ決定過程の文脈におけるQ-ラーニングの悲観的変種について検討する。 ほぼ最適サンプル複雑性を実現するために,分散再現型悲観的Q-ラーニングアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2022-02-28T15:39:36Z)
• Stochastic Approximation for Online Tensorial Independent Component Analysis [98.34292831923335]
  独立成分分析(ICA)は統計機械学習や信号処理において一般的な次元削減ツールである。 本稿では,各独立成分を推定する副産物オンライン時系列アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2020-12-28T18:52:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。