論文の概要: Learnability and Competition in High-Dimensional Multi-Component ICA

• arxiv url: http://arxiv.org/abs/2605.08552v1
• Date: Fri, 08 May 2026 23:24:42 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-12 23:28:49.72965
• Title: Learnability and Competition in High-Dimensional Multi-Component ICA
• Title（参考訳）: 高次元多成分ICAの学習性と競争性
• Authors: Eser Ilke Genc, Samet Demir, Zafer Dogan,
• Abstract要約: ICA(Independent Component Analysis)は、教師なし表現学習のためのツールである。 我々は,多成分オンラインICAにおける平均場理論を体系的に開発する。
• 参考スコア（独自算出の注目度）: 7.238889207632064
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Independent Component Analysis (ICA) is a foundational tool for unsupervised representation learning, yet its high-dimensional theory remains largely limited to single-component recovery. We develop an asymptotically exact mean-field theory for multi-component online ICA, capturing the coupling induced by simultaneous learning and orthogonalization. In the high-dimensional limit, the joint empirical distribution of learned estimates and ground-truth components converges to a deterministic process, yielding a closed ODE system for the overlap matrix between learned directions and true components. This characterization reveals a genuinely multi-component, initialization-driven phase structure: a decoupled regime, where estimates align with distinct components and evolve nearly independently, and a competition regime, where overlapping initializations induce orthogonality-driven conflicts, slow reorientation, and delayed convergence. Our steady-state analysis gives explicit learnability boundaries and competition conditions linking step size, data moments, and initialization. These conditions show that larger higher-order moments and competition shrink the stable learning-rate window, increase convergence times, and predict a staircase phenomenon in which the number of recoverable components changes discretely with the learning rate. Experiments on synthetic data and hyperspectral remote sensing data validate the predicted trajectories and phase behavior.
• Abstract（参考訳）: 独立成分分析(ICA)は、教師なし表現学習の基礎となるツールであるが、その高次元理論は、主に単一成分回復に限られている。 多成分オンラインICAにおける漸近的に正確な平均場理論を開発し、同時学習と直交化によって引き起こされる結合を捉える。 高次元の極限では、学習された推定値と接地構造成分の合同経験的分布は決定論的過程に収束し、学習方向と真の成分の重なり行列の閉ODE系を生成する。 この特徴付けは、真に多成分で初期化駆動の位相構造、すなわち、推定が異なる成分と一致し、ほぼ独立に進化する分離された状態、および、重複した初期化が直交駆動の衝突を引き起こす競合状態、緩やかな再配向、遅延収束などを明らかにする。 私たちの定常状態分析は、ステップサイズ、データモーメント、初期化をリンクする明確な学習可能性境界と競合条件を提供します。 これらの条件は、より高次モーメントと競合が安定した学習速度ウィンドウを縮小し、収束時間を増やし、回復可能なコンポーネントの数が学習率と個別に変化する階段現象を予測することを示しています。 合成データと高スペクトルリモートセンシングデータの実験は、予測された軌道と位相挙動を検証する。

関連論文リスト

• A Generalized Adaptive Joint Learning Framework for High-Dimensional Time-Varying Models [0.8594140167290097]
  本稿では,機能的変数選択と構造的変化点検出を同時に行うための正規化フレームワークであるAdaptive Joint Learning (AJL)を紹介する。 この分析は、疾患進行の同期相転移を明らかにし、時間変化の予測マーカーの相同的なセットを同定する。
  論文  参考訳（メタデータ） (2026-01-08T02:07:49Z)
• Unifying Learning Dynamics and Generalization in Transformers Scaling Law [1.5229257192293202]
  大規模言語モデル(LLM)開発の基盤であるスケーリング法則は,計算資源の増加に伴うモデル性能の向上を予測している。 この研究は、変圧器に基づく言語モデルの学習力学を常微分方程式(ODE)システムとして定式化する。 本分析では,データによる計算資源のスケールとして,一般化誤差と既約リスクの収束を特徴付ける。
  論文  参考訳（メタデータ） (2025-12-26T17:20:09Z)
• The Procrustean Bed of Time Series: The Optimization Bias of Point-wise Loss [53.542743390809356]
  本稿では,最適化バイアス(EOB)の期待に関する第一原理解析を提案する。 時間列が決定論的で構造化されるほど、ポイントワイドの損失関数によるバイアスがより厳しくなる。 本稿では,DFTとDWTの両原理を同時に実現する具体的ソリューションを提案する。
  論文  参考訳（メタデータ） (2025-12-21T06:08:22Z)
• Provable Benefit of Curriculum in Transformer Tree-Reasoning Post-Training [76.12556589212666]
  学習後のカリキュラムは指数関数的複雑性のボトルネックを回避していることを示す。 結果のみの報酬信号の下では、強化学習の微調整は、サンプルの複雑さを高い精度で達成する。 カリキュラムを意識したクエリにより、報奨託書の呼び出しとサンプリングコストの両方を指数関数的に削減するテストタイムスケーリングの保証を確立する。
  論文  参考訳（メタデータ） (2025-11-10T18:29:54Z)
• Information-Theoretic Bounds and Task-Centric Learning Complexity for Real-World Dynamic Nonlinear Systems [0.6875312133832079]
  動的非線形系は静的および動的効果の結合による歪みを示す。 本稿では, 構造化分解, 分散解析, タスク中心の複雑性境界に基づく理論的枠組みを提案する。
  論文  参考訳（メタデータ） (2025-09-08T12:08:02Z)
• In-Context Linear Regression Demystified: Training Dynamics and Mechanistic Interpretability of Multi-Head Softmax Attention [52.159541540613915]
  本研究では,マルチヘッド型ソフトマックスアテンションモデルを用いて,線形データを用いたコンテキスト内学習を行う方法について検討する。 この結果から,学習内容の学習能力は,そのアーキテクチャと基礎となるデータ分布の集約的効果として,訓練されたトランスフォーマーから出現することが明らかとなった。
  論文  参考訳（メタデータ） (2025-03-17T02:00:49Z)
• Bridging Critical Gaps in Convergent Learning: How Representational Alignment Evolves Across Layers, Training, and Distribution Shifts [1.9458156037869137]
  収束学習は、神経システムが同様の内部表現に到達する度合いである。 数十の視覚モデルと数千の層対比較にまたがる収束学習の大規模監査を行う。 発見は、表現の収束に対する理解において重要なギャップを埋め、神経科学とAIに影響を及ぼす。
  論文  参考訳（メタデータ） (2025-02-26T00:04:24Z)
• Causal Temporal Regime Structure Learning [49.77103348208835]
  本稿では,DAG(Directed Acyclic Graph)を並列に学習する新しい手法であるCASTORを提案する。 我々は我々の枠組みの中で体制とDAGの識別可能性を確立する。 実験により、CASTORは既存の因果発見モデルより一貫して優れていることが示された。
  論文  参考訳（メタデータ） (2023-11-02T17:26:49Z)
• Supporting Optimal Phase Space Reconstructions Using Neural Network Architecture for Time Series Modeling [68.8204255655161]
  位相空間特性を暗黙的に学習する機構を持つ人工ニューラルネットワークを提案する。 私たちのアプローチは、ほとんどの最先端戦略と同じくらいの競争力があるか、あるいは優れているかのどちらかです。
  論文  参考訳（メタデータ） (2020-06-19T21:04:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。