論文の概要: Learning Rate Should Scale Inversely with High-Order Data Moments in High-Dimensional Online Independent Component Analysis

• arxiv url: http://arxiv.org/abs/2509.15127v1
• Date: Thu, 18 Sep 2025 16:34:59 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-09-19 17:26:53.334438
• Title: Learning Rate Should Scale Inversely with High-Order Data Moments in High-Dimensional Online Independent Component Analysis
• Title（参考訳）: 高次元オンライン独立成分分析における高次データモーメントによる学習速度の逆スケール化
• Authors: M. Oguzhan Gultekin, Samet Demir, Zafer Dogan,
• Abstract要約: オンライン独立成分分析(ICA)アルゴリズムの学習力学に及ぼす高次モーメントの影響について検討する。 高次モーメントが増加するにつれて、アルゴリズムは収束が遅くなり、より低い学習率とより高い初期アライメントを要求する。
• 参考スコア（独自算出の注目度）: 7.238889207632064
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We investigate the impact of high-order moments on the learning dynamics of an online Independent Component Analysis (ICA) algorithm under a high-dimensional data model composed of a weighted sum of two non-Gaussian random variables. This model allows precise control of the input moment structure via a weighting parameter. Building on an existing ordinary differential equation (ODE)-based analysis in the high-dimensional limit, we demonstrate that as the high-order moments increase, the algorithm exhibits slower convergence and demands both a lower learning rate and greater initial alignment to achieve informative solutions. Our findings highlight the algorithm's sensitivity to the statistical structure of the input data, particularly its moment characteristics. Furthermore, the ODE framework reveals a critical learning rate threshold necessary for learning when moments approach their maximum. These insights motivate future directions in moment-aware initialization and adaptive learning rate strategies to counteract the degradation in learning speed caused by high non-Gaussianity, thereby enhancing the robustness and efficiency of ICA in complex, high-dimensional settings.
• Abstract（参考訳）: 2つの非ガウス確率変数の重み付け和からなる高次元データモデルの下で,高次モーメントがオンライン独立成分分析(ICA)アルゴリズムの学習力学に与える影響について検討した。 このモデルにより、重み付けパラメータを介して入力モーメント構造を正確に制御できる。 高次元極限における既存の常微分方程式(ODE)に基づく解析に基づいて、高次モーメントが増加するにつれて、アルゴリズムは収束が遅くなり、より低い学習率と高い初期アライメントが要求されることを示した。 本研究は,入力データの統計的構造に対するアルゴリズムの感度,特にモーメント特性を明らかにする。 さらに、ODEフレームワークは、モーメントが最大値に近づくときの学習に必要な重要な学習速度しきい値を明らかにする。 これらの知見は,高ガウス性による学習速度の劣化を防止し,複雑な高次元環境下でのICAの堅牢性と効率を高めるために,モーメントアウェア初期化と適応学習率戦略の今後の方向性を動機付けている。

関連論文リスト

• A Proportional-Integral Controller-Incorporated SGD Algorithm for High Efficient Latent Factor Analysis [1.4719924357068723]
  勾配降下に基づく潜在因子分析(SGD-LFA)法は,HDI行列に埋め込まれた深い特徴情報を効果的に抽出することができる。 本稿では,PIを高速化するSGDアルゴリズムを開発したPILFモデルを提案する。
  論文  参考訳（メタデータ） (2025-08-25T02:39:23Z)
• The High Line: Exact Risk and Learning Rate Curves of Stochastic Adaptive Learning Rate Algorithms [8.681909776958184]
  本研究では,高次元最適化問題の大規模なクラスにおいて,学習速度と学習速度のダイナミクスを解析するためのフレームワークを開発する。 我々は、ODEのシステムに対する決定論的解という観点から、リスクと学習率曲線の正確な表現を与える。 最小二乗問題に対する最適正則線探索とAdaGrad-Normの2つの適応学習率について詳細に検討する。
  論文  参考訳（メタデータ） (2024-05-30T00:27:52Z)
• An ADRC-Incorporated Stochastic Gradient Descent Algorithm for Latent Factor Analysis [6.843073158719234]
  勾配降下(SGD)に基づく潜在因子分析(LFA)モデルは,HDI行列から貴重な情報を抽出するのに極めて有効である。 標準SGDアルゴリズムは、学習エラーの履歴と将来の状態を考慮せずに、現在の学習誤差のみを計算できる。 本稿では,ADRCを組み込んだSGD(ADS)アルゴリズムを革新的に提案する。
  論文  参考訳（メタデータ） (2024-01-13T08:38:54Z)
• Understanding Augmentation-based Self-Supervised Representation Learning via RKHS Approximation and Regression [53.15502562048627]
  最近の研究は、自己教師付き学習とグラフラプラシアン作用素のトップ固有空間の近似との関係を構築している。 この研究は、増強に基づく事前訓練の統計的分析に発展する。
  論文  参考訳（メタデータ） (2023-06-01T15:18:55Z)
• Fast Latent Factor Analysis via a Fuzzy PID-Incorporated Stochastic Gradient Descent Algorithm [1.984879854062214]
  勾配降下(SGD)に基づく潜在因子分析モデルは,HDI行列から貴重な情報を抽出するのに極めて有効である。 標準SGDアルゴリズムは、過去の更新情報を考慮せずに、現在のインスタンスエラーの勾配に依存する潜在因子を学習する。 本稿では, ファジィPIDを組み込んだSGDアルゴリズムを2つのアイデアで提案する: 1) 過去の更新情報をPIDの原則に従って効率的な方法で再設計し, 2) ハイパーラーニングを実装し, ファジィ規則に従う適応を得る。
  論文  参考訳（メタデータ） (2023-03-07T14:51:09Z)
• AttNS: Attention-Inspired Numerical Solving For Limited Data Scenarios [51.94807626839365]
  限定データによる微分方程式の解法として,注目型数値解法(AttNS)を提案する。 AttNSは、モデル一般化とロバスト性の向上におけるResidual Neural Networks(ResNet)のアテンションモジュールの効果にインスパイアされている。
  論文  参考訳（メタデータ） (2023-02-05T01:39:21Z)
• Learning Large-scale Neural Fields via Context Pruned Meta-Learning [60.93679437452872]
  本稿では,大規模ニューラルネットワーク学習のための最適化に基づくメタラーニング手法を提案する。 メタテスト時間における勾配再スケーリングは、非常に高品質なニューラルネットワークの学習を可能にすることを示す。 我々のフレームワークは、モデルに依存しない、直感的で、実装が容易であり、幅広い信号に対する大幅な再構成改善を示す。
  論文  参考訳（メタデータ） (2023-02-01T17:32:16Z)
• On Fast Simulation of Dynamical System with Neural Vector Enhanced Numerical Solver [59.13397937903832]
  ニューラルベクトル(NeurVec)と呼ばれる深層学習に基づく補正手法を提案する。 NeurVecは、統合エラーを補償し、シミュレーションでより大きなタイムステップサイズを可能にする。 様々な複雑な力学系ベンチマークの実験により、NeurVecは顕著な一般化能力を示すことが示された。
  論文  参考訳（メタデータ） (2022-08-07T09:02:18Z)
• Distributional Gradient Matching for Learning Uncertain Neural Dynamics Models [38.17499046781131]
  本稿では,数値積分ボトルネックを回避するため,不確実なニューラル・オーダを推定するための新しい手法を提案する。 我々のアルゴリズム - 分布勾配マッチング (DGM) は、よりスムーズなモデルと動的モデルを共同で訓練し、ワッサーシュタイン損失を最小化することでそれらの勾配と一致する。 数値積分に基づく従来の近似推論手法と比較して,我々の手法は訓練がより速く,これまで見つからなかった軌道の予測がより高速であり,ニューラルODEの文脈では,はるかに正確であることがわかった。
  論文  参考訳（メタデータ） (2021-06-22T08:40:51Z)
• On Learning Rates and Schr\"odinger Operators [105.32118775014015]
  本稿では,学習率の影響に関する一般的な理論的分析を行う。 学習速度は、幅広い非ニューラルクラス関数に対してゼロとなる傾向にある。
  論文  参考訳（メタデータ） (2020-04-15T09:52:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。