論文の概要: Massive Redundancy in Gradient Transport Enables Sparse Online Learning

• arxiv url: http://arxiv.org/abs/2603.15195v1
• Date: Mon, 16 Mar 2026 12:32:55 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-03-17 18:28:58.280888
• Title: Massive Redundancy in Gradient Transport Enables Sparse Online Learning
• Title（参考訳）: グラディエントトランスポートにおける大規模冗長性は, オンライン学習の疎化を可能にする
• Abstract要約: リアルタイム反復学習は、ジャコビアンテンソルを前方に伝播させることにより、正確なオンライン勾配を計算する。 連続誤差信号系では、リカレントジャコビアンは非常に冗長であり、ランダムな6%の経路を伝播する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Real-time recurrent learning (RTRL) computes exact online gradients by propagating a Jacobian tensor forward through recurrent dynamics, but at O(n^4) cost per step. Prior work has sought structured approximations (rank-1 compression, graph-based sparsity, Kronecker factorization). We show that, in the continuous error signal regime, the recurrent Jacobian is massively redundant:propagating through a random 6% of paths (k=4 of n=64) recovers 84 +/- 6% of full RTRL's adaptation ability across five seeds, and the absolute count k=4 remains effective from n=64 to n=256 (6% to 1.6%, recovery 84 to 78%), meaning sparse RTRL becomes relatively cheaper as networks grow. In RNNs, the recovery is selection-invariant (even adversarial path selection works) and exhibits a step-function transition from zero to any nonzero propagation. Spectral analysis reveals the mechanism: the Jacobian is full-rank but near-isotropic (condition numbers 2.6-6.5), so any random subset provides a directionally representative gradient estimate. On chaotic dynamics (Lorenz attractor), sparse propagation is more numerically stable than full RTRL (CV 13% vs. 88%), as subsampling avoids amplifying pathological spectral modes. The redundancy extends to LSTMs (k=4 matches full RTRL) and to transformers via sparse gradient transport (50% head sparsity outperforms the dense reference; 33% is borderline), with higher thresholds reflecting head specialization rather than isotropy. On real primate neural data, sparse RTRL (k=4) adapts online to cross-session electrode drift (80 +/- 11% recovery, 5 seeds), where sparse propagation is again more stable than full RTRL. Without continuous error signal, Jacobian propagation accumulates numerical drift and degrades all RTRL variants, a scope condition for all forward-mode methods. Results hold with SGD (92 +/- 1% recovery), suggesting independence from optimizer choice.
• Abstract（参考訳）: リアルタイムリカレントラーニング(RTRL)は、ジャコビアンテンソルをリカレントダイナミクスによって前方に伝播することで、正確なオンライン勾配を計算するが、ステップ毎にO(n^4)コストがかかる。 以前の研究は構造化近似(rank-1 圧縮、グラフベースの空間性、Kronecker factorization)を求めてきた。 連続的エラー信号系では、リカレントジャコビアンは非常に冗長である:ランダムな経路の6%(k=4 of n=64)を伝播すると、84+/-6%のRTRL適応能が5つの種にわたって回復し、絶対的な数k=4は、n=64からn=256(6%から1.6%、リカバリ84～78%)まで有効であり、ネットワークの成長に伴って、スパースRTRLは比較的安価になる。 RNNでは、リカバリは選択不変(逆経路選択作業でさえ)であり、ゼロからゼロでない伝播へのステップ関数遷移を示す。 ヤコビアン (Jacobian) はフルランクであるが、ほぼ等方性 (条件番号 2.6-6.5) であるため、任意のランダム部分集合は方向を代表する勾配推定を与える。 カオス力学 (Lorenz attractor) では, スパース伝播はフルRTRL (CV 13% vs. 88%) よりも数値的に安定である。 冗長性はLSTM(k=4はフルRTRLと一致する)やスパース勾配輸送によるトランスフォーマー(50%の頭部空間は密度の高い基準より優れ、33%は境界線である)にまで拡張され、高い閾値はアイソトロピーよりも頭部特殊化を反映している。 真の霊長類の神経データでは、スパースRTRL (k=4) は、完全なRTRLよりもスパース伝播がより安定な、クロスセッション電極ドリフト (80 +/-11%リカバリ、5種) にオンラインで適応する。 連続的なエラー信号がなければ、ジャコビアン伝播は数値的なドリフトを蓄積し、すべてのTRL変種を分解する。 結果はSGD(92+/-1%のリカバリ)で維持され、オプティマイザの選択から独立することを示唆している。

関連論文リスト

• Spectral Gradient Orthogonalization Improves Differentially Private Training at Scale [17.610398782149293]
  空間的相関が勾配エネルギーを低ランクの部分空間に集中させる視覚モデルでは、ほとんどのノイズは信号がほとんどない方向に落ちる。 偏極分解によるスペクトル勾配直交化は後処理ステップとして導入される。 直交スペクトル信号対雑音比(SNR)が特異ベクトル回復に十分である場合にのみ精度が向上する。
  論文  参考訳（メタデータ） (2026-08-18T06:35:26Z)
• DFSC: Error-Controlled Differentiable Mittag-Leffler Propagation for Fractional Scientific Machine Learning [1.6010518212545237]
  PyTorch環境は、既知の分数伝播をデータ駆動の補正から分離する。 DFSCは密度、スパース、行列なし、自己共役、一般化、制御された複雑な演算子パスをサポートする。
  論文  参考訳（メタデータ） (2026-07-31T05:29:25Z)
• Closed-Form Spectral Regularization for Multi-Task Model Merging [96.82449201305234]
  モデルマージは、個別に調整された複数の専門家をトレーニングデータなしで単一のマルチタスクモデルに結合する。 State-of-the-art merging method formulate merging as a layer-wise interference problem。 本稿では,逐次降下の勾配-流路に一致するソフト指数フィルタを組み合わせた閉形式手法SWUDIを提案する。
  論文  参考訳（メタデータ） (2026-06-05T14:00:47Z)
• CART: Context-Anchored Recurrent Transformer -- A Parameter-Efficient Architecture with Learned Stability [0.0]
  CART(Context-Anchored Recurrent Transformer)は、パラメータ効率のよい言語モデルで、1つの共有コアブロックをR倍の深さで再利用する。 我々は1つのコンシューマGPU上でCARTを2段階に分けて評価した: 64-configuration screen at 3,000 steps, then 36 configurations (P=6, R in 6,8,10, three seed) training for 30500 steps (1B tokens)。 256,512,768,1024: 事前深さPはループ数Rを支配し、Rのステージ1ランクはフルトレーニング時に逆になる(R=6は最高になる)。
  論文  参考訳（メタデータ） (2026-05-31T23:26:27Z)
• Clipping Bottleneck: Stabilizing RLVR via Stochastic Recovery of Near-Boundary Signals [83.0127582612634]
  Near-boundary Rescue (NSR) は最小限のプラグ・アンド・プレイの修正であり、失った信号を回復するために、アウト・オブ・バウンドトークンを保持する。 NSRはトレーニングの安定性を大幅に改善し、DAPOやGSPOといった強力なベースライン上で一貫したゲインを提供する。
  論文  参考訳（メタデータ） (2026-05-21T16:45:31Z)
• Amplifying, Not Learning: Fine-Tuned AI Text Detectors Amplify a Pretrained Direction [51.56484100374058]
  テキスト検出器は、事前訓練された典型軸を増幅する。 タスク監督前の生エンコーダでは、3つのアーキテクチャでNYT-vs-HC3 AUROC 0.806/0.944/0.834を達成する。 RoBERTaベースでは、生のプロジェクションは微調整を超えるが、RoBERTaベースでは、フル微調整は、試験された流線型人口の双方で生よりも識別を小さくする。
  論文  参考訳（メタデータ） (2026-05-20T19:08:38Z)
• Pack only the essentials: Adaptive dictionary learning for kernel ridge regression [69.32538992633842]
  カーネルリッジ回帰 (KRR) の大きな限界の1つは、n 個のサンプルに対するカーネル行列 K_n の保存と操作が O(n2) 空間を必要とすることである。 INK-Estimateはデータセットを漸進的に処理し、RSS、有効次元、Nystrom近似をオンザフライで更新するアルゴリズムである。 本稿では,INK-Estimateをベースとした非正規化RSSを用いた新しいアルゴリズムであるSQUEAKを紹介する。
  論文  参考訳（メタデータ） (2026-04-24T09:22:09Z)
• Analysis of Nystrom method with sequential ridge leverage scores [69.32538992633842]
  大規模なカーネルリッジ回帰(KRR)は、大規模なカーネルマトリックスK_tを格納する必要があるため制限される。 近年の研究では、尾根レバレッジスコア(RLS)に比例するサンプリング分布が、近似に強い再構成保証をもたらすことが示されている。 本稿では,LS推定値を漸進的に計算するINK-ESTIMATEアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2026-04-22T00:49:25Z)
• Conservation Law Breaking at the Edge of Stability: A Spectral Theory of Non-Convex Neural Network Optimization [0.0]
  非次元ネットワーク最適化において、勾配勾配勾配が確実に良い解となることを示す。 幅依存性の動的遷移によって分離された2つの規則を同定する。 全ての予測は23の実験で検証される。
  論文  参考訳（メタデータ） (2026-04-08T10:41:24Z)
• Inverse Neural Operator for ODE Parameter Optimization [6.148294495010685]
  Inverse Neural Operator (INO) は、疎部分的な観測から隠されたODEパラメータを復元するフレームワークである。 INOは0.23秒の推論時間しか必要とせず、パラメータ回復の精度で勾配ベースと償却ベースラインを上回ります。
  論文  参考訳（メタデータ） (2026-03-12T12:20:23Z)
• BASIS: Balanced Activation Sketching with Invariant Scalars for "Ghost Backpropagation" [0.0]
  正確なバックプロパゲーションに必要な活性化メモリは、ネットワーク深さ、コンテキスト長、特徴次元と線形にスケールする。 本稿では,活性化メモリをバッチ次元とシーケンス次元から完全に分離する効率的なバックプロパゲーションアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2026-03-05T20:38:25Z)
• MLPMoE: Zero-Shot Architectural Metamorphosis of Dense LLM MLPs into Static Mixture-of-Experts [0.0]
  大規模言語モデル(LLM)は、主に高密度トランスフォーマーとしてデプロイされ、すべてのトークンに対してフィードフォワードブロック内の全てのパラメータがアクティブになる。 MoEfication、CMoE、ToMoE、MoOREといった最近のアップサイクリング手法は、高密度フィードフォワードネットワーク内の疎小で半モジュラーなサブ構造に有用な計算の大部分が存在していることを明らかにしている。 本稿では,高密度の変圧器ブロックを静的な高心性混合体に再構成する学習自由変換であるMoE(MLP-Experts)を紹介する。
  論文  参考訳（メタデータ） (2025-11-26T06:14:26Z)
• Evolution Strategies at the Hyperscale [57.75314521465674]
  本稿では,大集団にバックプロップフリーな最適化を拡大するための進化戦略(ES)アルゴリズムEGGROLLを紹介する。 ESは、微分不可能またはノイズの多い目的を処理できる強力なブラックボックス最適化手法のセットである。 EGGROLLはランダム行列を$Ain mathbbRmtimes r, Bin mathbbRntimes r$ with $rll min(m,n)$ とすることでこれらのボトルネックを克服し、低ランク行列摂動を$A Btop$とする。
  論文  参考訳（メタデータ） (2025-11-20T18:56:05Z)
• Exploring Spiking Neural Networks for Binary Classification in Multivariate Time Series at the Edge [0.9282545044546486]
  多変量時系列のバイナリ分類を行うために、スパイキングニューラルネットワーク(SNN)を訓練するための一般的なフレームワークを提案する。 ガンマ線スペクトルデータにおける低信号-雑音比放射源の検出に応用する。 その結果、49個の神経細胞と66個のシナプスを持つSNNは、51.8%の真の正の速度(TPR)を1/hrの誤報率で達成した。 マイクロカスピアンニューロモルフィックプラットフォーム上のハードウェア展開は、2mWの消費電力と20.2msのレイテンシを示す。
  論文  参考訳（メタデータ） (2025-10-23T20:52:11Z)
• Environment-Aware Indoor LoRaWAN Path Loss: Parametric Regression Comparisons, Shadow Fading, and Calibrated Fade Margins [3.776919981139063]
  内部のLoRaWAN伝播は、構造的および時間的変化の文脈因子によって形成される。 リークセーフなクロスバリデーションを用いて評価した,環境に配慮した統計的に規律のある経路損失フレームワークを提案する。
  論文  参考訳（メタデータ） (2025-10-05T20:14:48Z)
• Flow-GRPO: Training Flow Matching Models via Online RL [80.62659379624867]
  本稿では,オンライン政策強化学習をフローマッチングモデルに統合する最初の方法であるFlow-GRPOを提案する。 提案手法では,(1)決定論的正規微分方程式を同値な微分方程式に変換するODE-to-SDE変換と,(2)推論ステップの数を維持しながらトレーニングの段階を短縮するDenoising Reduction戦略の2つの主要な戦略を用いる。
  論文  参考訳（メタデータ） (2025-05-08T17:58:45Z)
• Rao-Blackwell Gradient Estimators for Equivariant Denoising Diffusion [55.95767828747407]
  分子やタンパク質の生成のようなドメインでは、物理系はモデルにとって重要な固有の対称性を示す。 学習のばらつきを低減し、確率的に低い分散勾配推定器を提供するフレームワークを提案する。 また,軌道拡散法(Orbit Diffusion)と呼ばれる手法を用いて,損失とサンプリングの手順を取り入れた推定器の実用的実装を提案する。
  論文  参考訳（メタデータ） (2025-02-14T03:26:57Z)
• On the Power of Perturbation under Sampling in Solving Extensive-Form Games [56.013335390600524]
  本研究では, サンプリング対象の広義ゲームにおいて, 摂動がいかにしてFTRL(Follow-the-Regularized-Leader)アルゴリズムを改良するかを検討する。 我々は、textitPerturbed FTRLアルゴリズムの統一フレームワークを提案し、PFTRL-KLとPFTRL-RKLの2つの変種について検討する。
  論文  参考訳（メタデータ） (2025-01-28T00:29:38Z)
• Convergence Analysis of Real-time Recurrent Learning (RTRL) for a class of Recurrent Neural Networks [0.0]
  Real-time Recurrent Learning (RTRL) はオンライン最適化アルゴリズムである。 これは、データシーケンス上の真の勾配損失を、シーケンスタイムステップの数として追従する。 RTRLの潜在的な応用分野の1つは、財務データの分析である。
  論文  参考訳（メタデータ） (2025-01-14T11:46:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。