論文の概要: When Sparsity Breaks Connectivity: Functional Reachability and Guided Topology Dynamics in Extreme Sparse Training

• arxiv url: http://arxiv.org/abs/2610.17425v1
• Date: Mon, 12 Oct 2026 21:38:55 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-17 19:01:53.08555
• Title: When Sparsity Breaks Connectivity: Functional Reachability and Guided Topology Dynamics in Extreme Sparse Training
• Title（参考訳）: 空間が接続性を損なうとき--極スパークトレーニングにおける機能的到達性とガイド付きトポロジーダイナミクス
• Abstract要約: ダイナミックスパーストレーニング (Dynamic Sparse Training, DST) は周期的にプーンと再成長する。 層状スパースグラフ上での前方・後方・機能的到達性について定式化する。 モンテカルロ実現は理論と一致することを示す。
• 参考スコア（独自算出の注目度）: 1.991203131977109
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Dynamic Sparse Training (DST) periodically prunes and regrows connections, inducing a discrete dynamical mechanism over network topologies. At extreme sparsity ($\ge 99\%$), this dynamic tends to destroy input-output information pathways, and performance with standard magnitude/random updates degrades sharply. We formalize forward, backward, and functional reachability on layered sparse graphs, derive closed-form expectations for reachable neurons and edges, and show that Monte Carlo realizations match the theory. Guided by this reachability-based structure, we bias pruning toward non-functional edges and regrowth toward functionally consistent candidates. We introduce this reachability-driven modification of topology evolution as Reachability-guided in DST, referred to as guided DST. On CIFAR-10/100 and Tiny ImageNet, guided DST recovers large accuracy gaps versus unguided DST (up to $+14.4$ points at $99.9\%$ sparsity on CIFAR-100), and on MLP-Mixer guided DST remains trainable at $99.99\%$ sparsity while unguided random regrowth degrades sharply. These results cast extreme-sparse training as a connectivity-preserving dynamical process. Our implementation is publicly available at https://github.com/mzjaworski/ea_dst.
• Abstract（参考訳）: 動的スパーストレーニング (Dynamic Sparse Training, DST) は、ネットワークトポロジ上の離散的動的メカニズムを誘導し、周期的にプーンと再成長する。 極端な間隔 (99 %$) では、このダイナミクスは入力出力情報経路を破壊する傾向があり、標準的な等級/ランダムな更新によるパフォーマンスは急激に低下する。 我々は、層状スパースグラフ上の前方、後方、および機能的到達性を形式化し、到達可能なニューロンとエッジに対する閉形式期待を導出し、モンテカルロ実現が理論に一致することを示す。 この到達可能性に基づく構造により、非機能エッジへの偏りと、機能的に一貫した候補への再成長が導かれる。 本稿では、この到達可能性駆動型トポロジー進化の修正を、誘導DSTと呼ばれるDSTにおける到達可能性誘導として導入する。 CIFAR-10/100とTiny ImageNetでは、誘導されたDSTは、誘導されていないDST(最大$+14.4$ポイント、CIFAR-100では$99.9\%)に対して大きな精度のギャップを回復し、MLP-MixerガイドされたDSTは99.99\%の間隔でトレーニング可能であり、無誘導のランダム再成長は急激に低下する。 これらの結果は、接続性を保つ動的プロセスとして極端なスパーストレーニングをもたらした。 私たちの実装はhttps://github.com/mzjaworski/ea_dst.comで公開されています。

関連論文リスト

• Test time training enhances in-context learning of nonlinear functions [51.56484100374058]
  テストタイムトレーニング(TTT)は、各予測に先立って指定されたパラメータを明示的に更新することで、モデル性能を向上させる。 本研究では,TTTとテキスト内学習(ICL)の組み合わせについて検討する。
  論文  参考訳（メタデータ） (2025-09-30T03:56:44Z)
• Dynamic Sparse Training of Diagonally Sparse Networks [15.13506569122892]
  構造のない空間は しばしば 現代のハードウェアの 実用的なスピードアップに 変換できない 本研究では,非構造空間と同等に機能する新規なスパース・ツー・スパース法であるDynaDiagを提案する。 ViTの90%の線形層で、我々はモデル性能を犠牲にすることなく、オンライン推論の3.13倍のスピードアップを観測する。
  論文  参考訳（メタデータ） (2025-06-13T04:01:34Z)
• Fantastic Weights and How to Find Them: Where to Prune in Dynamic Sparse Training [58.47622737624532]
  本研究では,プルーニング基準が動的スパーストレーニング(DST)性能に及ぼす影響について検討する。 その結果,研究手法のほとんどが同様の結果をもたらすことがわかった。 最高のパフォーマンスは、最も単純なテクニックであるマグニチュードベースのプルーニングによって主に与えられる。
  論文  参考訳（メタデータ） (2023-06-21T12:43:55Z)
• Dynamic Sparsity Is Channel-Level Sparsity Learner [91.31071026340746]
  ダイナミックスパーストレーニング(Dynamic Sparse Training, DST)は、ススパーストレーニングの指導的アプローチである。 チャネル対応動的スパース(Chase)は、非構造的動的スパースをチャネルレベルのスパースにシームレスに変換する。 提案手法は,非構造的空間性からチャネルワイド空間性へ変換する。
  論文  参考訳（メタデータ） (2023-05-30T23:33:45Z)
• Dynamic Sparse Training with Structured Sparsity [11.778353786208765]
  ダイナミックスパーストレーニング(DST)法は、スパースニューラルネットワークトレーニングにおいて最先端の結果を達成する。 本研究では, 微細構造N:M空間の変形を学習するために, スパース・ツー・スパースDST法, Structured RigL (SRigL)を提案する。 オンライン推論用CPUでは3.4x/2.5x、GPUでは1.7x/13.0x、バッチサイズは256である。
  論文  参考訳（メタデータ） (2023-05-03T17:48:55Z)
• Trainability Preserving Neural Structured Pruning [64.65659982877891]
  本稿では,正規化型構造化プルーニング法であるTPP(Traiability Preserving pruning)を提案する。 TPPは線形ネットワーク上での地中動力学的等尺性回復法と競合する。 多くのトップパフォーマンスのフィルタプルーニング手法と比較して、優れたパフォーマンスを提供する。
  論文  参考訳（メタデータ） (2022-07-25T21:15:47Z)
• Do We Actually Need Dense Over-Parameterization? In-Time Over-Parameterization in Sparse Training [16.81321230135317]
  スパーストレーニングにおけるITOP(In-Time Over-Resibilityization)の概念を提案する。 ITOPはスパーストレーニングと密集トレーニングのギャップを埋めます。 本稿では,我々の予想を裏付け,最先端のスパーストレーニング性能を達成するための一連の実験について述べる。
  論文  参考訳（メタデータ） (2021-02-04T20:59:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。