論文の概要: Decoupled Prune-and-Reconstruct: Training on a Compact Core with Double-Layer Sparsification

• arxiv url: http://arxiv.org/abs/2610.34140v1
• Date: Sun, 25 Oct 2026 08:20:30 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-27 22:27:13.543304
• Title: Decoupled Prune-and-Reconstruct: Training on a Compact Core with Double-Layer Sparsification
• Title（参考訳）: Decoupled Prune-and-Reconstruct:Double-Layer Sparsification を用いた小型コアの訓練
• Abstract要約: DPRは、精度税からアグレッシブノードプルーニングを、VRAM制限の全ノード推論のための安全なトレーニングアクセラレータに変える。 このフレームワークはピークトレーニングメモリの6,285 MiBで2.45Mノードの生産グラフにスケールする。
• 参考スコア（独自算出の注目度）: 1.9899128327863578
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: On million-node graphs, the memory wall arrives before the compute wall: a GNN that never fits in VRAM cannot deliver the all-node inference its accuracy promises. The standard remedy, pruning, has always been an accuracy tax - paid once and never refunded. DPR refuses this framing. Its central insight is that the mask that shrinks training can also scaffold recovery: one compact node set bounds both computations of graph learning, serving as the encoder's training graph and, at inference, as the anchor from which a sparse structure-aware decoder rebuilds every pruned node (double-layer sparsification). The order is inverted - prune for efficiency, then reconstruct for accuracy - and the tax is repaid: the deployed 30%-budget model trains in 1,450 MiB of peak memory on one 6 GB GPU and recovers 96.9% of its dense-reconstruction reference, beating a same-GPU rerun of the edge-sparsification baseline DSpar by +1.36 pp at 50.1% lower peak training memory; against the same-protocol full-batch no-prune encoder the deployed point pays a measured 2.64 pp accuracy tax for a 2.8x smaller training footprint. Pruning without reconstruction leaves the encoder at 0.378 within the same 40-epoch window (Fig. 4), and all-node serving runs 46x faster than sampling-based GraphSAGE, giving up approx. 5.4 pp of test accuracy. The framework scales to a 2.45M-node production graph at 6,285 MiB of peak training memory; extended variants (long-range context, external text features, a CAN-bus application) are reported as extensions and do not compete with the deployed method, and the 41.8%-budget M4 point, scored on a coarsened super-node graph with its own split, is reported separately rather than compared with the original-node baselines. DPR thus turns aggressive node pruning from an accuracy tax into a safe training accelerator for VRAM-limited all-node inference.
• Abstract（参考訳）: 百万のノードグラフ上では、メモリウォールが計算壁の前に到達します。VRAMに収まらないGNNは、その精度の保証を全ノードで推測することはできないのです。 標準的な救済策はプルーニング(pruning)であり、常に正確な税である。 DPRはこのフレーミングを拒否します。 トレーニングを縮小するマスクは足場回復も可能である: 1つのコンパクトノードセットはグラフ学習の計算をバウンドし、エンコーダのトレーニンググラフとして機能し、推論時にスパース構造を意識したデコーダが全てのパーンドノードを再構築するアンカー(二重層スペーシング)として機能する。 30%の予算モデルが1,450 MiBのピークメモリを1つの6GB GPUで1,450 MiBで、96.9%の高密度リコンストラクション参照を回復し、エッジスパーシフィケーションベースラインDSparを1.36 ppで50.1%低いピークトレーニングメモリで1+1.36 ppでリランし、同じプロトコールのフルバッチ・ノープルーエンコーダに対して、配備されたポイントは2.8倍の精度で2.64 ppの精度税を支払う。 再構築なしでプルーニングすると、エンコーダは0.378で同じ40時間ウィンドウ(図4)に残され、全ノード配信はサンプリングベースのGraphSAGEの46倍高速で実行され、アポックスを諦める。 5.4pp。 フレームワークはピークトレーニングメモリの6,285MiBの2.45Mノード生産グラフにスケールし、拡張された変種(長距離コンテキスト、外部テキスト特徴、CANバスアプリケーション)は拡張として報告され、デプロイされたメソッドと競合せず、41.8%の予算M4ポイントは、独自の分割で粗いスーパーノードグラフにスコア付けされた。 したがって、DPRは、精度税からの攻撃的なノードプルーニングを、VRAM制限の全ノード推論のための安全なトレーニングアクセラレータに変える。

関連論文リスト

• The Missing Fourth Term for the Emulation Tensor Memory Equilibrium (TME) Model: The Residue Deconstruction Cost [0.0]
  『FP8 is All You Need』(パート1)では、テンソルコア項の最大値としてfp64の尾崎スキームIIエミュレーションの実行時間と、ハイバンド幅メモリ(HBM)トラフィック項と出力毎の再構成項を算出する。 すべてのストリームfp64は、任意の行列乗算が発行される前にSIMTパイプ上の$r$モジュラーのそれぞれをスケール、丸め、減らさなければならない。 残余の事前計算と保存は、同じコストで帯域幅の項に移行し、命令数を示す。
  論文  参考訳（メタデータ） (2026-10-07T21:27:35Z)
• Cascadia: Resident 975B MoE Inference on Eleven AI PCs [0.0]
  我々は、11台のIntel Core Ultra X7 358H AI PC上で、カスカディアのInklingの常駐実行を示す。 Inklingのルーティングルールを保存し、OpenVINOの融合したiGPUプリミティブのための圧縮グラフを構築するカスタム常駐MoEエンジンにコントリビュートする。 ストリーミングパイプラインは同時生成をコーディネートし、キャプチャ状態のドラフト評価は、展開された数値パスと一致させる。
  論文  参考訳（メタデータ） (2026-10-05T18:29:24Z)
• Does the VGGT Family Need All Its Layers? [55.81487806596663]
  VGGT,3ドル,VGGT-$:3,018プルーニング構成における層冗長性について検討した。 取り外し可能な層が2つの冗長領域に集結しているのに対して、層間をまたがる削除は、常に破壊的である。 CKAは、間隔分解のためのより安価な表現ベースのプロキシを提供し、プルーニング品質とキャリブレーションコストのトレードオフを提供する。
  論文  参考訳（メタデータ） (2026-09-29T06:52:07Z)
• On the Design of Qwen3.8-Next Architecture: Evaluation, Efficiency, and Training Stability [57.03393882933515]
  Qwen3.8-Flash-Nextは125Bパラメータ、トークンあたり6Bアクティベートされ、加速器から保持されるn-gram埋め込みテーブルの51Bパラメータを持つスパースミックス・オブ・エキスパートモデルである。 トレーニング前の14のベンチマークでは、このモデルは前モデルの397B-A17Bを8点、残りを少なくとも2.6ポイント、アクティベートされたパラメータが1/3、トレーニングトークンが1/3、トレーニング用FLOPが1/9であった。
  論文  参考訳（メタデータ） (2026-08-31T06:35:07Z)
• A Modern Multimodal Assistant on a 6 GB 2011 GPU: Stage-Validated, All-GPU CUDA Inference for Fermi [0.0]
  このレポートはハードウェアを維持し、適合するモデルに何ができるかを尋ねる。 SigLIP2エンコーダとウィンドウアテンションマージを組み合わせた,現代的なマルチモーダルアシスタントであるMini-V-4.6をデプロイする。 システムは、画像質問のエンドツーエンドを1.7秒で答える。
  論文  参考訳（メタデータ） (2026-07-16T04:48:44Z)
• GRASPrune: Global Gating for Budgeted Structured Pruning of Large Language Models [17.662767323550135]
  大規模言語モデル(LLM)は、モデルパラメータ、注意計算、KVキャッシュがかなりのメモリとレイテンシのコストを課しているため、費用がかかる。 GRASPruneは、FFNチャネルとKVヘッドグループを1つのグローバル予算の下で共同でプーンする事前訓練後に適用される構造化プルーニングフレームワークである。 LLaMA-2-7Bでは、GRASPruneはパラメータの50%を除去し、WikiText-2では12.18パープレクシリティを達成した。
  論文  参考訳（メタデータ） (2026-04-21T12:26:16Z)
• Scaling DoRA: High-Rank Adaptation via Factored Norms and Fused Kernels [83.99688944263843]
  DoRA(Weight-De Low-Rank Adaptation)は、LoRAを方向から分離することで拡張する。 d_in = 8192 とランク r = 384 では、単一のモジュールのノルムは bf16 で512MB の過渡的なワーキングメモリを必要とする。 因子ノルムは、二乗ノルムを O(d_out r + r2) 中間体を通して計算可能な基底、交差、およびグラマー項に分解し、密積を除去する。
  論文  参考訳（メタデータ） (2026-03-23T17:57:24Z)
• Plexus: Taming Billion-edge Graphs with 3D Parallel Full-graph GNN Training [5.1420473428862605]
  グラフニューラルネットワーク(GNN)は、実世界のグラフの接続性と構造を利用して、ノード間の複雑な特性と関係を学習する。 多くの実世界のグラフはGPUのメモリ容量を超えており、そのようなグラフ上でのGNNのトレーニングには、スケールするためにミニバッチサンプリングのような技術が必要である。 本稿では、これらの問題に対処し、数十億のエッジグラフにスケールするフルグラフトレーニングのための3次元並列アプローチを提案する。
  論文  参考訳（メタデータ） (2025-05-07T02:49:52Z)
• Data-Free Dynamic Compression of CNNs for Tractable Efficiency [46.498278084317704]
  構造化プルーニング手法は, 精度が大幅に低下することなく浮動小数点演算を低下させる可能性を示唆している。 HASTE(Hashing for Tractable Efficiency)は,データフリーでプラグイン・アンド・プレイのコンボリューションモジュールで,トレーニングや微調整なしにネットワークのテスト時間推論コストを瞬時に低減する。 CIFAR-10とImageNetでは46.72%のFLOPを1.25%の精度で削減した。
  論文  参考訳（メタデータ） (2023-09-29T13:09:40Z)
• Retrosynthetic Planning with Dual Value Networks [107.97218669277913]
  我々は、PDVN(Planning with Dual Value Networks)と呼ばれる新しいオンライントレーニングアルゴリズムを提案する。 PDVNは計画段階と更新段階を交互に行い、分子の合成性とコストを予測する。 広く使われているUSPTOデータセットでは、PDVNアルゴリズムが既存のマルチステッププランナの探索成功率を改善する。
  論文  参考訳（メタデータ） (2023-01-31T16:43:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。