論文の概要: BARTER: Compact Dynamic Sparse Training with Standard Dense Kernels

• arxiv url: http://arxiv.org/abs/2610.16147v1
• Date: Mon, 12 Oct 2026 04:10:03 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-19 07:25:14.260029
• Title: BARTER: Compact Dynamic Sparse Training with Standard Dense Kernels
• Title（参考訳）: BARTER:標準Denseカーネルを用いた小型ダイナミックスパーストレーニング
• Abstract要約: ダイナミックスパーストレーニング(DST)は、精度を維持しながらトレーニングコストを削減することを目的としている。 BARTERは、標準の高密度カーネルを使用したトレーニングコストを削減する構造化DSTフレームワークである。 NVIDIA L40では、BARTERは測定されたトレーニングセグメントで最大6.29タイムのスピードアップを達成している。
• 参考スコア（独自算出の注目度）: 8.051325206834795
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Dynamic sparse training (DST) aims to reduce training costs while maintaining accuracy. Existing DST methods mask out parameters but keep matrix dimensions unchanged. Training speedups therefore depend on specialized support, such as sparse kernels. We introduce BARTER, a structured DST framework that reduces training cost using standard dense kernels by keeping training tensors physically compact while dynamically reallocating capacity across layers. Unlike existing works that require computing gradients for all parameters, BARTER instead uses statistics collected only from active units during ordinary backpropagation to prune and clone attention heads and feed-forward channels under separate fixed global budgets. At each topology update, it resizes the affected parameter tensors and remaps their optimizer states, so subsequent training steps operate directly on the compact model. Training and fine-tuning experiments with Transformer-based vision models on two image classification benchmarks at densities from $0.1$ to $0.7$ show competitive Top-1 accuracy relative to full-tensor DST baselines. On an NVIDIA L40, BARTER achieves speedups of up to $6.29\times$ in measured training segments and reduces peak allocated GPU memory by up to $81.3\%$ relative to these implementations. An iPhone 13 Pro Max training benchmark additionally shows a $2.78\times$ speedup over the full-tensor DST baseline.
• Abstract（参考訳）: ダイナミックスパーストレーニング(DST)は、精度を維持しながらトレーニングコストを削減することを目的としている。 既存のDSTメソッドはパラメータをマスクアウトするが、行列次元は変わらない。 そのため、トレーニングスピードアップはスパースカーネルのような特別なサポートに依存している。 本稿では, テンソルを物理的にコンパクトに保ち, 層間容量を動的に再配置することにより, 標準的な高密度カーネルを用いたトレーニングコストを低減する構造DSTフレームワークであるBARTERを紹介する。 全てのパラメータの計算勾配を必要とする既存の研究とは違い、BARTERは通常のバックプロパゲーション中にアクティブユニットから収集された統計を、別の固定されたグローバル予算の下でプルーとクローンのアテンションヘッドとフィードフォワードチャネルに使用する。 各トポロジ更新では、影響を受けるパラメータテンソルをリサイズし、最適化状態を再マップする。 Transformerベースの視覚モデルを用いたトレーニングおよび微調整実験は、フルテンソルDSTベースラインと比較して、0.1$から0.7$の密度の2つの画像分類ベンチマークで、競合するトップ1の精度を示している。 NVIDIA L40上では、BARTERは、測定されたトレーニングセグメントで最大6.29\times$のスピードアップを達成し、これらの実装と比較して最大で8.3\%のGPUメモリを最大で8.1.3\%まで削減する。 さらにiPhone 13 Pro Maxのトレーニングベンチマークでは、フルテンソルのDSTベースラインよりも2.78\times$のスピードアップが示されている。

関連論文リスト

• MeanFlow Transformers with Representation Autoencoders [71.45823902973349]
  MeanFlow(MF)は、ノイズからデータへのジャンプを直接学習することで、効率的な数ステップ生成を可能にする拡散動機付き生成モデルである。 我々は、表現オートエンコーダ(RAE)の潜在空間におけるMFの効率的なトレーニングとサンプリング手法を開発する。 1ステップのFIDが2.03であり,バニラMFの3.43を上回っ,GFLOPSのサンプリングを38%削減し,ImageNet 256のトレーニングコストを83%削減した。
  論文  参考訳（メタデータ） (2025-11-17T06:17:08Z)
• EcoSpa: Efficient Transformer Training with Coupled Sparsity [79.5008521101473]
  トランスフォーマーは現代のAIのバックボーンとなっているが、その高い計算要求は重要なシステム課題を引き起こしている。 EcoSpaは、結合した重み行列対を共同で評価し、スパース化する効率的な構造的スパース訓練法である。
  論文  参考訳（メタデータ） (2025-11-09T11:23:43Z)
• Exploring the Benefit of Activation Sparsity in Pre-training [117.25661020250658]
  プレトレーニング中に活性化特性がどう変化するかを検討した。 本稿では,Sparse-Dense Learning (SSD)を提案する。 SSDは同じモデルサイズで同等のパフォーマンスを実現し、事前トレーニングコストを削減する。
  論文  参考訳（メタデータ） (2024-10-04T13:53:33Z)
• Sparse Spectral Training and Inference on Euclidean and Hyperbolic Neural Networks [9.96381061452642]
  Low-Rank Adaptation (LoRA) と ReLoRA は低ランク構造で課題に直面している。 予備学習におけるメモリ使用量の最適化を目的としたスパーススペクトルトレーニング(SST)を提案する。 SSTは、他の低ランクメソッドとフルランクトレーニングの間の難易度ギャップを97.4%削減する。
  論文  参考訳（メタデータ） (2024-05-24T11:59:41Z)
• A Quadratic Synchronization Rule for Distributed Deep Learning [66.68264684667562]
  本研究は、擬似同期規則(QSR)と呼ばれる$H$を決定するための理論基底法を提案する。 ResNet と ViT の実験により、QSR を用いた局所勾配法は、他の同期戦略よりもテスト精度を一貫して向上することが示された。
  論文  参考訳（メタデータ） (2023-10-22T21:38:57Z)
• Parameter-efficient is not sufficient: Exploring Parameter, Memory, and Time Efficient Adapter Tuning for Dense Predictions [9.068569788978854]
  パラメータ効率変換学習 (PETL) 法は, 訓練可能なパラメータの少ない下流タスクに適応する上で, 有望な性能を示した。 コンピュータビジョン(CV)におけるPETL法は、計算コストが高く、訓練中に大量のメモリと時間コストを必要とする。 MathrmE3VA$は62.2%のトレーニングメモリと26.2%のトレーニング時間を節約できる。
  論文  参考訳（メタデータ） (2023-06-16T09:54:07Z)
• Online Convolutional Re-parameterization [51.97831675242173]
  2段階のパイプラインであるオンライン畳み込み再パラメータ化(OREPA)は、複雑なトレーニング時間ブロックを単一の畳み込みに絞ることで、巨大なトレーニングオーバーヘッドを低減することを目的としている。 最先端のre-paramモデルと比較して、OREPAはトレーニング時間のメモリコストを約70%削減し、トレーニング速度を約2倍向上させることができる。 また、オブジェクト検出とセマンティックセグメンテーションの実験を行い、下流タスクに一貫した改善を示す。
  論文  参考訳（メタデータ） (2022-04-02T09:50:19Z)
• Procrustes: a Dataflow and Accelerator for Sparse Deep Neural Network Training [0.5219568203653523]
  我々は,まず,第1の訓練を行わず,第2の訓練を行ない,第2の訓練を行ない,第1の訓練を行ない,第1の訓練を行ない,第1の訓練を行ない,第2の訓練を行ないながら,第1の訓練を行ない,第1の訓練を行ない,第2の訓練を行ないながら、第2の訓練を行ない、第2の訓練を行ない、第2の訓練を行ない、第2の訓練を行ない、第2の訓練を行ない、第2の訓練を行なう。 最先端のDNNアクセラレーターをスパーストレーニングサポートなしで使用した同等の未使用モデルのトレーニングと比較すると、Procrustesは最大3.26$times$少ないエネルギーを消費し、様々なモデルにわたって最大4$times$のスピードアップを提供する。
  論文  参考訳（メタデータ） (2020-09-23T07:39:55Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。