論文の概要: AC/DC on a Budget - Alternating Sparse Phases

• arxiv url: http://arxiv.org/abs/2610.27758v1
• Date: Tue, 20 Oct 2026 07:21:23 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-21 21:58:47.695891
• Title: AC/DC on a Budget - Alternating Sparse Phases
• Title（参考訳）: 予算の交流/DC -交互スパース相-
• Abstract要約: 最先端のニューラルネットワークのスパーシフィケーションは、密度とスパースなトレーニングフェーズの交互化に依存している。 計算コストは高いが、高密度の位相は性能に欠かせない。 3つのイノベーションを通じて、パフォーマンスとFLOPのフロンティアを最適化します。
• 参考スコア（独自算出の注目度）: 24.103274078653936
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: State-of-the-art neural network sparsification relies on alternating dense and sparse training phases. While computationally expensive, dense phases are critical for performance. Our empirical analysis reveals the mechanics behind this gain: upon reintroduction, previously masked parameters receive disproportionately large gradients that drive essential mask rewiring and parameter sign-flipping. Building on these insights, we optimize the performance-to-FLOPs Pareto frontier through three innovations: (1) zero-initializing masked parameters during dense phases to promote relevant sign flips, (2) shortening dense phases, and (3) replacing the dense phase entirely with a sparse rewiring phase that updates only the active mask and a small, high-gradient fraction of out-of-mask weights. Evaluated on CIFAR100 and ImageNet, our variant ARC (Alternating Rewiring Compression) matches baseline AC/DC performance at a fraction of the computational cost, establishing a superior performance-to-FLOPs frontier also compared to standard sparse-to-sparse algorithms. Experiments with GPT-2 on OpenWebText further show improvements in validation perplexity and average zero-shot performance
• Abstract（参考訳）: 最先端のニューラルネットワークのスパーシフィケーションは、密度とスパースなトレーニングフェーズの交互化に依存している。 計算コストは高いが、高密度の位相は性能に欠かせない。 我々の経験的分析は、この利益の背景にあるメカニズムを明らかにしている: 再導入の際、以前にマスクされたパラメータは、必須のマスクの切り替えとパラメータのサインフリップを駆動する不均等な大きな勾配を受け取ります。 これらの知見に基づいて,1) 密閉相におけるマスマスマスマスマスマスマスマスマスマスマスマスマスマスマスマスマスマスマスマスマスマスマスマスマスマスマスマスマスマスマスマスマスマスマスマスのみを更新するスパース・リウィリング相に置き換える,という3つのイノベーションを通じて,パフォーマンスからFLOPス・パレートフロンティアを最適化する。 CIFAR100 と ImageNet で評価した結果,当社 の ARC (Alternating Rewiring Compression) は標準の AC/DC 性能と計算コストのごく一部で一致し,標準的なスパース・トゥ・スパースアルゴリズムと比較して,優れたパフォーマンス・ツー・FLOP フロンティアを確立した。 OpenWebText上でのGPT-2による実験では、検証の難易度と平均ゼロショット性能がさらに向上した。

関連論文リスト

• Fixed-Point Masked Generative Modeling [35.75652770369505]
  Masked Generative Models (MGM) は並列デコードを可能にし、モダリティをまたいだ強力な性能を実現する。 フルシーケンスの双方向トランスフォーマーを各ステップで必要としており、低サンプリング予算下でのトレーニングのコストと品質の低下を図っている。 本稿では,固定点マスキング生成モデル (FP-MGM) を導入し,共有注意層上での定点解法をデノイザの一部に置き換える。
  論文  参考訳（メタデータ） (2026-05-29T12:19:26Z)
• Latent attention on masked patches for flow reconstruction [8.69419238669827]
  本稿では,マスクフロー再構成のためのレグレッションベースの修正視覚変換器であるLAMPモデルについて紹介する。 その結果,LAMPは10dBから30dBの信号対雑音比で90%の入力から全流れ場を正確に再構成することがわかった。
  論文  参考訳（メタデータ） (2026-03-02T16:12:40Z)
• MeanFlow Transformers with Representation Autoencoders [71.45823902973349]
  MeanFlow(MF)は、ノイズからデータへのジャンプを直接学習することで、効率的な数ステップ生成を可能にする拡散動機付き生成モデルである。 我々は、表現オートエンコーダ(RAE)の潜在空間におけるMFの効率的なトレーニングとサンプリング手法を開発する。 1ステップのFIDが2.03であり,バニラMFの3.43を上回っ,GFLOPSのサンプリングを38%削減し,ImageNet 256のトレーニングコストを83%削減した。
  論文  参考訳（メタデータ） (2025-11-17T06:17:08Z)
• FastHMR: Accelerating Human Mesh Recovery via Token and Layer Merging with Diffusion Decoding [2.309307613420651]
  我々は2つのHMR固有のマージ戦略を紹介する: エラー拘束層マージ(ECLM)とマスク誘導トケンマージ(Mask-ToMe)である。 複数のベンチマーク実験により,本手法は最大2.3倍の高速化を実現し,ベースラインの性能はわずかに向上した。
  論文  参考訳（メタデータ） (2025-10-13T00:23:17Z)
• EDFFDNet: Towards Accurate and Efficient Unsupervised Multi-Grid Image Registration [17.190325630307097]
  本稿では指数デカイ基底関数を用いた自由形変形を用いた指数デカイ自由形変形ネットワーク(EDFFDNet)を提案する。 密接な相互作用をスパースなものにすることで、ASMAはパラメータを減らし、精度を向上させる。 EDFFDNetは、パラメータ、メモリ、総ランタイムをそれぞれ70.5%、32.6%、33.7%削減することを示した。 EDFFDNet-2はより少ない計算コストを維持しながらPSNRを1.06dB改善する。
  論文  参考訳（メタデータ） (2025-09-09T12:30:51Z)
• Spark Transformer: Reactivating Sparsity in FFN and Attention [53.221448818147024]
  本稿では, FFNとアテンション機構の両方において, 高レベルのアクティベーション間隔を実現する新しいアーキテクチャであるSpark Transformerを紹介する。 これによりFLOPの2.5倍の削減が可能となり、CPUでは1.79倍、GPUでは1.40倍となる。
  論文  参考訳（メタデータ） (2025-06-07T03:51:13Z)
• High-Frequency Prior-Driven Adaptive Masking for Accelerating Image Super-Resolution [87.56382172827526]
  高周波領域は再建に最も重要である。 本稿では,アクセラレーションのためのトレーニング不要適応マスキングモジュールを提案する。 本手法は,最先端モデルのFLOPを24～43%削減する。
  論文  参考訳（メタデータ） (2025-05-11T13:18:03Z)
• The Lazy Neuron Phenomenon: On Emergence of Activation Sparsity in Transformers [59.87030906486969]
  本稿では,Transformer アーキテクチャを用いた機械学習モデルにおいて,アクティベーションマップが疎いという興味深い現象について考察する。 本稿では, 自然言語処理と視覚処理の両方において, スパーシリティが顕著な現象であることを示す。 本稿では,変換器のFLOP数を大幅に削減し,効率を向上する手法について論じる。
  論文  参考訳（メタデータ） (2022-10-12T15:25:19Z)
• An Improved Single Step Non-autoregressive Transformer for Automatic Speech Recognition [28.06475768075206]
  非自己回帰機構は、音声変換器の推論時間を著しく短縮することができる。 CTCアライメントに基づく単一ステップ非自己回帰変換器(CASS-NAT)の以前の研究は、自己回帰変換器(AT)よりも大きなリアルタイム係数(RTF)の改善を示している。 エンド・ツー・エンドのCASS-NATの精度を向上させるためのいくつかの手法を提案する。
  論文  参考訳（メタデータ） (2021-06-18T02:58:30Z)
• FastFlowNet: A Lightweight Network for Fast Optical Flow Estimation [81.76975488010213]
  ディセンス光学フロー推定は、多くのロボットビジョンタスクで重要な役割を果たしています。 現在のネットワークはしばしば多くのパラメータを占有し、計算コストがかかる。 提案したFastFlowNetは、周知の粗大なやり方で、以下のイノベーションで機能する。
  論文  参考訳（メタデータ） (2021-03-08T03:09:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。