論文の概要: Peak-Memory Schedules You Can Trust: Exact Realization, Certified Optimality, and the Limits of Recomputation for Inference

• arxiv url: http://arxiv.org/abs/2610.23328v1
• Date: Fri, 16 Oct 2026 11:31:09 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-20 00:56:07.905245
• Title: Peak-Memory Schedules You Can Trust: Exact Realization, Certified Optimality, and the Limits of Recomputation for Inference
• Title（参考訳）: 信頼できるピークメモリスケジューリング: 実行実現、証明された最適性、推論の再計算の限界
• Abstract要約: より優れた順序をデプロイし、コンパイラにそれを返却し、コードを再生する通常の方法は信頼できない。 PyTorchインダクタでは、再生プログラムは予測ピークを54CPU構成の22で逃す。 その代わり、生成されたプログラムをプロファイルし、そのメモリを自身のステートメントとその読み取り/書き込みエフェクトから正確にモデル化し、それらのステートメントをパーミュレートします。
• 参考スコア（独自算出の注目度）: 0.0254890465057467
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Real-time inference on small devices needs low activation memory without extra latency, which makes operator order the most valuable memory lever: it is free in time. We show that the usual way of deploying a better order, handing it back to the compiler and regenerating code, is unreliable. In PyTorch Inductor the regenerated program misses its predicted peak in 22 of 54 CPU configurations. It is worse than the stock program in 9 of them and in 19 of 50 on a GPU, and on the GPU it also changes numerical results. We instead profile the generated program, model its memory exactly from its own statements and their read/write effects, and permute those statements. We prove that this realizes the modeled peak whenever allocation does not depend on history. It does so to the byte, with bitwise-identical results, in all our CPU runs. On the GPU we characterize why the caching allocator breaks the condition. To know when to stop, we give forward and reverse "trap" lower bounds, each computable with $O(n^2)$ minimum cuts. They certify the found order optimal for 94% of held-out wrapper graphs and all 16 microcontroller-class models we study, in under a second. So most inference graphs are already scheduled optimally. Branching networks are the exception, where reordering is free and pays, e.g. 10.0% on DeepLabV3. In compiled training we save up to 7.6%. Beyond the certified optimum we study selective recomputation with per-operator caps. It is strongly NP-hard for every fixed cap even at treewidth two, encodes knapsack exactly on series-parallel graphs, and is solvable exactly on bounded treewidth. It is useless on public tiny models whose peak is a single layer, but on architectures that hold a cheap value for a late reuse it pays: on the public ReDimNet speaker networks, whose order is already optimal, it lowers the peak by 5.2-6.1% at under 0.4% extra MACs, with bitwise-identical outputs.
• Abstract（参考訳）: 小型デバイス上でのリアルタイム推論は、余分なレイテンシを伴わずに低アクティベーションメモリを必要とするため、オペレーターの注文は最も価値のあるメモリレバーとなる。 より優れた順序をデプロイし、コンパイラにそれを返却し、コードを再生する通常の方法は信頼できない。 PyTorchインダクタでは、再生プログラムは予測ピークを54CPU構成の22で逃す。 9つのうち19つがGPUのストックプログラムよりも悪く、GPUでは数値も変わる。 その代わり、生成されたプログラムをプロファイルし、そのメモリを自身のステートメントとその読み取り/書き込みエフェクトから正確にモデル化し、それらのステートメントをパーミュレートします。 このことは、アロケーションが履歴に依存しない場合に、モデル化されたピークを実現することを証明している。 それは、すべてのCPUの実行において、ビットワイズで結果を得るバイトに対して行われる。 GPUでは、キャッシングアロケータが条件を破る理由を特徴付けます。 停止するタイミングを知るためには、それぞれ$O(n^2)$ least cutsで計算可能な、前方および逆の「トラップ」下限を与える。 それらは、保持されたラッパーグラフの94%と、我々が研究した16のマイクロコントローラクラスモデルに対して、1秒未満で最適である。 したがって、ほとんどの推論グラフは、既に最適にスケジュールされている。 ブランチネットワークは例外であり、再注文は無料で、例えばDeepLabV3では10.0%である。 コンパイルされたトレーニングでは、最大7.6%を節約します。 認定オプティマムを超えて,オペレーショナルキャップによる選択的再計算について検討した。 木幅2のときでさえ、固定キャップごとにNP硬化が強く、直列平行グラフ上でknapsackを正確にエンコードし、有界木幅で正確に解ける。 それは、ピークが単一層である公共の小さなモデルでは役に立たないが、遅延再利用のために安価な価値を持つアーキテクチャでは、そのアーキテクチャは、既に最適である公開のReDimNet話者ネットワークでは、ピークを0.4%余分なMACで5.2-6.1%下げ、ビットワイズで出力する。

関連論文リスト

• Right In-Place (RiP) Convolution: A Simple, General, and Near-Optimal Strategy for Memory-Efficient CNN Inference [0.0]
  演算ではなくアクティベーションメモリは、マイクロコントローラのような制約のあるハードウェア上でのCNN推論を制限する。 直接 in-place 畳み込みは二重バッファのコストを低減させるが、Gural と Murmann のメモリ最適化の定式化は有効なパディング、単位非有界ストライド、単位拡張、奇数正方核を仮定する。 本稿では,各レイヤが共有ワークスペース内で入力を右に読み取り,インデックスゼロから出力を左に書き込むという,ビット単位の演算であるRight In-Place畳み込みを提案する。
  論文  参考訳（メタデータ） (2026-09-30T18:51:30Z)
• KernelBench-Verified: Do LLM-Generated Kernels Actually Beat PyTorch? [13.026983194416168]
  大きな言語モデル(LLM)は、KernelBenchのようなベンチマークでPyTorchを上回っているように見えるカスタムカーネルを生成することができる。 We demonstrate that frontier models often involved in reward hacking to artificially inflate performance。
  論文  参考訳（メタデータ） (2026-06-26T03:22:50Z)
• STAT: Shrinking Transformers After Training [72.0726371426711]
  微調整なしで変圧器モデルを作成するための簡単なアルゴリズムSTATを提案する。 STATは、次の層の重みを補正して精度を保ちながら、注意頭とニューロンの両方をネットワークから排除する。 われわれのアルゴリズムは、BERTを圧縮するのに数分を要し、単一のGPUを用いて7Bパラメータを持つモデルを圧縮するのに3時間もかからない。
  論文  参考訳（メタデータ） (2024-05-29T22:59:11Z)
• Fast Inference with Kronecker-Sparse Matrices [4.387337528923525]
  KS行列乗算のための既存のGPUカーネルは、高いデータ移動コストに悩まされている。 本稿では、これらのオーバーヘッドを解消する、融合した出力定常GPUカーネルを提案する。 FP32では,VT-S/16では最大22%,GPT-2媒体では16%のレイテンシ低下を示した。
  論文  参考訳（メタデータ） (2024-05-23T19:36:10Z)
• Differentially Private Image Classification from Features [53.75086935617644]
  転送学習を活用することは、差分プライバシーを持つ大規模モデルのトレーニングに有効な戦略であることが示されている。 最近の研究によると、訓練済みモデルの最後の層だけをプライベートにトレーニングすることは、DPで最高のユーティリティを提供する。
  論文  参考訳（メタデータ） (2022-11-24T04:04:20Z)
• Selective Network Linearization for Efficient Private Inference [49.937470642033155]
  本稿では,予測精度を維持しつつReLUを選択的に線形化する勾配に基づくアルゴリズムを提案する。 その結果、現在の技術よりも4.25%$の精度(so-ReLUは50K)、または2.2times$のレイテンシ(so-accuracyは70%)が低いことがわかった。
  論文  参考訳（メタデータ） (2022-02-04T19:00:24Z)
• MCUNetV2: Memory-Efficient Patch-based Inference for Tiny Deep Learning [72.80896338009579]
  メモリボトルネックは畳み込みニューラルネットワーク(CNN)の設計における不均衡なメモリ分布に起因する。 本稿では,ピークメモリを大幅に削減するパッチ・バイ・パッチ・推論スケジューリングを提案する。 ニューラルアーキテクチャサーチによるプロセスを自動化し、ニューラルアーキテクチャと推論スケジューリングを共同で最適化し、MCUNetV2に導いた。
  論文  参考訳（メタデータ） (2021-10-28T17:58:45Z)
• Memory Optimization for Deep Networks [10.519610439720909]
  我々は、ディープネットワークのメモリフットプリントと計算オーバーヘッドを最小化する自動フレームワークMONeTを提案する。 MoneTは、様々なPyTorchモデルのメモリ要求を3倍に減らし、計算のオーバーヘッドは9-16%である。 同じ計算コストで、MONeTは現在の最先端の自動チェックポイントフレームワークよりも1.2-1.8倍少ないメモリを必要とする。
  論文  参考訳（メタデータ） (2020-10-27T17:57:34Z)
• Efficient Integer-Arithmetic-Only Convolutional Neural Networks [87.01739569518513]
  我々は従来のReLUを境界ReLUに置き換え、その減少は活性化量子化によるものであることを示す。 我々の整数ネットワークは、対応するFPNネットワークと同等の性能を発揮するが、メモリコストは1/4に過ぎず、最新のGPUでは2倍高速である。
  論文  参考訳（メタデータ） (2020-06-21T08:23:03Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。