論文の概要: When More Memory Fails: Hidden Feasibility Holes in Dynamic Tensor Rematerialization

• arxiv url: http://arxiv.org/abs/2610.14369v1
• Date: Fri, 09 Oct 2026 22:45:39 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-20 21:57:48.093006
• Title: When More Memory Fails: Hidden Feasibility Holes in Dynamic Tensor Rematerialization
• Title（参考訳）: 記憶力の低下:動的テンソル再物質化における隠れた可能性ホール
• Abstract要約: 動的リマテリアル化(DTR)は、テンソルを除去し、必要に応じて再計算することにより、メモリ予算下でニューラルネットワークを訓練する。 メモリの削減ポリシーがメモリを使い果たしたメモリ予算は、小さくて大きな予算が完成しているにもかかわらず、例外である。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Dynamic Tensor Rematerialization (DTR) trains neural networks under a memory budget by evicting tensors and recomputing them on demand. A natural expectation is that a budget large enough to complete training stays sufficient when it is increased. Using DTR's reference simulator, simrd, to replay the public DTR training traces, we show that this expectation fails. We call the exceptions feasibility holes: memory budgets at which an eviction policy runs out of memory although both a smaller and a larger budget complete, a form of non-monotone feasibility. Under a written sweep protocol with dated amendments, a 0.01-step budget grid shows no such hole for DTR on any of six confirmatory traces, although unresolved timeouts prevent it from establishing monotonicity. Finer sampling finds holes on InceptionV4 (three regions) and U-Net (two regions), in addition to one on the ResNet-32 development trace. Every hole is reproduced by three repeats and by unmodified simrd. For one InceptionV4 pair (0.2343 versus 0.235 of peak memory) we trace the failure to individual allocations. The larger budget avoids one eviction at an operator where the smaller budget was 173,479 bytes short. The extra data it carries forward forces a later eviction of a tensor needed three operators afterwards, and rebuilding that tensor triggers a recomputation cascade that cannot fit. Keeping that one tensor resident under the same budget prevents the failure. The two simple score changes we tested do not remove holes across traces; both add failing budgets on some traces. All results are from simulation, with no allocator model; behaviour on GPU hardware is untested.
• Abstract（参考訳）: 動的テンソルリマテリアル化(DTR)は、テンソルを排除し、必要に応じて再計算することで、メモリ予算下でニューラルネットワークをトレーニングする。 自然な期待は、トレーニングを完了させるのに十分な予算が増加しても十分であるということです。 DTRの参照シミュレータsimrdを用いて、公開DTRトレーニングトレースを再生し、この予測が失敗することを示す。 メモリの削減ポリシーがメモリを使い果たしたメモリの予算は、小さくて大きな予算が完成しているにもかかわらず、非モノトーンの実現可能性の形式である。 日付の修正を施したスイーププロトコルの下では、0.01ステップの予算グリッドは、6つの確認トレースのいずれかにDTRのそのような穴を示さないが、未解決のタイムアウトは単調性を確立することを妨げている。 ファイナサンプリングは、ResNet-32開発トレースに加えて、InceptionV4(3つのリージョン)とU-Net(2つのリージョン)の穴を見つける。 すべての穴は3つの繰り返しと修正されていないシムドによって再現される。 InceptionV4の1つのペア(0.2343対0.235対ピークメモリ)では、障害を個々のアロケーションにトレースする。 より大きな予算は、より小さな予算が173,479バイト短いオペレーターでの1つの排除を避ける。 後続のテンソルの排除を強制する余分なデータは、その後3つの演算子を必要とし、テンソルは適合しない再計算カスケードを起動する。 同じ予算の下で1人のテンソルの居住者を維持することは、失敗を防ぎます。 私たちがテストした2つの単純なスコア変更は、トレースにまたがる穴を取り除くものではない。 結果は、アロケータモデルを持たないシミュレーションによるものであり、GPUハードウェアの動作はテストされていない。

関連論文リスト

• Does the VGGT Family Need All Its Layers? [55.81487806596663]
  VGGT,3ドル,VGGT-$:3,018プルーニング構成における層冗長性について検討した。 取り外し可能な層が2つの冗長領域に集結しているのに対して、層間をまたがる削除は、常に破壊的である。 CKAは、間隔分解のためのより安価な表現ベースのプロキシを提供し、プルーニング品質とキャリブレーションコストのトレードオフを提供する。
  論文  参考訳（メタデータ） (2026-09-29T06:52:07Z)
• Deterministic Regime Switching and Feasibility Inversion in Dynamic Tensor Rematerialization [0.0]
  動的リマテリアル化(DTR)におけるきめ細かい決定論的不安定性について報告する。 不安定性は、公開実行トレースを使用して参照シミュレータ(simrd)上で測定される。 これらは1つのメカニズムではなく、少なくとも2つの異なる予算に敏感な病理である、と我々は主張する。
  論文  参考訳（メタデータ） (2026-09-25T13:26:36Z)
• Located but Not Releasable: Silent Gate Inversion and Bounded Linear Release [0.0]
  完全なパイプライン -- 検出、ローカライズ、リリース -- を、25.7Mトランス上で完全に事前登録されたストレステストに送信します。 中層層の観測エビデンスチャネルでの干渉は、他の抑圧された世界における標的の挙動を復元する。 配当外のキャリブレーションをゼロにするために調整された検出器は、6.9-7.3%の配当前の世代と、実際にそれを必要とする2,400世代のうちゼロにトリガーをトリガーする。
  論文  参考訳（メタデータ） (2026-08-12T09:04:54Z)
• TriShield: Zero-Utility-Loss Defense Against Privacy Backdoors in Federated Language Model Fine-Tuning via Orthogonal Gradient Projection and Optimizer State Entanglement [1.7797590529777372]
  最近の攻撃であるNeuroImprintは、悪意のあるパラメータサーバがPEFTアダプタをプライバシーバックドアに悪用できることを示した。 既存の防御 - ローカルディファレンシャルプライバシ(LDP)や勾配クリッピングを含む - は、この攻撃に失敗するか、受け入れがたいユーティリティ劣化を課す。 我々は,NuroImprintスタイルの再構築を完全に防止する3層ディフェンスである textbfTriShield を提案する。
  論文  参考訳（メタデータ） (2026-07-30T09:49:13Z)
• The Sparsity Ceiling: Where Spiking Networks Can and Cannot Trade Activity for Energy [6.152579481336182]
  スパイキングニューラルネットワーク(SNN)はエネルギー効率のよい基質として推進される。 我々は、スパーシティのエネルギー配当はSNNの特性ではなく、その課題であると主張している。
  論文  参考訳（メタデータ） (2026-07-29T09:09:13Z)
• Time Is All It Takes: Spike-Retiming Attacks on Event-Driven Spiking Neural Networks [87.16809558673403]
  スパイキングニューラルネットワーク(SNN)は離散スパイクで計算し、時間構造を利用する。 イベント駆動SNNにおけるスパイク数と振幅を保存しながら、既存のスパイクを繰り返すタイミングのみの敵について検討する。
  論文  参考訳（メタデータ） (2026-02-03T09:06:53Z)
• QuantSparse: Comprehensively Compressing Video Diffusion Transformer with Model Quantization and Attention Sparsification [67.15451442018258]
  拡散変換器は素晴らしいビデオ生成能力を示すが、その計算とメモリの禁止コストは実際の展開を妨げる。 モデル量子化とアテンションスパシフィケーションは圧縮に有望な2つの方向であるが、それぞれがアグレッシブ圧縮の下で深刻な性能劣化を被っている。 モデル量子化と注意散布を統合した統合フレームワークである textbfQuantSparse を提案する。
  論文  参考訳（メタデータ） (2025-09-28T06:49:44Z)
• Characterizing Datapoints via Second-Split Forgetting [93.99363547536392]
  我々は、オリジナルのトレーニング例が忘れられた後(もしあれば)のエポックを追跡する補足的メトリックである$$-second-$split$$forgetting$$$time$ (SSFT)を提案する。 例えば$mislabeled$の例はすぐに忘れられ、$rare$の例は比較的ゆっくりと忘れられています。 SSFTは、(i)間違ったラベル付きサンプルを識別し、その除去により一般化が向上し、(ii)障害モードに関する洞察を提供する。
  論文  参考訳（メタデータ） (2022-10-26T21:03:46Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。