論文の概要: Deterministic Regime Switching and Feasibility Inversion in Dynamic Tensor Rematerialization
- arxiv url: http://arxiv.org/abs/2609.31250v1
- Date: Fri, 25 Sep 2026 13:26:36 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-28 18:27:51.407604
- Title: Deterministic Regime Switching and Feasibility Inversion in Dynamic Tensor Rematerialization
- Title（参考訳）: 動的テンソルリマテリアル化における決定論的レジームスイッチングと可能性インバージョン
- Abstract要約: 動的リマテリアル化(DTR)におけるきめ細かい決定論的不安定性について報告する。
不安定性は、公開実行トレースを使用して参照シミュレータ(simrd)上で測定される。
これらは1つのメカニズムではなく、少なくとも2つの異なる予算に敏感な病理である、と我々は主張する。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: We report fine-grained, deterministic instability in Dynamic Tensor Rematerialization (DTR), an online eviction policy for memory-constrained DNN training, measured on the reference DTR simulator (simrd) using public execution traces. On an LSTM trace, memory budgets differing by 0.10% of unconstrained peak memory select fast and slow execution regimes whose overheads differ by as much as 7.3x; the slow regime is driven by broadly repeated re-eviction of the same storages (evictions per storage rise from 1.33 to 8.27 while the set of distinct evicted storages is essentially unchanged: 5,233 vs 5,236, with the two sets overlapping at Jaccard 0.999). On a ResNet-32 trace, a fine budget sweep reveals a deterministic feasibility inversion: the run is feasible at ratio 0.101, infeasible (OOM) across 0.102-0.106, and feasible again from 0.107. We trace the immediate cause of the OOM to a fully pinned recursive rematerialization frontier that exceeds the budget after every evictable tensor has been evicted. Ablations using the DTR authors' own variants implicate the joint size-staleness scoring term in the observed LSTM instability. We argue these are at least two distinct budget-sensitive pathologies rather than one mechanism, and we separate what is demonstrated from what remains hypothesised. All results concern the reference simulator; reproduction in a production runtime is future work. Code, instrumentation, and raw results accompany this preprint.
- Abstract（参考訳）: メモリ制約付きDNNトレーニングのためのオンラインエビクションポリシーである動的テンソルリマテリアル化(DTR)の詳細な決定論的不安定性を,公開実行トレースを用いた参照DTRシミュレータ(simrd)で測定した。
LSTMトレースでは、制限されていないピークメモリの0.10%のメモリ予算が、オーバーヘッドが7.3倍まで異なる高速で遅い実行レギュレーションを選択し、遅いレギュレーションは、同じストレージの広範な再割り当てによって駆動される(ストレージ当たりのエヴィジョンは1.33から8.27に上昇するが、異なるストレージのセットは基本的に変化しない:5,233対5,236で、2つのセットはJaccard 0.999で重複する)。
ResNet-32トレースでは、細かな予算処理によって決定論的実現可能性の逆転が明らかになる: 実行は0.101、実行可能(OOM)は0.102-0.106、再実行可能(0.107)である。
我々は、OOMの即時原因を、すべての脱落可能なテンソルが取り除かれた後、予算を超える完全に固定された再帰的再物質化フロンティアに遡る。
DTRの著者自身の変種を用いたアブレーションは、観測されたLSTM不安定性における関節の大きさと安定性のスコアリング項に関係している。
これらは1つのメカニズムではなく、少なくとも2つの異なる予算に敏感な病理であると我々は主張する。
すべての結果はリファレンスシミュレータに関するもので、本番環境での再現は将来の作業である。
コード、インスツルメンテーション、生の結果がこのプレプリントを伴います。
関連論文リスト
- MeshHeal: Two-Timescale Self-Healing for Gray Failures in Decentralized LLM Agent Networks [60.95806999869478]
MeshHealは、完全に分散化された自己修復フレームワークである。
能力にマッチしたピアレビューを2つのタイムスケールに分けている。
1タスクあたり51kのトータルモデルトークンを使用して0.839の劣化位相精度を達成し、最強のベースラインでは1タスクあたり115kの0.807の精度を達成した。
論文 参考訳（メタデータ） (2026-09-24T04:29:37Z) - LiAM-SAM: Lifecycle-Aware Memory for Robust SAM2-Based MOT [45.082654146032304]
SAM2パイプラインは、一般的にオブジェクトライフサイクルの3段階に障害が発生する。
3つの障害モードそれぞれを対象として,目標となるメカニズムを備えたフレームワークであるLiAM-SAMを提案する。
連成環境下では,LiAMは+10.5 HOTA,+17.4 AssAで検出+SAM2ベースラインを改良し,アイデンティティスイッチを96%削減した。
論文 参考訳（メタデータ） (2026-09-23T13:21:41Z) - DRSR: Learning Set-Level Deletion Risk for Efficient Long-Horizon Agents [55.84813053778976]
ロングホライゾン言語モデルエージェントは、現在の決定と関係が変化する推論の痕跡、ツール交換、観察を蓄積する。
直接セットリスクスコアは、削除セットの選択としてエージェント履歴圧縮リスクを定式化する。
メカニカル・アナリシスとアブリケーションは、決定に制約のある関係、保持されたコンテキスト情報、ペア・インタラクション、および棄権がそれぞれ信頼できるプルーニングに寄与していることを示している。
論文 参考訳（メタデータ） (2026-09-23T03:06:01Z) - Amortised Post-Hoc Explanation with Exact Preservation for Dynamic Graph Anomaly Detectors [2.169919643934826]
動的グラフにおける異常検出は、金融詐欺分析、侵入検知、プラットフォームの整合性を支える。
エッジがフラグ付けされた場合、アナリストはスコアのみを受け取る。
我々は、トレーニングされた凍結されたStrGNNをラップし、フラグ付きエッジ毎に出力する、ポストホックな説明層であるX-StrGNNを紹介する。
論文 参考訳（メタデータ） (2026-08-16T06:10:40Z) - Located but Not Releasable: Silent Gate Inversion and Bounded Linear Release [0.0]
完全なパイプライン -- 検出、ローカライズ、リリース -- を、25.7Mトランス上で完全に事前登録されたストレステストに送信します。
中層層の観測エビデンスチャネルでの干渉は、他の抑圧された世界における標的の挙動を復元する。
配当外のキャリブレーションをゼロにするために調整された検出器は、6.9-7.3%の配当前の世代と、実際にそれを必要とする2,400世代のうちゼロにトリガーをトリガーする。
論文 参考訳（メタデータ） (2026-08-12T09:04:54Z) - Forgetful Attention: A Trainable Support-Vector Memory with Certified Selection and Exact Unlearning [0.16921396880325776]
固定ボックスパラメータCの1クラスSfpの支持係数が重みを持つメモリであるSupport Vector Attention(SV-Attention)を導入する。
アクティブセットのパーティションは、リザーブトークンを正確にゼロウェイト、出力ウェイトを与え、インクリメンタルインクリメンタルソルバトークンは、同じCの下で再トレーニングせずに生成した状態を回復する。
また,実文埋め込み上での外科的排除,正確な編集,患者記録の削除,忘れやすい検索メモリも示す。
論文 参考訳（メタデータ） (2026-07-13T23:13:57Z) - Modeling Normal Is All You Need: Joint Latent Clustering for Anomaly Detection in Multimodal Cyber-Physical Systems [47.027290803102666]
通常の行動は、多くの不均衡で、曲がりくねった、細い範囲の運営体制の結合である。
我々は正規法則を、共同学習された潜在表現と明示的なガウス混合モードクラスタリングでモデル化する。
ポイント調整のない生のポイントワイドメトリクス、自明な検出困難分割、頻度整合F1、列車正規化のみのキャリブレーションを意図的に評価する。
論文 参考訳（メタデータ） (2026-07-07T10:10:00Z) - When Retrieval Fails Before It Begins: Structurally Indirect Prerequisite Eviction as a Retention Failure in Agentic Memory [1.0152838128195465]
我々は、事前検索障害モード、決定論的ベンチマーク、およびシードごとのトレース診断の運用定義を提供する。
また,1ホップグラフ認識ルールであるDSGC(Dependency-aware Semantic Garbage Collection)も評価した。
リリースしたパイプラインとフェール・ポストモーテムは、検索前のリテンションのメカニスティック解析を、個別の障害境界として支援する。
論文 参考訳（メタデータ） (2026-07-05T22:14:59Z) - $μ$VLA: On Recurrent Memory for Partially Observable Manipulation in VLA Models [44.66763491853812]
本研究は,VLA背骨の再発の制御的分離について検討した。
我々の定式化は、タイムステップにまたがる学習可能なメモリトークンの小さなセットでトランスフォーマーを強化します。
我々はこれらの結果を,背骨内再発の最小限のエンベロープの校正と解釈する。
論文 参考訳（メタデータ） (2026-06-10T13:26:40Z) - Clipping Bottleneck: Stabilizing RLVR via Stochastic Recovery of Near-Boundary Signals [83.0127582612634]
Near-boundary Rescue (NSR) は最小限のプラグ・アンド・プレイの修正であり、失った信号を回復するために、アウト・オブ・バウンドトークンを保持する。
NSRはトレーニングの安定性を大幅に改善し、DAPOやGSPOといった強力なベースライン上で一貫したゲインを提供する。
論文 参考訳（メタデータ） (2026-05-21T16:45:31Z) - Human-Inspired Memory Architecture for LLM Agents [0.9507070656654629]
6つの認知機構からなる生体記憶アーキテクチャを提案する。
各メカニズムは、単純メモリ蓄積の特定の障害モードに対処する。
S層スケール(50セッション)では、デダップベースのコンソリデーションにより、好みのリコールが+13.3pp向上する。
論文 参考訳（メタデータ） (2026-05-08T22:52:37Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。