論文の概要: When Is Availability-Aware Training Worth It? A Benchmark and Empirical Study of Interruption-Resilient Optimization Under Predictable Compute Schedules

• arxiv url: http://arxiv.org/abs/2609.22087v1
• Date: Mon, 22 Jun 2026 11:48:39 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-28 05:09:55.690791
• Title: When Is Availability-Aware Training Worth It? A Benchmark and Empirical Study of Interruption-Resilient Optimization Under Predictable Compute Schedules
• Title（参考訳）: アベイラビリティー・アウェア・トレーニングはいつ価値があるか?予測可能な計算スケジュール下での割り込み耐性最適化のベンチマークと実証研究
• Abstract要約: OrbitTraceは、SGP4の割り込みの伝搬から得られた50の物理グラウンドのアベイラビリティトレースである。 可用性のギャップをトレーニングする場合、特別な再消費戦略は価値があるのか、それとも十分なチェックポイントとリズメットの能力があるのか? 私たちのコントリビューションはベンチマークであり、割り込み-レジリエントな最適化が複雑で、そうでない場合の明確な特徴付けです。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Training under non-stationary but predictable compute availability (satellites under eclipse, duty-cycled edge devices, power-capped datacenters) is often framed as needing specialized, availability-aware optimizers. We test that premise. We release OrbitTrace, a benchmark of 50 physics-grounded availability traces from SGP4 propagation of live two-line element sets across three orbital regimes, and ask a falsifiable question: when an availability gap interrupts training, is a specialized resumption strategy worth it, or is competent checkpoint-and-resume enough? Our central finding: when optimizer state can be preserved across a gap, the gap is essentially free. A strong checkpoint baseline that restores full optimizer state and indexes its learning-rate schedule in effective (active) time matches uninterrupted training to within data-ordering noise on CIFAR-10/ResNet-18, and exactly on a GPT-2/AdamW task. Advantages previously reported for availability-aware methods, including our own three-pillar method AAT, arise almost entirely from comparison against a weak baseline that indexes its schedule on wall-clock time. Against the strong baseline, reactive adaptation provides no advantage across stationary, optimizer-state-loss, and distribution-drift regimes. We isolate one narrow regime where it helps: for large models whose optimizer state cannot be persisted across gaps and that are interrupted by frequent, short pauses, reconstructing a decayed optimizer moment recovers only ~21% of the state-loss penalty on average (and not robustly across seeds); this vanishes for eclipse-scale gaps, where the decayed moment is indistinguishable from zero. Our contributions are a benchmark, a strong reproducible baseline protocol, and a clear characterization of when interruption-resilient optimization is worth its complexity, and when it is not.
• Abstract（参考訳）: 非定常的で予測可能な計算可用性(日食下でのサテライト、デューティサイクルエッジデバイス、パワーキャップ付きデータセンタ)の下でのトレーニングは、特殊で可用性に配慮したオプティマイザを必要とするものとして、しばしばフレーム化される。 私たちはその前提をテストします。 OrbitTraceは、SGP4の3つの軌道上におけるライブ2行の要素集合の伝播から得られた50の物理グラウンドのアベイラビリティートレースのベンチマークであり、アベイラビリティーギャップがトレーニングを中断した場合、それに値する特別な再消費戦略か、あるいは十分に有能なチェックポイント・アンド・レジュームか? 私たちの中心的な発見は、オプティマイザ状態がギャップを越えて保持できる場合、そのギャップは本質的に自由である、ということです。 CIFAR-10/ResNet-18上のデータ順序ノイズ内、正確にはGPT-2/AdamWタスクに、完全なオプティマイザ状態を復元し、学習率スケジュールを効果的な(アクティブな)時間一致でインデックスする強力なチェックポイントベースライン。 これまで報告されたアベイラビリティー対応手法の利点は、我々の3つのピラーメソッドAATを含む、壁時計時間にスケジュールを索引付けする弱いベースラインとの比較からほぼ完全に生じる。 強いベースラインに対して、反応性適応は定常的、最適化的-状態損失、分散的-ドリフトのレギュレーションに何の利点も与えない。 最適化状態がギャップを越えて持続できず、頻繁で短い停止によって中断される大きなモデルでは、崩壊した最適化モーメントは平均で21%程度しか回復しない(種子間では強固ではない)。 当社のコントリビューションは、ベンチマーク、強力な再現可能なベースラインプロトコル、割り込み-レジリエントな最適化が複雑で、そうでない場合の明確な特徴である。

関連論文リスト

• Evolving Cache Schedules for Fast Diffusion Policy Inference [6.879031540914794]
  拡散ポリシは、アクションチャンクを反復的にデノナイズすることで、強力なビジュモータ制御を実現するが、繰り返しデノナイズすることで、リアルタイムなデプロイメントを計算的に要求する。 Evolving Cache Schedules (EVO)は,進化的検索によるキャッシュリフレッシュをグローバルにスケジュールする,トレーニング不要のアクセラレーションフレームワークである。 EVOは計算量を大幅に削減し、最大8.05倍の動作生成速度を実現し、FLOPを15.77Gから1.96Gに削減する。
  論文  参考訳（メタデータ） (2026-07-22T15:40:11Z)
• Learning What to Remember: Observability-Safe Memory Retention via Constrained Optimization for Long-Horizon Language Agents [16.193335398478386]
  ロングホライゾンの言語エージェントは、観測、トレースの推論、および検索された事実のウィンドウを蓄積する。 既存のシステムは、保持を局所的に扱い、可観測性制約の下での長期的な影響をモデル化しない。 我々は,オンライン・オブザーバブル機能とオフライン・アベイラビリティ・インスペクションの厳格な分離を強制する学習強化フレームワークOSL-MRを提案する。
  論文  参考訳（メタデータ） (2026-06-09T09:15:33Z)
• SOPE: Stabilizing Off-Policy Evaluation for Online RL with Prior Data [49.370849653460716]
  本稿では,アクタに整列したオフポリシー評価信号を用いたSOPEを,自動早期停止機構として提案する。 Minariベンチマークスイートから25の継続的制御タスクを評価した。 SOPEはベースライン性能を最大45.6%改善し、必要なTFLOPを最大22倍改善した。
  論文  参考訳（メタデータ） (2026-05-07T08:32:09Z)
• When Learning Hurts: Fixed-Pole RNN for Real-Time Online Training [58.25341036646294]
  本研究では,再帰性極の学習がデータに有意な利点をもたらしない理由を解析的に検討し,実時間学習シナリオを実証的に提供する。 固定極ネットワークは、トレーニングの複雑さを低減し、オンラインリアルタイムタスクにより適していることを示す。
  論文  参考訳（メタデータ） (2026-02-25T00:15:13Z)
• Time Is All It Takes: Spike-Retiming Attacks on Event-Driven Spiking Neural Networks [87.16809558673403]
  スパイキングニューラルネットワーク(SNN)は離散スパイクで計算し、時間構造を利用する。 イベント駆動SNNにおけるスパイク数と振幅を保存しながら、既存のスパイクを繰り返すタイミングのみの敵について検討する。
  論文  参考訳（メタデータ） (2026-02-03T09:06:53Z)
• DASH: Deterministic Attention Scheduling for High-throughput Reproducible LLM Training [22.898073682504023]
  FlashAttention-3のような広く使われているアテンション実装では、決定論的後方通過は37.9%のスループット低下を引き起こす。 我々は、DAG(Directed Acyclic Graph)上のスケジューリング問題として、決定論的注意の後方通過を定式化する。 本稿では2つの相補的なスケジューリング戦略をカプセル化したDASH(Deterministic Attention Scheduling for High-Throughput)を提案する。
  論文  参考訳（メタデータ） (2026-01-29T15:10:13Z)
• On-Device Fine-Tuning via Backprop-Free Zeroth-Order Optimization [27.237134457089194]
  メモリ効率のゼロオーダー最適化(MeZO)はこのボトルネックを軽減する。 本稿ではまず,BPおよびMeZOトレーニングで適用可能な相対モデルサイズを理論的に推定する。 次に,メモリ上の制約下で,MeZOが精度上の優位性を示すことを示す。
  論文  参考訳（メタデータ） (2025-11-14T14:46:29Z)
• Learning the Optimal Stopping for Early Classification within Finite Horizons via Sequential Probability Ratio Test [11.199585259018459]
  時系列の早期分類に最適な停止時間を提供するSPRT(Sequential Probability Ratio Test)による、時間に敏感な機械学習の利点。 入力長が有限である有限地平線シナリオでは、後ろ向きの誘導を必要とするため、最適停止規則を決定することが計算集約化される。 本稿では,SPRTベースのフレームワークであるFIRMBOUNDを紹介する。
  論文  参考訳（メタデータ） (2025-01-29T23:54:46Z)
• Efficient local linearity regularization to overcome catastrophic overfitting [59.463867084204566]
  単段階逆行訓練におけるカタストロフィックオーバーフィッティング(CO)は、逆行性テスト精度(最大0%まで)の急激な低下をもたらす。 我々は,従来のAT評価においてCOを効果的かつ効率的に緩和するために,ELLEと呼ばれる正規化項を導入する。
  論文  参考訳（メタデータ） (2024-01-21T22:55:26Z)
• Higher Performance Visual Tracking with Dual-Modal Localization [106.91097443275035]
  Visual Object Tracking (VOT)は、堅牢性と正確性の両方に同期性を必要とする。 ONRによるロバストなローカリゼーション抑制器とOFCによるターゲットセンターへの正確なローカリゼーションにより、ターゲットローカリゼーションのためのデュアルモーダルフレームワークを提案します。
  論文  参考訳（メタデータ） (2021-03-18T08:47:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。