論文の概要: Automatic Stability and Recovery for Neural Network Training

• arxiv url: http://arxiv.org/abs/2601.17483v1
• Date: Sat, 24 Jan 2026 15:14:54 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-01-27 15:23:07.8119
• Title: Automatic Stability and Recovery for Neural Network Training
• Title（参考訳）: ニューラルネットワークトレーニングのための自動安定性と回復
• Authors: Barak Or,
• Abstract要約: 現代のニューラルネットワークのトレーニングはますます脆弱になり、まれだが深刻な不安定な更新は、しばしば不可逆的なばらつきやサイレントな劣化を引き起こす。 既存の最適化手法は、安定性プローブに埋め込まれた防止機構に依存しており、不安定性を検出して回復する能力に制限がある。 最適化を制御実行プロセスとして扱う監視フレームワークを導入する。
• 参考スコア（独自算出の注目度）: 1.9544213396776273
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Training modern neural networks is increasingly fragile, with rare but severe destabilizing updates often causing irreversible divergence or silent performance degradation. Existing optimization methods primarily rely on preventive mechanisms embedded within the optimizer, offering limited ability to detect and recover from instability once it occurs. We introduce a supervisory runtime stability framework that treats optimization as a controlled stochastic process. By isolating an innovation signal derived from secondary measurements, such as validation probes, the framework enables automatic detection and recovery from destabilizing updates without modifying the underlying optimizer. We provide theoretical runtime safety guarantees that formalize bounded degradation and recovery. Our implementation incurs minimal overhead and is compatible with memory-constrained training settings.
• Abstract（参考訳）: 現代のニューラルネットワークのトレーニングは、希少ながら深刻な不安定な更新によって、不可逆的なばらつきやサイレントなパフォーマンス低下を引き起こしているため、ますます脆弱になっている。 既存の最適化手法は、主にオプティマイザに埋め込まれた防止機構に依存しており、一度不安定性を検知し、回復する能力に制限がある。 本稿では,最適化を制御確率過程として扱うスーパーバイザリーランタイム安定化フレームワークを提案する。 このフレームワークは、バリデーションプローブなどの二次測定から導かれるイノベーション信号を分離することにより、基盤となるオプティマイザを変更することなく、更新の不安定化から自動検出とリカバリを可能にする。 境界劣化と回復を形式化する理論的ランタイム安全保証を提供する。 我々の実装は最小限のオーバーヘッドを発生させ、メモリ制約のあるトレーニング設定と互換性がある。

関連論文リスト

• NIRVANA: Structured pruning reimagined for large language models compression [50.651730342011014]
  直近のゼロショット保存精度と頑健な微調整のバランスをとるために, NIRVANAを導入した。 構造化プルーニングによって引き起こされる固有の課題にさらに対処するため、NIRVANAは層やモジュール間の適応的な空間割当機構を取り入れている。 Llama3, Qwen, T5モデルで行った実験では、NIRVANAは等価な空間制約の下で既存の構造化プルーニング法よりも優れていた。
  論文  参考訳（メタデータ） (2025-09-17T17:59:00Z)
• Convergence and Generalization of Anti-Regularization for Parametric Models [0.0]
  反正則化は損失関数に逆符号を持つ報酬項を導入する。 スペクトル安全性条件と信頼領域制約を定式化する。 我々は、プロジェクション演算子と勾配クリッピングを組み合わせた軽量な安全ガードを設計し、安定した介入を保証する。
  論文  参考訳（メタデータ） (2025-08-24T15:34:17Z)
• Enhancing AI System Resiliency: Formulation and Guarantee for LSTM Resilience Based on Control Theory [0.18749305679160366]
  我々は,LSTMが異常入力後に正常状態に戻るために必要な時間を定量化するために,新たな回復時間(recovery time)をレジリエンスの指標として導入する。 簡易モデルを用いた実験により, レジリエンス推定と制御手法の有効性が示された。
  論文  参考訳（メタデータ） (2025-05-23T10:05:26Z)
• Enhancing Robustness of Vision-Language Models through Orthogonality Learning and Self-Regularization [77.62516752323207]
  そこで本研究では,事前訓練した重みを効率よく微調整する直交微調整法を導入し,頑健さと一般化の強化を実現した。 自己正規化戦略は、OrthSRと呼ばれるVLMのゼロショット一般化の観点から安定性を維持するためにさらに活用される。 筆者らはCLIPとCoOpを再検討し,少数の画像のクラスフィシエーションシナリオにおけるモデルの改善を効果的に行う。
  論文  参考訳（メタデータ） (2024-07-11T10:35:53Z)
• Exploiting Diffusion Prior for Real-World Image Super-Resolution [75.5898357277047]
  本稿では,事前学習したテキスト・画像拡散モデルにカプセル化された事前知識を視覚的超解像に活用するための新しいアプローチを提案する。 時間認識エンコーダを用いることで、事前学習した合成モデルを変更することなく、有望な復元結果が得られる。
  論文  参考訳（メタデータ） (2023-05-11T17:55:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。