論文の概要: Automatic Stability and Recovery for Neural Network Training

• arxiv url: http://arxiv.org/abs/2601.17483v1
• Date: Sat, 24 Jan 2026 15:14:54 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-01-27 15:23:07.8119
• Title: Automatic Stability and Recovery for Neural Network Training
• Title（参考訳）: ニューラルネットワークトレーニングのための自動安定性と回復
• Authors: Barak Or,
• Abstract要約: 現代のニューラルネットワークのトレーニングはますます脆弱になり、まれだが深刻な不安定な更新は、しばしば不可逆的なばらつきやサイレントな劣化を引き起こす。 既存の最適化手法は、安定性プローブに埋め込まれた防止機構に依存しており、不安定性を検出して回復する能力に制限がある。 最適化を制御実行プロセスとして扱う監視フレームワークを導入する。
• 参考スコア（独自算出の注目度）: 1.9544213396776273
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Training modern neural networks is increasingly fragile, with rare but severe destabilizing updates often causing irreversible divergence or silent performance degradation. Existing optimization methods primarily rely on preventive mechanisms embedded within the optimizer, offering limited ability to detect and recover from instability once it occurs. We introduce a supervisory runtime stability framework that treats optimization as a controlled stochastic process. By isolating an innovation signal derived from secondary measurements, such as validation probes, the framework enables automatic detection and recovery from destabilizing updates without modifying the underlying optimizer. We provide theoretical runtime safety guarantees that formalize bounded degradation and recovery. Our implementation incurs minimal overhead and is compatible with memory-constrained training settings.
• Abstract（参考訳）: 現代のニューラルネットワークのトレーニングは、希少ながら深刻な不安定な更新によって、不可逆的なばらつきやサイレントなパフォーマンス低下を引き起こしているため、ますます脆弱になっている。 既存の最適化手法は、主にオプティマイザに埋め込まれた防止機構に依存しており、一度不安定性を検知し、回復する能力に制限がある。 本稿では,最適化を制御確率過程として扱うスーパーバイザリーランタイム安定化フレームワークを提案する。 このフレームワークは、バリデーションプローブなどの二次測定から導かれるイノベーション信号を分離することにより、基盤となるオプティマイザを変更することなく、更新の不安定化から自動検出とリカバリを可能にする。 境界劣化と回復を形式化する理論的ランタイム安全保証を提供する。 我々の実装は最小限のオーバーヘッドを発生させ、メモリ制約のあるトレーニング設定と互換性がある。

関連論文リスト

• ModalImmune: Immunity Driven Unlearning via Self Destructive Training [21.940530514137947]
  モダル免疫は、訓練中に選択したモダリティ情報を意図的に崩壊させることにより、モダリティ免疫を強制する。 フレームワークは、スペクトル適応型崩壊正規化器、ターゲットとなる介入のための情報ゲイン誘導コントローラ、破壊的な更新を安定化するための曲率対応勾配マスキングを組み合わせた。 標準マルチモーダルベンチマークの実証評価では、モーダル免疫は収束安定性と復元能力を維持しつつ、モダリティ除去と腐敗に対するレジリエンスを改善している。
  論文  参考訳（メタデータ） (2026-02-18T05:35:32Z)
• Safe Reinforcement Learning via Recovery-based Shielding with Gaussian Process Dynamics Models [57.006252510102506]
  強化学習(Reinforcement Learning, RL)は、最適な意思決定と制御のための強力なフレームワークである。 本稿では,未知および非線形連続力学系に対する安全性を低くした安全RLを実現するための新しい回復型遮蔽フレームワークを提案する。
  論文  参考訳（メタデータ） (2026-02-12T22:03:35Z)
• TeleBoost: A Systematic Alignment Framework for High-Fidelity, Controllable, and Robust Video Generation [45.864084191741135]
  ポストトレーニングは、事前訓練されたビデオジェネレータをプロダクション指向のモデルに変換するための決定的なステップである。 本報告では,指導的政策形成,報酬駆動型強化学習,嗜好に基づく改善を組織化する,体系的なポストトレーニングフレームワークを提案する。
  論文  参考訳（メタデータ） (2026-02-07T15:49:25Z)
• Stability as a Liability:Systematic Breakdown of Linguistic Structure in LLMs [5.96875296117642]
  安定なパラメータトラジェクトリが定常解を導出し、経験的分布へのKLの分岐を最小化することを示す。 制御されたフィードバックベースのトレーニングフレームワークを用いて,この効果を実証的に検証する。 これは、最適化の安定性と生成的表現性は本質的に一致していないことを示し、安定性のみが生成的品質の指標として不十分であることを示している。
  論文  参考訳（メタデータ） (2026-01-26T15:34:50Z)
• GRPO-Guard: Mitigating Implicit Over-Optimization in Flow Matching via Regulated Clipping [63.33669214116784]
  GRPO-Guardは、既存のGRPOフレームワークのシンプルで効果的な拡張である。 PPOクリッピングが有害な更新を適切に制限することを保証するため、バランスとステップ一貫性の重要度を回復する。 重いKL正則化に頼ることなく、暗黙の過最適化を実質的に緩和する。
  論文  参考訳（メタデータ） (2025-10-25T14:51:17Z)
• NIRVANA: Structured pruning reimagined for large language models compression [50.651730342011014]
  直近のゼロショット保存精度と頑健な微調整のバランスをとるために, NIRVANAを導入した。 構造化プルーニングによって引き起こされる固有の課題にさらに対処するため、NIRVANAは層やモジュール間の適応的な空間割当機構を取り入れている。 Llama3, Qwen, T5モデルで行った実験では、NIRVANAは等価な空間制約の下で既存の構造化プルーニング法よりも優れていた。
  論文  参考訳（メタデータ） (2025-09-17T17:59:00Z)
• Convergence and Generalization of Anti-Regularization for Parametric Models [0.0]
  反正則化は損失関数に逆符号を持つ報酬項を導入する。 スペクトル安全性条件と信頼領域制約を定式化する。 我々は、プロジェクション演算子と勾配クリッピングを組み合わせた軽量な安全ガードを設計し、安定した介入を保証する。
  論文  参考訳（メタデータ） (2025-08-24T15:34:17Z)
• Enhancing AI System Resiliency: Formulation and Guarantee for LSTM Resilience Based on Control Theory [0.18749305679160366]
  我々は,LSTMが異常入力後に正常状態に戻るために必要な時間を定量化するために,新たな回復時間(recovery time)をレジリエンスの指標として導入する。 簡易モデルを用いた実験により, レジリエンス推定と制御手法の有効性が示された。
  論文  参考訳（メタデータ） (2025-05-23T10:05:26Z)
• Enhancing Robustness of Vision-Language Models through Orthogonality Learning and Self-Regularization [77.62516752323207]
  そこで本研究では,事前訓練した重みを効率よく微調整する直交微調整法を導入し,頑健さと一般化の強化を実現した。 自己正規化戦略は、OrthSRと呼ばれるVLMのゼロショット一般化の観点から安定性を維持するためにさらに活用される。 筆者らはCLIPとCoOpを再検討し,少数の画像のクラスフィシエーションシナリオにおけるモデルの改善を効果的に行う。
  論文  参考訳（メタデータ） (2024-07-11T10:35:53Z)
• Exploiting Diffusion Prior for Real-World Image Super-Resolution [75.5898357277047]
  本稿では,事前学習したテキスト・画像拡散モデルにカプセル化された事前知識を視覚的超解像に活用するための新しいアプローチを提案する。 時間認識エンコーダを用いることで、事前学習した合成モデルを変更することなく、有望な復元結果が得られる。
  論文  参考訳（メタデータ） (2023-05-11T17:55:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。