論文の概要: Robustness Emerges Early in Training Dynamics, but Is Not Preserved

• arxiv url: http://arxiv.org/abs/2608.04442v1
• Date: Wed, 05 Aug 2026 04:34:17 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-06 14:48:43.72457
• Title: Robustness Emerges Early in Training Dynamics, but Is Not Preserved
• Title（参考訳）: ロバストネスはトレーニングダイナミクスの初期段階にあるが、保存されていない
• Authors: Jiangang Yang, Wenhui Shi, Lu Hu, Jing Xing, Jian Liu,
• Abstract要約: 本稿では,早期の頑健な先進者を安定させるために,トレーニングダイナミクスの戦略的介入を行う枠組みを提案する。 この手法には2つのパラメータフリー戦略が含まれており、モデルアーキテクチャを変更したり、学習可能なパラメータを導入することなく、ロバストな浅層構成を安定化または復元する。
• 参考スコア（独自算出の注目度）: 5.69693035365895
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Robustness to natural corruptions remains a fundamental challenge for deep neural networks. In this paper, we identify a robustness fading phenomenon where shallow layers spontaneously develop robust representations and flat loss landscapes in early training, yet these properties are not preserved during standard convergence. To address this, we propose a framework that performs strategic interventions on training dynamics to stabilize the empirically identified early-emergent robust priors. Our approach includes two parameter-free strategies: Early-Phase Stabilization~(EPS) and Asymmetric Weight Reversion~(AWR), which stabilize or recover robust shallow configurations without modifying the model architecture or introducing learnable parameters. Extensive experiments demonstrate the efficacy of our framework across various benchmarks and architectures, yielding significant gains in downstream transfer, dynamic adaptation, and diverse computer vision applications.
• Abstract（参考訳）: 自然の腐敗に対するロバストさは、ディープニューラルネットワークの根本的な課題である。 本稿では,浅層が初期訓練時に自然に強靭な表現や平らな損失景観を発生させるような強靭性フェーディング現象を同定するが,これらの特性は標準収束時には保存されない。 そこで本研究では,経験的に同定された初期の頑健な前駆体を安定化させるために,ダイナミックス訓練の戦略的介入を行うフレームワークを提案する。 提案手法は, モデルアーキテクチャの変更や学習可能なパラメータの導入なしに, 頑健な浅層構成を安定化あるいは復元する, 早期位相安定化~(EPS)と非対称重み回帰〜(AWR)の2つのパラメータフリー戦略を含む。 大規模な実験では、様々なベンチマークやアーキテクチャにまたがってフレームワークの有効性を実証し、ダウンストリーム転送、動的適応、多様なコンピュータビジョンアプリケーションにおいて大きな成果を上げている。

関連論文リスト

• TIDE: Asymmetric Neural Circuits for Stabilized Temporal Inhibitory-Excitatory Dynamics [51.37317469455798]
  最近のContinuous Thought Machineアーキテクチャは、ニューラルダイナミクスを介して外部入力から内部計算を分離している。 非対称な興奮抑制(E-I)ネットワークを用いたニューラルダイナミクスのモデル化を提案する。 本稿では、神経力学を安定化させて内部表現を計算する、神経に触発されたアーキテクチャであるTIDE(Temporal Inhibitory-Excitatory Dynamic Engine)を紹介する。
  論文  参考訳（メタデータ） (2026-05-19T05:59:13Z)
• SECURE: Stable Early Collision Understanding via Robust Embeddings in Autonomous Driving [14.057807061501004]
  SECURE - 安定早期衝突理解ロバスト埋め込み(Robust Embeddings)は、モデルロバスト性を正式に定義し、強制するフレームワークである。 本稿では,多目的損失を用いたベースラインモデルを微調整し,基準モデルからの偏差を最小化し,逆方向の摂動に対する感度を低下させる手法を提案する。DADおよびCDDデータセットを用いた実験により,本手法は種々の摂動に対する堅牢性を著しく向上するだけでなく,クリーンデータの性能向上も図っている。
  論文  参考訳（メタデータ） (2026-04-01T19:42:32Z)
• Cross-Scenario Deraining Adaptation with Unpaired Data: Superpixel Structural Priors and Multi-Stage Pseudo-Rain Synthesis [48.809049043865905]
  低レベルのコンピュータビジョンでは,イメージデライン化が重要な役割を担っている。 ディープラーニングのパラダイムは、目に見えないアウト・オブ・ディストリビューションシナリオに一般化された場合、厳しいパフォーマンス劣化に悩まされることが多い。 本稿では,クロスシナリオ・デライニング適応フレームワークを提案する。
  論文  参考訳（メタデータ） (2026-03-23T07:38:55Z)
• If You Want to Be Robust, Be Wary of Initialization [28.195617869726636]
  グラフニューラルネットワーク(GNN)は、グラフ関連タスクのスペクトルにわたって顕著なパフォーマンスを示している。 しかし、敵の摂動に対する脆弱性については懸念が続いている。 本稿では,初期化戦略と敵の摂動に対するネットワークのレジリエンスの関連性を橋渡しする理論的枠組みを提案する。 分析の結果,初期重み,トレーニングエポック数,モデルの脆弱性の直接的な関係が明らかになった。
  論文  参考訳（メタデータ） (2025-10-26T12:28:12Z)
• Rethinking the Role of Dynamic Sparse Training for Scalable Deep Reinforcement Learning [58.533203990515034]
  ニューラルネットワークのスケーリングは機械学習における画期的な進歩をもたらしたが、このパラダイムは深層強化学習(DRL)では失敗している。 我々は、動的スパーストレーニング戦略が、アーキテクチャの改善によって確立された主要なスケーラビリティ基盤を補完するモジュール固有の利点を提供することを示す。 アーキテクチャ改善の利点を生かした実践的なフレームワークであるModule-Specific Training (MST) にこれらの知見を精査し、アルゴリズムの修正なしに様々なRLアルゴリズムをまたいだ大幅なスケーラビリティ向上を示す。
  論文  参考訳（メタデータ） (2025-10-14T03:03:08Z)
• Structured Transformations for Stable and Interpretable Neural Computation [1.2064681974642195]
  我々は、標準の非拘束アフィンパラダイムから逸脱する層レベルの変換の再構成を導入する。 我々の定式化は内部の整合性を促進し、奥行きの安定した情報フローをサポートする。 これらの構造変換を用いて構築されたモデルは、勾配条件の改善、摂動に対する感度の低減、層幅の堅牢性を示す。
  論文  参考訳（メタデータ） (2025-07-31T19:26:45Z)
• Enhancing Variational Autoencoders with Smooth Robust Latent Encoding [54.74721202894622]
  変分オートエンコーダ(VAE)は拡散に基づく生成モデルをスケールアップする上で重要な役割を果たしている。 Smooth Robust Latent VAEは、世代品質とロバスト性の両方を向上する、新しい対向トレーニングフレームワークである。 実験により、SRL-VAEは、Nightshade攻撃や画像編集攻撃に対して、画像再構成とテキスト誘導画像編集において、生成品質とロバスト性の両方を改善することが示された。
  論文  参考訳（メタデータ） (2025-04-24T03:17:57Z)
• Model Hemorrhage and the Robustness Limits of Large Language Models [119.46442117681147]
  大規模言語モデル(LLM)は、自然言語処理タスク全体で強力なパフォーマンスを示すが、デプロイメント用に修正された場合、大幅なパフォーマンス低下を経験する。 この現象をモデル出血(パラメータ変更とアーキテクチャ変更によるパフォーマンス低下)と定義する。
  論文  参考訳（メタデータ） (2025-03-31T10:16:03Z)
• Universal Sharpness Dynamics in Neural Network Training: Fixed Point Analysis, Edge of Stability, and Route to Chaos [5.854190253899593]
  ニューラルネットワークの勾配降下ダイナミクスでは、損失ヘッセン(シャープネス)のトップ固有値はトレーニングを通して様々な堅牢な現象を示す。 1つのトレーニング例に基づいて訓練された単純な2ドル層線形ネットワーク(UVモデル)が、実世界のシナリオで観察されるすべての本質的なシャープネス現象を示すことを示した。
  論文  参考訳（メタデータ） (2023-11-03T17:59:40Z)
• Stabilizing Differentiable Architecture Search via Perturbation-based Regularization [99.81980366552408]
  最終アーキテクチャを蒸留する際の劇的な性能低下につながる急激なバリデーション損失の状況は、不安定を引き起こす重要な要因であることがわかった。 本研究では,DARTSに基づく手法の汎用性の向上と損失景観の円滑化を図るため,摂動型正規化(SmoothDARTS)を提案する。
  論文  参考訳（メタデータ） (2020-02-12T23:46:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。