論文の概要: Stress-Aware Resilient Neural Training

• arxiv url: http://arxiv.org/abs/2508.00098v1
• Date: Thu, 31 Jul 2025 18:46:19 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-08-04 18:08:53.63115
• Title: Stress-Aware Resilient Neural Training
• Title（参考訳）: ストレスに敏感なニューラルトレーニング
• Authors: Ashkan Shakarami, Yousef Yeganeh, Azade Farshad, Lorenzo Nicole, Stefano Ghidoni, Nassir Navab,
• Abstract要約: Stress-Aware Learningは、ディープニューラルネットワークが最適化動作を動的に調整する、レジリエントなニューラルネットワークトレーニングパラダイムである。 塑性変形は材料科学における構造疲労にインスパイアされている。
• 参考スコア（独自算出の注目度）: 38.363465138060086
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: This paper introduces Stress-Aware Learning, a resilient neural training paradigm in which deep neural networks dynamically adjust their optimization behavior - whether under stable training regimes or in settings with uncertain dynamics - based on the concept of Temporary (Elastic) and Permanent (Plastic) Deformation, inspired by structural fatigue in materials science. To instantiate this concept, we propose Plastic Deformation Optimizer, a stress-aware mechanism that injects adaptive noise into model parameters whenever an internal stress signal - reflecting stagnation in training loss and accuracy - indicates persistent optimization difficulty. This enables the model to escape sharp minima and converge toward flatter, more generalizable regions of the loss landscape. Experiments across six architectures, four optimizers, and seven vision benchmarks demonstrate improved robustness and generalization with minimal computational overhead. The code and 3D visuals will be available on GitHub: https://github.com/Stress-Aware-Learning/SAL.
• Abstract（参考訳）: 本稿では,物質科学における構造的疲労に触発されたテンポラリー(Elastic)と永続的(Plastic)の変形の概念に基づいて,ニューラルネットワークが安定したトレーニング体制の下で,あるいは不確実な動的条件下での最適化動作を動的に調整する,レジリエントなニューラルトレーニングパラダイムであるScress-Aware Learningを紹介する。 内部応力信号(トレーニング損失と精度の停滞を反映する)が持続的な最適化困難を示すとき、モデルパラメータに適応ノイズを注入する応力認識機構である塑性変形最適化器を提案する。 これにより、モデルはシャープなミニマから逃げ出し、損失ランドスケープのより平坦でより一般化可能な領域へ収束することができる。 6つのアーキテクチャ、4つのオプティマイザ、および7つのビジョンベンチマークにわたる実験では、計算オーバーヘッドを最小限に抑えた堅牢性と一般化が改善された。 コードと3DビジュアルはGitHubで入手できる。

関連論文リスト

• Scaling Collapse Reveals Universal Dynamics in Compute-Optimally Trained Neural Networks [59.552873049024775]
  計算最適化モデルでは, 極めて高精度な普遍性を示すことを示す。 学習速度が減衰すると、崩壊は非常に厳しくなり、モデル間の正規化曲線の差はノイズフロアより下になる。 これらの現象は、典型的なニューラルスケーリング法則において、崩壊とパワー・ロー構造を結びつけることによって説明される。
  論文  参考訳（メタデータ） (2025-07-02T20:03:34Z)
• Navigating loss manifolds via rigid body dynamics: A promising avenue for robustness and generalisation [11.729464930866483]
  勾配に基づく最適化を通じて大規模なニューラルネットワークをトレーニングするには、高次元のロスランドスケープをナビゲートする必要がある。 我々は、この依存を同時に減らし、鋭い最小化を避ける代替案を提案する。
  論文  参考訳（メタデータ） (2025-05-26T05:26:21Z)
• Dynamic Manipulation of Deformable Objects in 3D: Simulation, Benchmark and Learning Strategy [88.8665000676562]
  従来の手法は、しばしば問題を低速または2D設定に単純化し、現実の3Dタスクに適用性を制限する。 データ不足を軽減するため、新しいシミュレーションフレームワークと、低次ダイナミクスに基づくベンチマークを導入する。 本研究では,シミュレーション前トレーニングと物理インフォームドテスト時間適応を統合するフレームワークであるDynamics Informed Diffusion Policy (DIDP)を提案する。
  論文  参考訳（メタデータ） (2025-05-23T03:28:25Z)
• Plasticine: Accelerating Research in Plasticity-Motivated Deep Reinforcement Learning [122.67854581396578]
  Plasticineは、深層強化学習における塑性最適化をベンチマークするためのオープンソースのフレームワークである。 Plasticineは13以上の緩和メソッド、評価メトリクス10、学習シナリオの単一ファイル実装を提供する。
  論文  参考訳（メタデータ） (2025-04-24T12:32:13Z)
• Neuroplastic Expansion in Deep Reinforcement Learning [9.297543779239826]
  学習エージェントにおける可塑性の喪失は、強化学習における学習と適応を著しく阻害する。 本稿では,認知科学における皮質拡大に触発された新しいアプローチであるニューロプラスティック・エクスパンジョン(NE)を提案する。 NEは、ネットワークを小さな初期サイズからフル次元に動的に拡大することにより、トレーニングプロセス全体を通して学習性と適応性を維持します。
  論文  参考訳（メタデータ） (2024-10-10T14:51:14Z)
• RePo: Resilient Model-Based Reinforcement Learning by Regularizing Posterior Predictability [25.943330238941602]
  本稿では,視覚モデルに基づくRL法を提案する。 我々の訓練目的は、表現が力学と報酬を最大限に予測することを奨励する。 我々の取り組みは、モデルベースのRLを動的で多様なドメインのための実用的で有用なツールにするためのステップです。
  論文  参考訳（メタデータ） (2023-08-31T18:43:04Z)
• Physics-Driven Turbulence Image Restoration with Stochastic Refinement [80.79900297089176]
  大気乱流による画像歪みは、長距離光学画像システムにおいて重要な問題である。 ディープラーニングモデルが現実世界の乱流条件に適応するために、高速で物理学的なシミュレーションツールが導入された。 本稿では,物理統合復元ネットワーク(PiRN)を提案する。
  論文  参考訳（メタデータ） (2023-07-20T05:49:21Z)
• Stabilizing Transformer Training by Preventing Attention Entropy Collapse [56.45313891694746]
  本研究は,トランスフォーマーのトレーニングダイナミクスについて,注目層の進化について検討する。 我々は、$sigma$Reparamが注意層におけるエントロピー崩壊を防ぎ、より安定したトレーニングを促進することを示す。 画像分類、画像自己教師型学習、機械翻訳、音声認識、言語モデリングタスクについて、$sigma$Reparamで実験を行った。
  論文  参考訳（メタデータ） (2023-03-11T03:30:47Z)
• Understanding plasticity in neural networks [41.79540750236036]
  可塑性は、ニューラルネットワークが新しい情報に反応して予測を素早く変更する能力である。 深層ニューラルネットワークは、比較的単純な学習問題であっても、トレーニングの過程で可塑性を失うことが知られている。
  論文  参考訳（メタデータ） (2023-03-02T18:47:51Z)
• SNUG: Self-Supervised Neural Dynamic Garments [14.83072352654608]
  本研究では,パラメトリックな人体が着る衣服の動的3次元変形を自己指導的に学習する手法を提案する。 これにより、動的変形や細かいしわを含むインタラクティブな衣服のモデルを、トレーニング時間に2桁の速度で学習することができる。
  論文  参考訳（メタデータ） (2022-04-05T13:50:21Z)
• Neural Descent for Visual 3D Human Pose and Shape [67.01050349629053]
  入力RGB画像から3次元のポーズと形状を復元するディープニューラルネットワーク手法を提案する。 我々は最近導入された表現力のあるボディ統計モデルGHUMに頼っている。 我々の方法論の中心は、HUmanNeural Descent (HUND)と呼ばれるアプローチの学習と最適化である。
  論文  参考訳（メタデータ） (2020-08-16T13:38:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。