論文の概要: VISP: Volatility Informed Stochastic Projection for Adaptive Regularization

• arxiv url: http://arxiv.org/abs/2509.01903v1
• Date: Tue, 02 Sep 2025 02:51:23 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-09-04 15:17:03.888431
• Title: VISP: Volatility Informed Stochastic Projection for Adaptive Regularization
• Title（参考訳）: VISP: 適応正規化のためのボラティリティインフォームド確率射影
• Authors: Tanvir Islam,
• Abstract要約: VISPは、勾配ボラティリティを用いて、ディープニューラルネットワークにおけるノイズ注入を誘導する適応正規化手法である。 VISPは、ベースラインモデルや固定ノイズ代替よりも、常に一般化性能を向上することを示す。
• 参考スコア（独自算出の注目度）: 0.10152838128195468
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We propose VISP: Volatility Informed Stochastic Projection, an adaptive regularization method that leverages gradient volatility to guide stochastic noise injection in deep neural networks. Unlike conventional techniques that apply uniform noise or fixed dropout rates, VISP dynamically computes volatility from gradient statistics and uses it to scale a stochastic projection matrix. This mechanism selectively regularizes inputs and hidden nodes that exhibit higher gradient volatility while preserving stable representations, thereby mitigating overfitting. Extensive experiments on MNIST, CIFAR-10, and SVHN demonstrate that VISP consistently improves generalization performance over baseline models and fixed-noise alternatives. In addition, detailed analyses of the evolution of volatility, the spectral properties of the projection matrix, and activation distributions reveal that VISP not only stabilizes the internal dynamics of the network but also fosters a more robust feature representation.
• Abstract（参考訳）: VISP: ボラティリティインフォームド確率射影(VISP: Volatility Informed Stochastic Projection)は、勾配ボラティリティを利用して、ディープニューラルネットワークにおける確率的ノイズ注入を誘導する適応正規化手法である。 均一ノイズや固定ドロップアウト率を適用する従来の手法とは異なり、VISPは勾配統計から動的にボラティリティを計算し、確率的射影行列をスケールする。 このメカニズムは、安定した表現を維持しながら高い勾配ボラティリティを示す入力と隠れノードを選択的に正規化し、過剰適合を緩和する。 MNIST、CIFAR-10、SVHNの広範な実験により、VISPはベースラインモデルや固定ノイズの代替よりも常に一般化性能を向上することを示した。 さらに、ボラティリティの進化、射影行列のスペクトル特性、および活性化分布の詳細な解析により、VISPはネットワークの内部ダイナミクスを安定化するだけでなく、より堅牢な特徴表現を育むことが明らかとなった。

関連論文リスト

• Low-Rank Implicit Neural Representation via Schatten-p Quasi-Norm and Jacobian Regularization [49.158601255093416]
  暗黙的神経表現のためのニューラルネットワークによりパラメータ化されたCPベースの低ランクテンソル関数を提案する。 滑らか性のために、ヤコビアンとハッチンソンのトレース推定器のスペクトルノルムに基づく正規化項を提案する。 提案した滑らか度正規化はSVDフリーであり、明示的な連鎖規則の導出を避ける。
  論文  参考訳（メタデータ） (2025-06-27T11:23:10Z)
• Koopman-Equivariant Gaussian Processes [39.34668284375732]
  線形時間不変応答を持つ力学系に対するガウス過程(GP)のファミリを提案する。 この線形性は、予測と表現の不確実性を的確に定量化することができる。 実験では、動的システムを学ぶためのカーネルベースの方法と比較して、オンパーで、しばしば予測性能が向上することを示した。
  論文  参考訳（メタデータ） (2025-02-10T16:35:08Z)
• NAG-GS: Semi-Implicit, Accelerated and Robust Stochastic Optimizer [45.47667026025716]
  2つの重要な要素に依存した、新しく、堅牢で、加速された反復を提案する。 NAG-GSと呼ばれる手法の収束と安定性は、まず広範に研究されている。 我々は、NAG-arityが、重量減衰を伴う運動量SGDや機械学習モデルのトレーニングのためのAdamWといった最先端の手法と競合していることを示す。
  論文  参考訳（メタデータ） (2022-09-29T16:54:53Z)
• Noisy Recurrent Neural Networks [45.94390701863504]
  入力データによって駆動される微分方程式の離散化として,隠れ状態に雑音を注入することによって訓練されたリカレントニューラルネットワーク(RNN)について検討する。 合理的な仮定の下では、この暗黙の正則化はより平坦なミニマムを促進し、より安定な力学を持つモデルに偏りを呈し、分類タスクではより大きな分類マージンを持つモデルを好む。 本理論は, 各種入力摂動に対するロバスト性の向上と, 最先端性能の維持を両立させる実証実験により支持された。
  論文  参考訳（メタデータ） (2021-02-09T15:20:50Z)
• Efficient Semi-Implicit Variational Inference [65.07058307271329]
  効率的でスケーラブルな半単純外挿 (SIVI) を提案する。 本手法はSIVIの証拠を低勾配値の厳密な推測にマッピングする。
  論文  参考訳（メタデータ） (2021-01-15T11:39:09Z)
• Training Generative Adversarial Networks by Solving Ordinary Differential Equations [54.23691425062034]
  GANトレーニングによって引き起こされる連続時間ダイナミクスについて検討する。 この観点から、GANのトレーニングにおける不安定性は積分誤差から生じると仮定する。 本研究では,有名なODEソルバ(Runge-Kutta など)がトレーニングを安定化できるかどうかを実験的に検証する。
  論文  参考訳（メタデータ） (2020-10-28T15:23:49Z)
• A Contour Stochastic Gradient Langevin Dynamics Algorithm for Simulations of Multi-modal Distributions [17.14287157979558]
  ビッグデータ統計学の学習のための適応重み付き勾配ランゲヴィン力学(SGLD)を提案する。 提案アルゴリズムは、CIFAR100を含むベンチマークデータセットで検証される。
  論文  参考訳（メタデータ） (2020-10-19T19:20:47Z)
• Stochastically forced ensemble dynamic mode decomposition for forecasting and analysis of near-periodic systems [65.44033635330604]
  本稿では,観測力学を強制線形系としてモデル化した新しい負荷予測手法を提案する。 固有線型力学の利用は、解釈可能性やパーシモニーの観点から、多くの望ましい性質を提供することを示す。 電力グリッドからの負荷データを用いたテストケースの結果が提示される。
  論文  参考訳（メタデータ） (2020-10-08T20:25:52Z)
• Multiplicative noise and heavy tails in stochastic optimization [62.993432503309485]
  経験的最適化は現代の機械学習の中心であるが、その成功における役割はまだ不明である。 分散による離散乗法雑音のパラメータによく現れることを示す。 最新のステップサイズやデータを含む重要な要素について、詳細な分析を行い、いずれも最先端のニューラルネットワークモデルで同様の結果を示す。
  論文  参考訳（メタデータ） (2020-06-11T09:58:01Z)
• A generative adversarial network approach to calibration of local stochastic volatility models [2.1485350418225244]
  局所ボラティリティ(LSV)モデルのキャリブレーションのための完全データ駆動手法を提案する。 我々は、フィードフォワードニューラルネットワークのファミリーによってレバレッジ関数をパラメータ化し、利用可能な市場オプション価格から直接パラメータを学習する。 これは、ニューラルSDEと(因果)生成的敵ネットワークの文脈で見る必要がある。
  論文  参考訳（メタデータ） (2020-05-05T21:26:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。