論文の概要: A stochastic optimization approach to train non-linear neural networks with a higher-order variation regularization

• arxiv url: http://arxiv.org/abs/2308.02293v2
• Date: Mon, 14 Aug 2023 05:06:09 GMT
• ステータス: 翻訳完了
• システム内更新日: 2023-08-15 18:42:05.474108
• Title: A stochastic optimization approach to train non-linear neural networks with a higher-order variation regularization
• Title（参考訳）: 高次変分正規化を用いた非線形ニューラルネットワークの確率的最適化
• Authors: Akifumi Okuno
• Abstract要約: 本研究は、$(k,q)$thorder variation regularization((k,q)$-VR)を考える。 $(k,q)$-VR は、訓練対象のパラメトリックモデルの絶対$k$次微分の$q$thパワー積分として定義される。 我々の数値実験は、従来のパラメータ正規化よりも、$(k,q)$-VRで訓練されたニューラルネットワークの方が弾力性が高いことを示した。
• 参考スコア（独自算出の注目度）: 3.0277213703725767
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: While highly expressive parametric models including deep neural networks have an advantage to model complicated concepts, training such highly non-linear models is known to yield a high risk of notorious overfitting. To address this issue, this study considers a $(k,q)$th order variation regularization ($(k,q)$-VR), which is defined as the $q$th-powered integral of the absolute $k$th order derivative of the parametric models to be trained; penalizing the $(k,q)$-VR is expected to yield a smoother function, which is expected to avoid overfitting. Particularly, $(k,q)$-VR encompasses the conventional (general-order) total variation with $q=1$. While the $(k,q)$-VR terms applied to general parametric models are computationally intractable due to the integration, this study provides a stochastic optimization algorithm, that can efficiently train general models with the $(k,q)$-VR without conducting explicit numerical integration. The proposed approach can be applied to the training of even deep neural networks whose structure is arbitrary, as it can be implemented by only a simple stochastic gradient descent algorithm and automatic differentiation. Our numerical experiments demonstrate that the neural networks trained with the $(k,q)$-VR terms are more ``resilient'' than those with the conventional parameter regularization. The proposed algorithm also can be extended to the physics-informed training of neural networks (PINNs).
• Abstract（参考訳）: ディープニューラルネットワークを含む高度に表現力のあるパラメトリックモデルは複雑な概念をモデル化するのに有利であるが、そのような高度に非線形なモデルの訓練は悪名高い過剰フィッティングのリスクをもたらすことが知られている。 この問題に対処するため、本研究では、トレーニング対象のパラメトリックモデルの絶対$k$th階微分の$q$th力による積分として定義される$(k,q)$th階変動正規化((k,q)$-vr)を考察する。 特に$(k,q)$-VRは、$q=1$の従来の(一般的な)全変動を含む。 一般パラメトリックモデルに適用される$(k,q)$-VR項は、積分により計算的に難解であるが、この研究は、(k,q)$-VRを明示的な数値積分を行なわずに効率的に一般モデルを訓練できる確率的最適化アルゴリズムを提供する。 提案手法は、単純な確率勾配降下アルゴリズムと自動微分のみで実装できるので、構造が任意である深いニューラルネットワークのトレーニングにも適用することができる。 我々の数値実験により、$(k,q)$-VRでトレーニングされたニューラルネットワークは、従来のパラメータ正規化よりも「レジリエント」であることが示された。 提案アルゴリズムは、ニューラルネットワーク(PINN)の物理インフォームドトレーニングにも拡張可能である。

関連論文リスト

• Deep Equilibrium models for Poisson Imaging Inverse problems via Mirror Descent [7.248102801711294]
  ディープ平衡モデル(Deep Equilibrium Models、DEQ)は、固定点を持つ暗黙のニューラルネットワークである。 我々は、非ユークリッド幾何学の仕方で定義されるミラー・ディクセントに基づく新しいDEC式を導入する。 本稿では,効率的なトレーニングと完全パラメータフリー推論が可能な計算戦略を提案する。
  論文  参考訳（メタデータ） (2025-07-15T16:33:01Z)
• Robust and Computation-Aware Gaussian Processes [18.264598332579748]
  本稿では,近似による不確実性の原理的処理と強一般化ベイズ更新を組み合わせた新しいGPモデルであるRobust Computation-Aware Gaussian Process (RCaGP)を紹介する。 私たちのモデルは、より保守的で信頼性の高い不確実性評価を確実にします。 実験の結果、これらの課題を共同で解決することで、クリーンな設定とアウターな設定の両方で優れたパフォーマンスが得られることが確認された。
  論文  参考訳（メタデータ） (2025-05-27T12:49:14Z)
• Imitation Learning of MPC with Neural Networks: Error Guarantees and Sparsification [5.260346080244568]
  本稿では,ニューラルネットワークを用いた模倣モデル予測制御系における近似誤差の有界化のためのフレームワークを提案する。 本稿では,この手法を用いて,性能保証付き安定型ニューラルネットワークコントローラを設計する方法について論じる。
  論文  参考訳（メタデータ） (2025-01-07T10:18:37Z)
• Outlier-Robust Training of Machine Learning Models [21.352210662488112]
  本稿では,外部学習を用いた機械学習モデルの学習のための適応交替アルゴリズムを提案する。 アルゴリズムは、各重みを更新しながら、非ロバスト損失の重み付きバージョンを使用してモデルを反復的に訓練する。 任意の外接点(すなわち、外接点に分布的な仮定がない)を考えると、ロバストな損失核のシグマの使用は収束の領域を増大させる。
  論文  参考訳（メタデータ） (2024-12-31T04:19:53Z)
• Regularization for Adversarial Robust Learning [18.46110328123008]
  我々は,$phi$-divergence正規化を分散ロバストなリスク関数に組み込む,対角訓練のための新しい手法を開発した。 この正規化は、元の定式化と比較して計算の顕著な改善をもたらす。 本研究では,教師付き学習,強化学習,文脈学習において提案手法の有効性を検証し,様々な攻撃に対して最先端の性能を示す。
  論文  参考訳（メタデータ） (2024-08-19T03:15:41Z)
• Enhancing Robustness of Vision-Language Models through Orthogonality Learning and Self-Regularization [77.62516752323207]
  そこで本研究では,事前訓練した重みを効率よく微調整する直交微調整法を導入し,頑健さと一般化の強化を実現した。 自己正規化戦略は、OrthSRと呼ばれるVLMのゼロショット一般化の観点から安定性を維持するためにさらに活用される。 筆者らはCLIPとCoOpを再検討し,少数の画像のクラスフィシエーションシナリオにおけるモデルの改善を効果的に行う。
  論文  参考訳（メタデータ） (2024-07-11T10:35:53Z)
• HERTA: A High-Efficiency and Rigorous Training Algorithm for Unfolded Graph Neural Networks [14.139047596566485]
  HERTAは、Unfolded GNNの高効率で厳格なトレーニングアルゴリズムである。 HERTAは元のモデルの最適値に収束し、アンフォールドGNNの解釈可能性を維持する。 HERTAの副産物として、正規化および正規化グラフラプラシアンに適用可能な新しいスペクトルスカラー化法を提案する。
  論文  参考訳（メタデータ） (2024-03-26T23:03:06Z)
• Towards Continual Learning Desiderata via HSIC-Bottleneck Orthogonalization and Equiangular Embedding [55.107555305760954]
  本稿では,レイヤワイドパラメータのオーバーライトや決定境界の歪みに起因する,概念的にシンプルで効果的な手法を提案する。 提案手法は,ゼロの指数バッファと1.02倍の差が絶対的に優れていても,競争精度が向上する。
  論文  参考訳（メタデータ） (2024-01-17T09:01:29Z)
• Achieving Constraints in Neural Networks: A Stochastic Augmented Lagrangian Approach [49.1574468325115]
  DNN(Deep Neural Networks)の正規化は、一般化性の向上とオーバーフィッティングの防止に不可欠である。 制約付き最適化問題としてトレーニングプロセスのフレーミングによるDNN正規化に対する新しいアプローチを提案する。 我々はAugmented Lagrangian (SAL) 法を用いて、より柔軟で効率的な正規化機構を実現する。
  論文  参考訳（メタデータ） (2023-10-25T13:55:35Z)
• Efficient and Flexible Neural Network Training through Layer-wise Feedback Propagation [49.44309457870649]
  ニューラルネットワークのような予測器のための新しいトレーニング原理であるLFP(Layer-wise Feedback Propagation)を提案する。 LFPは、与えられたタスクの解決へのそれぞれの貢献に基づいて、個々のニューロンに報酬を分解する。 提案手法は,ネットワークの有用な部分を補強し,有害な部分を弱めるという欲求的アプローチを実現する。
  論文  参考訳（メタデータ） (2023-08-23T10:48:28Z)
• TWINS: A Fine-Tuning Framework for Improved Transferability of Adversarial Robustness and Generalization [89.54947228958494]
  本稿では,様々な分類タスクにおいて,逆向きに事前訓練されたモデルの微調整に焦点を当てる。 本稿では,TWINS(Two-WIng NormliSation)ファインチューニングフレームワークを提案する。 TWINSは、一般化とロバスト性の両方の観点から、幅広い画像分類データセットに有効であることが示されている。
  論文  参考訳（メタデータ） (2023-03-20T14:12:55Z)
• Can we achieve robustness from data alone? [0.7366405857677227]
  敵の訓練とその変種は、ニューラルネットワークを用いた敵の堅牢な分類を実現するための一般的な方法となっている。 そこで我々は,ロバストな分類のためのメタラーニング手法を考案し,その展開前のデータセットを原則的に最適化する。 MNIST と CIFAR-10 の実験により、我々が生成するデータセットはPGD 攻撃に対して非常に高い堅牢性を持つことが示された。
  論文  参考訳（メタデータ） (2022-07-24T12:14:48Z)
• Comparative Analysis of Interval Reachability for Robust Implicit and Feedforward Neural Networks [64.23331120621118]
  我々は、暗黙的ニューラルネットワーク(INN)の堅牢性を保証するために、区間到達可能性分析を用いる。 INNは暗黙の方程式をレイヤとして使用する暗黙の学習モデルのクラスである。 提案手法は, INNに最先端の区間境界伝搬法を適用するよりも, 少なくとも, 一般的には, 有効であることを示す。
  論文  参考訳（メタデータ） (2022-04-01T03:31:27Z)
• Gone Fishing: Neural Active Learning with Fisher Embeddings [55.08537975896764]
  ディープニューラルネットワークと互換性のあるアクティブな学習アルゴリズムの必要性が高まっている。 本稿では,ニューラルネットワークのための抽出可能かつ高性能な能動学習アルゴリズムBAITを紹介する。
  論文  参考訳（メタデータ） (2021-06-17T17:26:31Z)
• Nonasymptotic theory for two-layer neural networks: Beyond the bias-variance trade-off [10.182922771556742]
  本稿では,ReLUアクティベーション機能を持つ2層ニューラルネットワークに対する漸近的一般化理論を提案する。 過度にパラメータ化されたランダムな特徴モデルは次元性の呪いに悩まされ、従って準最適であることを示す。
  論文  参考訳（メタデータ） (2021-06-09T03:52:18Z)
• Bridging the Gap Between Adversarial Robustness and Optimization Bias [28.56135898767349]
  アドリアールの堅牢性はディープラーニングのオープンな課題であり、ほとんどの場合、敵対的なトレーニングを使用して対処されます。 トレードオフなしに、完全標準精度とある程度の堅牢性を両立させることが可能であることを示す。 特に、線形畳み込みモデルのロバスト性を特徴付け、フーリエ=$ell_infty$ノルムの制約を受ける攻撃に抵抗することを示す。
  論文  参考訳（メタデータ） (2021-02-17T16:58:04Z)
• LQF: Linear Quadratic Fine-Tuning [114.3840147070712]
  本稿では,非線形微調整に匹敵する性能を実現する事前学習モデルの線形化手法を提案する。 LQFはアーキテクチャの単純な変更、損失関数、そして一般的に分類に使用される最適化で構成されている。
  論文  参考訳（メタデータ） (2020-12-21T06:40:20Z)
• Trust but Verify: Assigning Prediction Credibility by Counterfactual Constrained Learning [123.3472310767721]
  予測信頼性尺度は統計学と機械学習において基本的なものである。 これらの措置は、実際に使用される多種多様なモデルを考慮に入れるべきである。 この研究で開発されたフレームワークは、リスクフィットのトレードオフとして信頼性を表現している。
  論文  参考訳（メタデータ） (2020-11-24T19:52:38Z)
• A Dynamical View on Optimization Algorithms of Overparameterized Neural Networks [23.038631072178735]
  我々は、一般的に使用される最適化アルゴリズムの幅広いクラスについて考察する。 その結果、ニューラルネットワークの収束挙動を利用することができる。 このアプローチは他の最適化アルゴリズムやネットワーク理論にも拡張できると考えています。
  論文  参考訳（メタデータ） (2020-10-25T17:10:22Z)
• Improve Generalization and Robustness of Neural Networks via Weight Scale Shifting Invariant Regularizations [52.493315075385325]
  重み劣化を含む正則化器の族は、均質な活性化関数を持つネットワークに対する本質的な重みのノルムをペナルティ化するのに有効でないことを示す。 そこで我々は,ニューラルネットワークの本質的な規範を効果的に制約する改良型正規化器を提案する。
  論文  参考訳（メタデータ） (2020-08-07T02:55:28Z)
• Communication-Efficient Distributed Stochastic AUC Maximization with Deep Neural Networks [50.42141893913188]
  本稿では,ニューラルネットワークを用いた大規模AUCのための分散変数について検討する。 我々のモデルは通信ラウンドをはるかに少なくし、理論上はまだ多くの通信ラウンドを必要としています。 いくつかのデータセットに対する実験は、我々の理論の有効性を示し、我々の理論を裏付けるものである。
  論文  参考訳（メタデータ） (2020-05-05T18:08:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。