論文の概要: State-driven Implicit Modeling for Sparsity and Robustness in Neural
Networks
- arxiv url: http://arxiv.org/abs/2209.09389v1
- Date: Mon, 19 Sep 2022 23:58:48 GMT
- ステータス: 処理完了
- システム内更新日: 2022-09-21 19:28:58.864457
- Title: State-driven Implicit Modeling for Sparsity and Robustness in Neural
Networks
- Title(参考訳): ニューラルネットワークにおけるスパーシリティとロバストネスの状態駆動型インシシットモデリング
- Authors: Alicia Y. Tsai, Juliette Decugis, Laurent El Ghaoui, Alper Atamt\"urk
- Abstract要約: SIM(State-driven Implicit Modeling)と呼ばれる暗黙的モデルをトレーニングするための新しいアプローチを提案する。
SIMは内部の状態と出力をベースラインモデルと一致させ、コストのかかる後方計算を回避する。
本稿では,データセット上でトレーニングされたベースラインモデルの空間性とロバスト性を大幅に向上するためにSIMアプローチを適用する方法を示す。
- 参考スコア(独自算出の注目度): 3.604879434384177
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Implicit models are a general class of learning models that forgo the
hierarchical layer structure typical in neural networks and instead define the
internal states based on an ``equilibrium'' equation, offering competitive
performance and reduced memory consumption. However, training such models
usually relies on expensive implicit differentiation for backward propagation.
In this work, we present a new approach to training implicit models, called
State-driven Implicit Modeling (SIM), where we constrain the internal states
and outputs to match that of a baseline model, circumventing costly backward
computations. The training problem becomes convex by construction and can be
solved in a parallel fashion, thanks to its decomposable structure. We
demonstrate how the SIM approach can be applied to significantly improve
sparsity (parameter reduction) and robustness of baseline models trained on
FashionMNIST and CIFAR-100 datasets.
- Abstract(参考訳): 暗黙的モデルは、ニューラルネットワークに典型的な階層的階層構造を禁止し、代わりに「平衡」方程式に基づいて内部状態を定義し、競合性能とメモリ消費を減らす学習モデルの一般的なクラスである。
しかし、そのようなモデルの訓練は通常、後方伝播に高価な暗黙差分に依存している。
本研究では,基礎モデルに適合する内部状態と出力を制約し,コストのかかる逆計算を回避し,暗黙的モデルをトレーニングする新しい手法である状態駆動型暗黙的モデリング(sim)を提案する。
トレーニング問題は建設によって凸化し、分解可能な構造のおかげで並列的に解決できる。
本稿では,FashionMNISTおよびCIFAR-100データセットに基づいてトレーニングされたベースラインモデルの空間性(パラメータ削減)とロバスト性を大幅に向上するためにSIMアプローチを適用する方法を示す。
関連論文リスト
- Solving Inverse Problems with Model Mismatch using Untrained Neural
Networks within Model-based Architectures [15.896809554085973]
モデルベースアーキテクチャでは,各インスタンスの計測領域におけるデータの一貫性を一致させるために,トレーニングされていないフォワードモデル残差ブロックを導入する。
実験では、アーティファクトの削除と3つの異なるアプリケーションにわたる詳細の保存において、大幅な品質改善が示されている。
論文 参考訳(メタデータ) (2024-03-07T19:02:13Z) - Homotopy-based training of NeuralODEs for accurate dynamics discovery [0.0]
我々は,同期とホモトピー最適化に基づくニューラルノードの新しいトレーニング手法を開発した。
モデルダイナミクスとトレーニングデータとを同期させることで、もともと不規則なロスランドスケープを味わうことを示す。
本手法は,トレーニングエポックの半数以下を必要としながら,競争力やより良いトレーニング損失を達成する。
論文 参考訳(メタデータ) (2022-10-04T06:32:45Z) - Re-parameterizing Your Optimizers rather than Architectures [119.08740698936633]
本稿では,モデル固有の事前知識を構造学に取り入れ,汎用モデル(簡易モデル)の学習に使用する新しいパラダイムを提案する。
実装として,モデル固有のハイパーパラメータの集合に従って勾配を変更することによって,事前知識を付加する手法を提案する。
Reprでトレーニングされた単純なモデルに対しては、VGGスタイルのプレーンモデルに注目し、ReprでトレーニングされたそのようなシンプルなモデルがRep-VGGと呼ばれ、最近のよく設計されたモデルと同等に動作することを示す。
論文 参考訳(メタデータ) (2022-05-30T16:55:59Z) - Regularized Sequential Latent Variable Models with Adversarial Neural
Networks [33.74611654607262]
逐次データの変動をモデル化するために,RNN で高レベル潜時確率変数を使用する方法を提案する。
変動RNNモデルの学習に逆法を用いる可能性を探る。
論文 参考訳(メタデータ) (2021-08-10T08:05:14Z) - Stabilizing Equilibrium Models by Jacobian Regularization [151.78151873928027]
ディープ均衡ネットワーク(Deep equilibrium Network, DEQs)は、単一非線形層の固定点を見つけるために従来の深さを推定する新しいモデルのクラスである。
本稿では、平衡モデルの学習を安定させるために、固定点更新方程式のヤコビアンを明示的に正規化するDECモデルの正規化スキームを提案する。
この正規化は計算コストを最小限に抑え、前方と後方の両方の固定点収束を著しく安定化させ、高次元の現実的な領域に順応することを示した。
論文 参考訳(メタデータ) (2021-06-28T00:14:11Z) - Closed-form Continuous-Depth Models [99.40335716948101]
連続深度ニューラルモデルは高度な数値微分方程式解法に依存している。
我々は,CfCネットワークと呼ばれる,記述が簡単で,少なくとも1桁高速な新しいモデル群を提示する。
論文 参考訳(メタデータ) (2021-06-25T22:08:51Z) - Sparse Flows: Pruning Continuous-depth Models [107.98191032466544]
生成モデルにおいて,プルーニングによりニューラルネットワークの一般化が向上することを示す。
また、プルーニングは、元のネットワークに比べて最大98%少ないパラメータで、精度を損なうことなく、最小かつ効率的なニューラルODE表現を見出すことを示した。
論文 参考訳(メタデータ) (2021-06-24T01:40:17Z) - Autoregressive Dynamics Models for Offline Policy Evaluation and
Optimization [60.73540999409032]
表現的自己回帰ダイナミクスモデルが次の状態の異なる次元を生成し、以前の次元で順次条件付きで報酬を得ることを示す。
また,リプレイバッファを充実させる手段として,自己回帰的ダイナミクスモデルがオフラインポリシー最適化に有用であることを示す。
論文 参考訳(メタデータ) (2021-04-28T16:48:44Z) - Dynamic Model Pruning with Feedback [64.019079257231]
余分なオーバーヘッドを伴わずにスパーストレーニングモデルを生成する新しいモデル圧縮法を提案する。
CIFAR-10 と ImageNet を用いて本手法の評価を行い,得られたスパースモデルが高密度モデルの最先端性能に到達可能であることを示す。
論文 参考訳(メタデータ) (2020-06-12T15:07:08Z) - Conditional Neural Architecture Search [5.466990830092397]
これは、よく訓練されたMLモデルがエッジプラットフォームをデプロイする制約に適合しない場合が多い。
本稿では,異なるプラットフォームで実現可能なMLモデルを生成するGANを用いた条件付きニューラルネットワーク探索手法を提案する。
論文 参考訳(メタデータ) (2020-06-06T20:39:33Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。