論文の概要: State-driven Implicit Modeling for Sparsity and Robustness in Neural Networks

• arxiv url: http://arxiv.org/abs/2209.09389v1
• Date: Mon, 19 Sep 2022 23:58:48 GMT
• ステータス: 処理完了
• システム内更新日: 2022-09-21 19:28:58.864457
• Title: State-driven Implicit Modeling for Sparsity and Robustness in Neural Networks
• Title（参考訳）: ニューラルネットワークにおけるスパーシリティとロバストネスの状態駆動型インシシットモデリング
• Authors: Alicia Y. Tsai, Juliette Decugis, Laurent El Ghaoui, Alper Atamt\"urk
• Abstract要約: SIM(State-driven Implicit Modeling)と呼ばれる暗黙的モデルをトレーニングするための新しいアプローチを提案する。 SIMは内部の状態と出力をベースラインモデルと一致させ、コストのかかる後方計算を回避する。 本稿では,データセット上でトレーニングされたベースラインモデルの空間性とロバスト性を大幅に向上するためにSIMアプローチを適用する方法を示す。
• 参考スコア（独自算出の注目度）: 3.604879434384177
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Implicit models are a general class of learning models that forgo the hierarchical layer structure typical in neural networks and instead define the internal states based on an ``equilibrium'' equation, offering competitive performance and reduced memory consumption. However, training such models usually relies on expensive implicit differentiation for backward propagation. In this work, we present a new approach to training implicit models, called State-driven Implicit Modeling (SIM), where we constrain the internal states and outputs to match that of a baseline model, circumventing costly backward computations. The training problem becomes convex by construction and can be solved in a parallel fashion, thanks to its decomposable structure. We demonstrate how the SIM approach can be applied to significantly improve sparsity (parameter reduction) and robustness of baseline models trained on FashionMNIST and CIFAR-100 datasets.
• Abstract（参考訳）: 暗黙的モデルは、ニューラルネットワークに典型的な階層的階層構造を禁止し、代わりに「平衡」方程式に基づいて内部状態を定義し、競合性能とメモリ消費を減らす学習モデルの一般的なクラスである。 しかし、そのようなモデルの訓練は通常、後方伝播に高価な暗黙差分に依存している。 本研究では,基礎モデルに適合する内部状態と出力を制約し,コストのかかる逆計算を回避し,暗黙的モデルをトレーニングする新しい手法である状態駆動型暗黙的モデリング(sim)を提案する。 トレーニング問題は建設によって凸化し、分解可能な構造のおかげで並列的に解決できる。 本稿では,FashionMNISTおよびCIFAR-100データセットに基づいてトレーニングされたベースラインモデルの空間性(パラメータ削減)とロバスト性を大幅に向上するためにSIMアプローチを適用する方法を示す。

関連論文リスト

• Transferable Post-training via Inverse Value Learning [83.75002867411263]
  別個のニューラルネットワーク(すなわち値ネットワーク)を用いた後学習におけるロジットレベルのモデリング変更を提案する。 このネットワークをデモを使って小さなベースモデルでトレーニングした後、推論中に他のトレーニング済みモデルとシームレスに統合することができる。 得られた値ネットワークは、パラメータサイズの異なる事前学習されたモデル間で広い転送性を有することを示す。
  論文  参考訳（メタデータ） (2024-10-28T13:48:43Z)
• State-space models can learn in-context by gradient descent [1.3087858009942543]
  本研究では、状態空間モデルアーキテクチャが勾配に基づく学習を実行し、文脈内学習に使用できることを実証する。 局所自己アテンションを付加した単一構造状態空間モデル層が暗黙線形モデルの出力を再現できることを実証する。 理論的構成は、基礎モデルの典型的な表現力を実現するための鍵となる要素として、繰り返しアーキテクチャにおける局所的な自己注意と乗法的相互作用の役割を解明する。
  論文  参考訳（メタデータ） (2024-10-15T15:22:38Z)
• A domain decomposition-based autoregressive deep learning model for unsteady and nonlinear partial differential equations [2.7755345520127936]
  非定常・非線形偏微分方程式(PDE)を正確にモデル化するためのドメイン分割型ディープラーニング(DL)フレームワークCoMLSimを提案する。 このフレームワークは、(a)畳み込みニューラルネットワーク(CNN)ベースのオートエンコーダアーキテクチャと(b)完全に接続された層で構成される自己回帰モデルという、2つの重要なコンポーネントで構成されている。
  論文  参考訳（メタデータ） (2024-08-26T17:50:47Z)
• Jointly Training and Pruning CNNs via Learnable Agent Guidance and Alignment [69.33930972652594]
  本稿では,CNNモデルの重みと構造的プーン構造を協調的に学習するための新しい構造的プルーニング手法を提案する。 本手法の中核となる要素は強化学習(RL)エージェントであり,その動作がCNNモデルの階層のプルーニング比を決定する。 我々は,モデルの重みとエージェントのポリシーを反復的に訓練し,共同訓練と刈り取りを行う。
  論文  参考訳（メタデータ） (2024-03-28T15:22:29Z)
• Regularized Sequential Latent Variable Models with Adversarial Neural Networks [33.74611654607262]
  逐次データの変動をモデル化するために,RNN で高レベル潜時確率変数を使用する方法を提案する。 変動RNNモデルの学習に逆法を用いる可能性を探る。
  論文  参考訳（メタデータ） (2021-08-10T08:05:14Z)
• Stabilizing Equilibrium Models by Jacobian Regularization [151.78151873928027]
  ディープ均衡ネットワーク(Deep equilibrium Network, DEQs)は、単一非線形層の固定点を見つけるために従来の深さを推定する新しいモデルのクラスである。 本稿では、平衡モデルの学習を安定させるために、固定点更新方程式のヤコビアンを明示的に正規化するDECモデルの正規化スキームを提案する。 この正規化は計算コストを最小限に抑え、前方と後方の両方の固定点収束を著しく安定化させ、高次元の現実的な領域に順応することを示した。
  論文  参考訳（メタデータ） (2021-06-28T00:14:11Z)
• Closed-form Continuous-Depth Models [99.40335716948101]
  連続深度ニューラルモデルは高度な数値微分方程式解法に依存している。 我々は,CfCネットワークと呼ばれる,記述が簡単で,少なくとも1桁高速な新しいモデル群を提示する。
  論文  参考訳（メタデータ） (2021-06-25T22:08:51Z)
• Sparse Flows: Pruning Continuous-depth Models [107.98191032466544]
  生成モデルにおいて,プルーニングによりニューラルネットワークの一般化が向上することを示す。 また、プルーニングは、元のネットワークに比べて最大98%少ないパラメータで、精度を損なうことなく、最小かつ効率的なニューラルODE表現を見出すことを示した。
  論文  参考訳（メタデータ） (2021-06-24T01:40:17Z)
• Dynamic Model Pruning with Feedback [64.019079257231]
  余分なオーバーヘッドを伴わずにスパーストレーニングモデルを生成する新しいモデル圧縮法を提案する。 CIFAR-10 と ImageNet を用いて本手法の評価を行い,得られたスパースモデルが高密度モデルの最先端性能に到達可能であることを示す。
  論文  参考訳（メタデータ） (2020-06-12T15:07:08Z)
• Conditional Neural Architecture Search [5.466990830092397]
  これは、よく訓練されたMLモデルがエッジプラットフォームをデプロイする制約に適合しない場合が多い。 本稿では,異なるプラットフォームで実現可能なMLモデルを生成するGANを用いた条件付きニューラルネットワーク探索手法を提案する。
  論文  参考訳（メタデータ） (2020-06-06T20:39:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。