論文の概要: Geometric sparsification in recurrent neural networks

• arxiv url: http://arxiv.org/abs/2406.06290v2
• Date: Fri, 13 Dec 2024 18:12:02 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-16 15:00:19.320489
• Title: Geometric sparsification in recurrent neural networks
• Title（参考訳）: リカレントニューラルネットワークにおける幾何学的スパーシフィケーション
• Authors: Wyatt Mackey, Ioannis Schizas, Jared Deighton, David L. Boothe, Jr., Vasileios Maroulas,
• Abstract要約: 大きなニューラルモデルを実行する際の計算コストを改善するための一般的なテクニックはスパース化である。 本稿では,リカレントニューラルネット(RNN)のスペーサー化手法を提案する。 変調正則化はより安定なリカレントニューラルネットを誘導し、90%以上の高忠実度モデルを実現することを示す。
• 参考スコア（独自算出の注目度）: 0.8851237804522972
• License:
• Abstract: A common technique for ameliorating the computational costs of running large neural models is sparsification, or the pruning of neural connections during training. Sparse models are capable of maintaining the high accuracy of state of the art models, while functioning at the cost of more parsimonious models. The structures which underlie sparse architectures are, however, poorly understood and not consistent between differently trained models and sparsification schemes. In this paper, we propose a new technique for sparsification of recurrent neural nets (RNNs), called moduli regularization, in combination with magnitude pruning. Moduli regularization leverages the dynamical system induced by the recurrent structure to induce a geometric relationship between neurons in the hidden state of the RNN. By making our regularizing term explicitly geometric, we provide the first, to our knowledge, a priori description of the desired sparse architecture of our neural net, as well as explicit end-to-end learning of RNN geometry. We verify the effectiveness of our scheme under diverse conditions, testing in navigation, natural language processing, and addition RNNs. Navigation is a structurally geometric task, for which there are known moduli spaces, and we show that regularization can be used to reach 90% sparsity while maintaining model performance only when coefficients are chosen in accordance with a suitable moduli space. Natural language processing and addition, however, have no known moduli space in which computations are performed. Nevertheless, we show that moduli regularization induces more stable recurrent neural nets, and achieves high fidelity models above 90% sparsity.
• Abstract（参考訳）: 大きなニューラルモデルを実行する際の計算コストを改善するための一般的なテクニックは、スパシフィケーション(sparsification)、あるいはトレーニング中のニューラル接続の切断である。 スパースモデルは、より類似したモデルのコストで機能しながら、最先端のモデルの精度を維持することができる。 しかし、スパースアーキテクチャの根底にある構造は、よく理解されておらず、異なる訓練されたモデルとスパースフィケーションスキームの間には整合性がない。 本稿では,リカレントニューラルネット(RNN)のスペーサー化手法を提案する。 モジュラー正則化は、リカレント構造によって誘導される力学系を利用して、RNNの隠れ状態にあるニューロン間の幾何学的関係を誘導する。 正規化項を明示的に幾何学的にすることで、まず第一に、ニューラルネットワークの所望のスパースアーキテクチャの事前記述と、RNN幾何学の明示的なエンドツーエンド学習を提供する。 本手法の有効性を,ナビゲーション,自然言語処理,追加RNNなど様々な条件下で検証する。 ナビゲーションは、既知のモジュライ空間が存在する構造的幾何学的タスクであり、適切なモジュライ空間に応じて係数が選択された場合にのみ、モデル性能を維持しながら、正規化を90%の範囲に到達させることができることを示す。 しかし、自然言語処理と追加は、計算を行うための既知のモジュライ空間を持たない。 それにもかかわらず、モジュラー正則化はより安定なリカレントニューラルネットを誘導し、90%以上の高忠実度モデルを達成することを示す。

関連論文リスト

• Mathematical Formalism for Memory Compression in Selective State Space Models [0.0]
  状態空間モデル(SSM)は、シーケンスデータの長距離依存性をモデル化するための強力なフレームワークとして登場した。 我々は、選択状態空間モデルにおけるメモリ圧縮を理解するための厳密な数学的枠組みを開発する。 選択型SSMは従来のRNNモデルと比較してメモリ効率と処理速度を大幅に向上することを示した。
  論文  参考訳（メタデータ） (2024-10-04T05:45:48Z)
• CGNSDE: Conditional Gaussian Neural Stochastic Differential Equation for Modeling Complex Systems and Data Assimilation [1.4322470793889193]
  条件付きニューラル微分方程式(CGNSDE)と呼ばれる新しい知識ベースおよび機械学習ハイブリッドモデリング手法を開発した。 標準的なニューラルネットワーク予測モデルとは対照的に、CGNSDEは前方予測タスクと逆状態推定問題の両方に効果的に取り組むように設計されている。
  論文  参考訳（メタデータ） (2024-04-10T05:32:03Z)
• Systematic construction of continuous-time neural networks for linear dynamical systems [0.0]
  本稿では,動的システムのサブクラスをモデル化するためのニューラルネットワーク構築の体系的アプローチについて論じる。 我々は、各ニューロンの出力が1次または2次常微分方程式(ODE)の解として連続的に進化する連続時間ニューラルネットワークの変種を用いる。 データからネットワークアーキテクチャとパラメータを導出する代わりに、所定のLTIシステムから直接スパースアーキテクチャとネットワークパラメータを計算するための勾配のないアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2024-03-24T16:16:41Z)
• Graph Neural Networks for Learning Equivariant Representations of Neural Networks [55.04145324152541]
  本稿では,ニューラルネットワークをパラメータの計算グラフとして表現することを提案する。 我々のアプローチは、ニューラルネットワークグラフを多種多様なアーキテクチャでエンコードする単一モデルを可能にする。 本稿では,暗黙的ニューラル表現の分類や編集など,幅広いタスクにおける本手法の有効性を示す。
  論文  参考訳（メタデータ） (2024-03-18T18:01:01Z)
• Model-Based Control with Sparse Neural Dynamics [23.961218902837807]
  モデル学習と予測制御を統合した新しいフレームワークを提案する。 我々は,既存の最先端手法よりもクローズドループ性能を向上できることを示す。
  論文  参考訳（メタデータ） (2023-12-20T06:25:02Z)
• How neural networks learn to classify chaotic time series [77.34726150561087]
  本研究では,通常の逆カオス時系列を分類するために訓練されたニューラルネットワークの内部動作について検討する。 入力周期性とアクティベーション周期の関係は,LKCNNモデルの性能向上の鍵となる。
  論文  参考訳（メタデータ） (2023-06-04T08:53:27Z)
• ConCerNet: A Contrastive Learning Based Framework for Automated Conservation Law Discovery and Trustworthy Dynamical System Prediction [82.81767856234956]
  本稿では,DNNに基づく動的モデリングの信頼性を向上させるために,ConCerNetという新しい学習フレームワークを提案する。 本手法は, 座標誤差と保存量の両方において, ベースラインニューラルネットワークよりも一貫して優れていることを示す。
  論文  参考訳（メタデータ） (2023-02-11T21:07:30Z)
• Sparse Flows: Pruning Continuous-depth Models [107.98191032466544]
  生成モデルにおいて,プルーニングによりニューラルネットワークの一般化が向上することを示す。 また、プルーニングは、元のネットワークに比べて最大98%少ないパラメータで、精度を損なうことなく、最小かつ効率的なニューラルODE表現を見出すことを示した。
  論文  参考訳（メタデータ） (2021-06-24T01:40:17Z)
• Accelerating Neural ODEs Using Model Order Reduction [0.0]
  本稿では,ニューラルネットワークの圧縮と高速化に数学的モデルオーダー削減法が利用できることを示す。 我々は,ニューラルネットワークの層として必要な部分空間投影と操作を統合するニューラルODEを開発することで,新しい圧縮手法を実装した。
  論文  参考訳（メタデータ） (2021-05-28T19:27:09Z)
• Modeling from Features: a Mean-field Framework for Over-parameterized Deep Neural Networks [54.27962244835622]
  本稿では、オーバーパラメータ化ディープニューラルネットワーク(DNN)のための新しい平均場フレームワークを提案する。 このフレームワークでは、DNNは連続的な極限におけるその特徴に対する確率測度と関数によって表現される。 本稿では、標準DNNとResidual Network(Res-Net)アーキテクチャを通してフレームワークを説明する。
  論文  参考訳（メタデータ） (2020-07-03T01:37:16Z)
• Provably Efficient Neural Estimation of Structural Equation Model: An Adversarial Approach [144.21892195917758]
  一般化構造方程式モデル(SEM)のクラスにおける推定について検討する。 線形作用素方程式をmin-maxゲームとして定式化し、ニューラルネットワーク(NN)でパラメータ化し、勾配勾配を用いてニューラルネットワークのパラメータを学習する。 提案手法は,サンプル分割を必要とせず,確固とした収束性を持つNNをベースとしたSEMの抽出可能な推定手順を初めて提供する。
  論文  参考訳（メタデータ） (2020-07-02T17:55:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。