論文の概要: R2DN: Scalable Parameterization of Contracting and Lipschitz Recurrent Deep Networks

• arxiv url: http://arxiv.org/abs/2504.01250v1
• Date: Tue, 01 Apr 2025 23:37:43 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-04-03 13:17:57.190398
• Title: R2DN: Scalable Parameterization of Contracting and Lipschitz Recurrent Deep Networks
• Title（参考訳）: R2DN:Lipschitz Recurrent Deep NetworksとContractingのスケーラブルパラメータ化
• Authors: Nicholas H. Barbara, Ruigang Wang, Ian R. Manchester,
• Abstract要約: Robust Recurrent Deep Network(R2DN)は、マシンラーニングとデータ駆動制御のための堅牢なリカレントニューラルネットワークのスケーラブルなパラメータ化である。 線形時間不変系と1-LipschitzディープフィードフォワードネットワークのフィードバックとしてR2DNを構築する。 トレーニングと推論はどちらも、同じようなテストセットのパフォーマンスで桁違いに高速で、モデル表現性に関してトレーニングと推論の時間がより好適にスケールしていることが分かりました。
• 参考スコア（独自算出の注目度）: 1.1060425537315086
• License:
• Abstract: This paper presents the Robust Recurrent Deep Network (R2DN), a scalable parameterization of robust recurrent neural networks for machine learning and data-driven control. We construct R2DNs as a feedback interconnection of a linear time-invariant system and a 1-Lipschitz deep feedforward network, and directly parameterize the weights so that our models are stable (contracting) and robust to small input perturbations (Lipschitz) by design. Our parameterization uses a structure similar to the previously-proposed recurrent equilibrium networks (RENs), but without the requirement to iteratively solve an equilibrium layer at each time-step. This speeds up model evaluation and backpropagation on GPUs, and makes it computationally feasible to scale up the network size, batch size, and input sequence length in comparison to RENs. We compare R2DNs to RENs on three representative problems in nonlinear system identification, observer design, and learning-based feedback control and find that training and inference are both up to an order of magnitude faster with similar test set performance, and that training/inference times scale more favorably with respect to model expressivity.
• Abstract（参考訳）: 本稿では、ロバスト・リカレント・ディープ・ネットワーク(R2DN)について、機械学習とデータ駆動制御のためのロバスト・リカレント・ニューラルネットのスケーラブルなパラメータ化について述べる。 線形時間不変系と1-Lipschitzディープフィードフォワードネットワークのフィードバック相互接続としてR2DNを構築し,その重み付けを直接パラメータ化して,我々のモデルが安定で,小さな入力摂動(Lipschitz)に対して設計により堅牢であるようにした。 我々のパラメータ化は、以前提案されたリカレント平衡ネットワーク(REN)に類似した構造を用いるが、各時点における平衡層を反復的に解決する必要がない。 これにより、GPU上でのモデル評価とバックプロパゲーションを高速化し、RENと比較してネットワークサイズ、バッチサイズ、入力シーケンス長をスケールアップすることが可能となる。 非線形システム同定, オブザーバ設計, 学習に基づくフィードバック制御における3つの代表的な問題について, R2DNsとRENsを比較し, トレーニングと推論が同等なテストセットの性能で桁違いに高速であること, モデル表現性に関してトレーニング/推論時間がより好適にスケールできることを見出した。

関連論文リスト

• Parallel Neural Computing for Scene Understanding from LiDAR Perception in Autonomous Racing [0.0]
  従来のシーケンシャルネットワークアプローチは、自律エージェントのリアルタイム知識と意思決定要求を満たすのに苦労する可能性がある。 本稿では,真のハードウェア対応並列処理が可能な高度なモデルを開発するための,新しいベースラインアーキテクチャを提案する。 提案モデルでは,LiDARセンサからの生の3Dポイントクラウドデータを入力として,両デバイスの2D Bird’s Eye View Mapに変換する。
  論文  参考訳（メタデータ） (2024-12-24T04:56:32Z)
• Learning Load Balancing with GNN in MPTCP-Enabled Heterogeneous Networks [13.178956651532213]
  本稿では,MP TCP 対応 HetNet の LB 問題に対処するグラフニューラルネットワーク (GNN) モデルを提案する。 従来のディープニューラルネットワーク(DNN)と比較して、提案したGNNベースのモデルには2つの重要な長所がある。
  論文  参考訳（メタデータ） (2024-10-22T15:49:53Z)
• Enhancing lattice kinetic schemes for fluid dynamics with Lattice-Equivariant Neural Networks [79.16635054977068]
  我々はLattice-Equivariant Neural Networks (LENNs)と呼ばれる新しい同変ニューラルネットワークのクラスを提案する。 我々の手法は、ニューラルネットワークに基づく代理モデルLattice Boltzmann衝突作用素の学習を目的とした、最近導入されたフレームワーク内で開発されている。 本研究は,実世界のシミュレーションにおける機械学習強化Lattice Boltzmann CFDの実用化に向けて展開する。
  論文  参考訳（メタデータ） (2024-05-22T17:23:15Z)
• Learning to Learn with Generative Models of Neural Network Checkpoints [71.06722933442956]
  ニューラルネットワークのチェックポイントのデータセットを構築し,パラメータの生成モデルをトレーニングする。 提案手法は,幅広い損失プロンプトに対するパラメータの生成に成功している。 我々は、教師付きおよび強化学習における異なるニューラルネットワークアーキテクチャとタスクに本手法を適用した。
  論文  参考訳（メタデータ） (2022-09-26T17:59:58Z)
• SVNet: Where SO(3) Equivariance Meets Binarization on Point Cloud Representation [65.4396959244269]
  本論文は,3次元学習アーキテクチャを構築するための一般的なフレームワークを設計することによる課題に対処する。 提案手法はPointNetやDGCNNといった一般的なバックボーンに適用できる。 ModelNet40、ShapeNet、および実世界のデータセットであるScanObjectNNの実験では、この手法が効率、回転、精度の間の大きなトレードオフを達成することを示した。
  論文  参考訳（メタデータ） (2022-09-13T12:12:19Z)
• CS-Rep: Making Speaker Verification Networks Embracing Re-parameterization [27.38202134344989]
  本研究では、モデルの推論速度と検証精度を高めるために、CS-Rep(クロスシーケンス再パラメータ化)を提案する。 Rep-TDNNは実際の推論速度を50%向上させ、EERを10%削減する。
  論文  参考訳（メタデータ） (2021-10-26T08:00:03Z)
• The Heterogeneity Hypothesis: Finding Layer-Wise Differentiated Network Architectures [179.66117325866585]
  我々は、通常見過ごされる設計空間、すなわち事前定義されたネットワークのチャネル構成を調整することを検討する。 この調整は、拡張ベースラインネットワークを縮小することで実現でき、性能が向上する。 画像分類、視覚追跡、画像復元のための様々なネットワークとデータセットで実験を行う。
  論文  参考訳（メタデータ） (2020-06-29T17:59:26Z)
• Compressing deep neural networks on FPGAs to binary and ternary precision with HLS4ML [13.325670094073383]
  本稿では, hls4mlライブラリにおける2次ニューラルネットワークと3次ニューラルネットワークの実装について述べる。 モデル精度と資源消費のトレードオフについて論じる。 二分法と三分法の実装は、FPGAリソースを劇的に減らしながら高い精度の実装と類似した性能を持つ。
  論文  参考訳（メタデータ） (2020-03-11T10:46:51Z)
• Toward fast and accurate human pose estimation via soft-gated skip connections [97.06882200076096]
  本稿では,高精度かつ高効率な人間のポーズ推定について述べる。 我々は、最先端技術よりも精度と効率を両立させる文脈において、この設計選択を再分析する。 本モデルでは,MPII と LSP のデータセットから最先端の結果が得られる。
  論文  参考訳（メタデータ） (2020-02-25T18:51:51Z)
• Large-Scale Gradient-Free Deep Learning with Recursive Local Representation Alignment [84.57874289554839]
  大規模データセット上でディープニューラルネットワークをトレーニングするには、重要なハードウェアリソースが必要である。 これらのネットワークをトレーニングするためのワークホースであるバックプロパゲーションは、本質的に並列化が難しいシーケンシャルなプロセスである。 本稿では、深層ネットワークのトレーニングに使用できるバックプロップに代わる、神経生物学的に有望な代替手段を提案する。
  論文  参考訳（メタデータ） (2020-02-10T16:20:02Z)
• Volterra Neural Networks (VNNs) [24.12314339259243]
  本稿では,畳み込みニューラルネットワークの複雑性を低減するために,Volterraフィルタにインスパイアされたネットワークアーキテクチャを提案する。 本稿では,Volterra Neural Network(VNN)の並列実装とその性能について述べる。 提案手法は,動作認識のためのUCF-101およびHMDB-51データセットを用いて評価し,CNN手法よりも優れていた。
  論文  参考訳（メタデータ） (2019-10-21T19:22:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。