論文の概要: Dimension reduction in recurrent networks by canonicalization

• arxiv url: http://arxiv.org/abs/2007.12141v2
• Date: Wed, 11 Aug 2021 10:03:10 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-07 11:45:11.921181
• Title: Dimension reduction in recurrent networks by canonicalization
• Title（参考訳）: 正準化によるリカレントネットワークの次元減少
• Authors: Lyudmila Grigoryeva and Juan-Pablo Ortega
• Abstract要約: 本稿では、半無限入力に対応するために、古典的な正準状態空間実現の概念を適用する。 いわゆる入力忘れ特性は、正準実現の存在と一意性(系同型まで)を保証する鍵仮説として同定される。 再生カーネルヒルベルト空間(RKHS)を用いた暗黙還元の概念を導入し、線形リードアウトを持つシステムでは、縮小された空間を計算せずに次元縮小を実現する。
• 参考スコア（独自算出の注目度）: 8.071506311915396
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Many recurrent neural network machine learning paradigms can be formulated using state-space representations. The classical notion of canonical state-space realization is adapted in this paper to accommodate semi-infinite inputs so that it can be used as a dimension reduction tool in the recurrent networks setup. The so-called input forgetting property is identified as the key hypothesis that guarantees the existence and uniqueness (up to system isomorphisms) of canonical realizations for causal and time-invariant input/output systems with semi-infinite inputs. Additionally, the notion of optimal reduction coming from the theory of symmetric Hamiltonian systems is implemented in our setup to construct canonical realizations out of input forgetting but not necessarily canonical ones. These two procedures are studied in detail in the framework of linear fading memory input/output systems. Finally, the notion of implicit reduction using reproducing kernel Hilbert spaces (RKHS) is introduced which allows, for systems with linear readouts, to achieve dimension reduction without the need to actually compute the reduced spaces introduced in the first part of the paper.
• Abstract（参考訳）: 多くのリカレントニューラルネットワーク機械学習パラダイムは状態空間表現を使って定式化することができる。 本論文では、半無限入力に対応するために、標準状態空間実現という古典的な概念を適用し、再帰的ネットワーク設定における次元削減ツールとして使用できる。 いわゆる入力忘れる性質は、半無限の入力を持つ因果的および時間不変の入出力系に対する正準現実化の存在と一意性(システム同型まで)を保証する鍵仮説として同定される。 さらに、対称ハミルトニアン系の理論から生じる最適還元の概念は、入力を忘れることから正準実現を構築するために我々の設定で実装されるが、必ずしも正準的ではない。 これら2つの手順は、線形フェーディングメモリ入出力システムの枠組みで詳細に研究されている。 最後に、再生カーネルヒルベルト空間(RKHS)を用いた暗黙の縮小の概念を導入し、線形読み出しを持つシステムでは、論文の最初の部分で導入された縮小された空間を実際に計算することなく次元の縮小を実現する。

関連論文リスト

• Cons-training tensor networks [2.8834278113855896]
  テンソルネットワークと呼ばれる新しいファミリーを導入する。 textitconstrained matrix product state (MPS) これらのネットワークは、不等式を含むちょうど任意の離散線型制約をスパースブロック構造に含んでいる。 これらのネットワークは、特に、可能空間上で厳密にサポートされた分散をモデル化するために調整されている。
  論文  参考訳（メタデータ） (2024-05-15T00:13:18Z)
• Data-Free Learning of Reduced-Order Kinematics [54.85157881323157]
  画像が多様だが低エネルギーな構成のサブ多様体をパラメータ化する低次元マップを作成する。 サブスペースを低次元潜在ベクトルを全構成空間にマッピングするニューラルネットワークとして表現する。 この定式化は、非常に一般的な物理系において有効である。
  論文  参考訳（メタデータ） (2023-05-05T20:53:36Z)
• Learning Low Dimensional State Spaces with Overparameterized Recurrent Neural Nets [57.06026574261203]
  我々は、長期記憶をモデル化できる低次元状態空間を学習するための理論的証拠を提供する。 実験は、線形RNNと非線形RNNの両方で低次元状態空間を学習することで、我々の理論を裏付けるものである。
  論文  参考訳（メタデータ） (2022-10-25T14:45:15Z)
• Global convergence of ResNets: From finite to infinite width using linear parameterization [0.0]
  残差ブロックが非線形でありながら線形パラメトリゼーションを有する残差ネットワーク(Residual Networks, ResNets)について検討する。 この極限において、局所的なポリアック・ロジャシエヴィチの不等式を証明し、遅延状態を取得する。 私たちの分析は実用的で定量化されたレシピにつながります。
  論文  参考訳（メタデータ） (2021-12-10T13:38:08Z)
• Improving Metric Dimensionality Reduction with Distributed Topology [68.8204255655161]
  DIPOLEは、局所的、計量的項と大域的、位相的項の両方で損失関数を最小化し、初期埋め込みを補正する次元推論後処理ステップである。 DIPOLEは、UMAP、t-SNE、Isomapといった一般的な手法よりも多くの一般的なデータセットで優れています。
  論文  参考訳（メタデータ） (2021-06-14T17:19:44Z)
• Improved Initialization of State-Space Artificial Neural Networks [0.0]
  ブラックボックスの非線形状態空間モデルの同定は、状態方程式と出力方程式の柔軟な表現を必要とする。 本稿では,リカレントニューラルネットワークとして表現される非線形状態空間モデルに対する改良手法を提案する。
  論文  参考訳（メタデータ） (2021-03-26T15:16:08Z)
• Dimension Free Generalization Bounds for Non Linear Metric Learning [61.193693608166114]
  我々はスパース体制と非スパース体制という2つの体制に対して一様一般化境界を提供する。 解の異なる新しい性質を頼りにすることで、次元自由一般化保証を提供することができることを示す。
  論文  参考訳（メタデータ） (2021-02-07T14:47:00Z)
• Certifying Incremental Quadratic Constraints for Neural Networks via Convex Optimization [2.388501293246858]
  我々は,関心領域上のニューラルネットワークのマップ上で漸進的二次的制約を証明するための凸プログラムを提案する。 証明書は、(ローカル)Lipschitz連続性、片側Lipschitz連続性、反転性、および収縮などのいくつかの有用な特性をキャプチャできます。
  論文  参考訳（メタデータ） (2020-12-10T21:15:00Z)
• On dissipative symplectic integration with applications to gradient-based optimization [77.34726150561087]
  本稿では,離散化を体系的に実現する幾何学的枠組みを提案する。 我々は、シンプレクティックな非保守的、特に散逸的なハミルトン系への一般化が、制御された誤差まで収束率を維持することができることを示す。
  論文  参考訳（メタデータ） (2020-04-15T00:36:49Z)
• Neural Operator: Graph Kernel Network for Partial Differential Equations [57.90284928158383]
  この作業はニューラルネットワークを一般化し、無限次元空間(演算子)間の写像を学習できるようにすることである。 非線形活性化関数と積分作用素のクラスを構成することにより、無限次元写像の近似を定式化する。 実験により,提案したグラフカーネルネットワークには所望の特性があり,最先端技術と比較した場合の競合性能を示すことが確認された。
  論文  参考訳（メタデータ） (2020-03-07T01:56:20Z)
• Why Learning of Large-Scale Neural Networks Behaves Like Convex Optimization [6.852561400929072]
  非スケール最適化問題の解法として単純な勾配降下法が成功した理由を説明するための理論的研究について述べる。 NN学習の目的関数が標準モデル空間の凸であることを示す。
  論文  参考訳（メタデータ） (2019-03-06T02:21:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。