論文の概要: Simple Cycle Reservoirs are Universal

• arxiv url: http://arxiv.org/abs/2308.10793v1
• Date: Mon, 21 Aug 2023 15:35:59 GMT
• ステータス: 処理完了
• システム内更新日: 2023-08-22 12:49:10.701253
• Title: Simple Cycle Reservoirs are Universal
• Title（参考訳）: 単純なサイクル貯水池は
• Authors: Boyu Li, Robert Simon Fong, Peter Ti\v{n}o
• Abstract要約: 貯留層モデル(Reservoir model)は、トレーニング不能な入力と動的結合重みを固定したリカレントニューラルネットワークのサブクラスを形成する。 制限のない線形貯水池系を普遍的に近似できることを示す。
• 参考スコア（独自算出の注目度）: 0.4028503203417233
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Reservoir computation models form a subclass of recurrent neural networks with fixed non-trainable input and dynamic coupling weights. Only the static readout from the state space (reservoir) is trainable, thus avoiding the known problems with propagation of gradient information backwards through time. Reservoir models have been successfully applied in a variety of tasks and were shown to be universal approximators of time-invariant fading memory dynamic filters under various settings. Simple cycle reservoirs (SCR) have been suggested as severely restricted reservoir architecture, with equal weight ring connectivity of the reservoir units and input-to-reservoir weights of binary nature with the same absolute value. Such architectures are well suited for hardware implementations without performance degradation in many practical tasks. In this contribution, we rigorously study the expressive power of SCR in the complex domain and show that they are capable of universal approximation of any unrestricted linear reservoir system (with continuous readout) and hence any time-invariant fading memory filter over uniformly bounded input streams.
• Abstract（参考訳）: 貯水池計算モデルは、固定された非訓練可能な入力と動的結合重みを持つリカレントニューラルネットワークのサブクラスを形成する。 状態空間(Reservoir)からの静的読み込みのみのトレーニングが可能であり、時間を通して勾配情報の伝播に関する既知の問題を回避することができる。 貯留層モデルは様々なタスクにうまく適用され、様々な環境下での時間不変のダイイングメモリダイナミックフィルタの普遍的な近似器であることが示されている。 単純サイクル貯水池 (simple cycle reservoirs, scr) は厳格に制限された貯水池構造として提案されており、貯水池単位の重みリング接続と、同じ絶対値の2次自然の入出力から保存までの重みがある。 このようなアーキテクチャは、多くの実用的なタスクで性能が低下しないハードウェア実装に適している。 本研究では、複素領域におけるSCRの表現力について厳密に研究し、非制限線形貯水池系を(連続的な読み出しで)普遍的に近似できることを示し、従って一様有界な入力ストリーム上での時間不変フェーディングメモリフィルタについて述べる。

関連論文リスト

• Universality of Real Minimal Complexity Reservoir [0.358439716487063]
  貯留層計算(Reservoir Computing, RC)モデルは、その固定された非トレーニング可能な入力層と動的に結合された貯留層によって区別される。 Simple Cycle Reservoirs (SCR) は、制約の高い貯水池構造を持つRCモデルの特殊なクラスである。 実領域で動作するSCRは、減少するメモリを持つ時間不変の動的フィルタの普遍的な近似器である。
  論文  参考訳（メタデータ） (2024-08-15T10:44:33Z)
• A Universal Framework for Quantum Dissipation:Minimally Extended State Space and Exact Time-Local Dynamics [5.221249829454763]
  オープン量子系の力学は、最小の拡張状態空間で定式化される。 時間局所進化方程式は、混合リウヴィル・フォック空間で生成される。
  論文  参考訳（メタデータ） (2023-07-31T15:57:10Z)
• Accumulative reservoir construction: Bridging continuously relaxed and periodically refreshed extended reservoirs [0.0]
  本稿では, 拡張貯水池の部分的な更新を連続的に行う貯水池構築について紹介する。 これは、継続的(Lindblad)緩和と、最近導入された定期的なリフレッシュアプローチの両方のための統一されたフレームワークを提供する。 テンソルネットワークを含む,動作範囲がエラーや計算コストにどのように影響するかを示す。
  論文  参考訳（メタデータ） (2022-10-10T17:59:58Z)
• Effective Invertible Arbitrary Image Rescaling [77.46732646918936]
  Invertible Neural Networks (INN)は、ダウンスケーリングとアップスケーリングのサイクルを共同で最適化することにより、アップスケーリングの精度を大幅に向上させることができる。 本研究の1つのモデルのみをトレーニングすることにより、任意の画像再スケーリングを実現するために、単純で効果的な非可逆的再スケーリングネットワーク(IARN)を提案する。 LR出力の知覚品質を損なうことなく、双方向任意再スケーリングにおいて最先端(SOTA)性能を実現する。
  論文  参考訳（メタデータ） (2022-09-26T22:22:30Z)
• Evolutionary Echo State Network: evolving reservoirs in the Fourier space [1.7658686315825685]
  エコー状態ネットワーク(英語: Echo State Network, ESN)は、多数の隠れ隠れ重みを持つリカレントニューラルネットワークのクラスである(いわゆる貯水池)。 本研究では、フーリエ空間の貯水量を表すESN型の新しい計算モデルを提案し、周波数領域に遺伝的アルゴリズムを適用することで、これらの重みを微調整する。
  論文  参考訳（メタデータ） (2022-06-10T08:59:40Z)
• Neural Implicit Flow: a mesh-agnostic dimensionality reduction paradigm of spatio-temporal data [4.996878640124385]
  大規模・パラメトリック・時空間データに対してメッシュに依存しない低ランクな表現を可能にする,NIF(Neural Implicit Flow)と呼ばれる汎用フレームワークを提案する。 NIFは、2つの修正された多層パーセプトロン(i)ShapeNetで構成されており、これは空間的複雑さ(i)ShapeNetを分離し、表現し、パラメトリック依存関係、時間、センサー測定を含む他の入力測定を考慮に入れている。 パラメトリックサロゲートモデリングにおけるNIFの有用性を実証し、複雑な時空間力学の解釈可能な表現と圧縮を可能にし、多空間時空間の効率的な一般化を実現し、スパースの性能を改善した。
  論文  参考訳（メタデータ） (2022-04-07T05:02:58Z)
• Message Passing Neural PDE Solvers [60.77761603258397]
  我々は、バックプロップ最適化されたニューラル関数近似器で、グラフのアリーデザインのコンポーネントを置き換えるニューラルメッセージパッシング解決器を構築した。 本稿では, 有限差分, 有限体積, WENOスキームなどの古典的手法を表現的に含んでいることを示す。 本研究では, 異なる領域のトポロジ, 方程式パラメータ, 離散化などにおける高速, 安定, 高精度な性能を, 1次元, 2次元で検証する。
  論文  参考訳（メタデータ） (2022-02-07T17:47:46Z)
• Compressing Deep ODE-Nets using Basis Function Expansions [105.05435207079759]
  重みの定式化を基底関数の線形結合を用いた連続深度関数とみなす。 この観点では、ほぼ最先端の性能を維持しながら、再トレーニングすることなく、ベースの変化によって重みを圧縮することができる。 これにより、推論時間とメモリフットプリントの両方が削減され、計算環境間の高速で厳密な適応が可能となる。
  論文  参考訳（メタデータ） (2021-06-21T03:04:51Z)
• Robust Implicit Networks via Non-Euclidean Contractions [63.91638306025768]
  暗黙のニューラルネットワークは、精度の向上とメモリ消費の大幅な削減を示す。 彼らは不利な姿勢と収束の不安定さに悩まされる。 本論文は,ニューラルネットワークを高機能かつ頑健に設計するための新しい枠組みを提供する。
  論文  参考訳（メタデータ） (2021-06-06T18:05:02Z)
• Manifold Regularized Dynamic Network Pruning [102.24146031250034]
  本稿では,全インスタンスの多様体情報をプルーンドネットワークの空間に埋め込むことにより,冗長フィルタを動的に除去する新しいパラダイムを提案する。 提案手法の有効性をいくつかのベンチマークで検証し,精度と計算コストの両面で優れた性能を示す。
  論文  参考訳（メタデータ） (2021-03-10T03:59:03Z)
• Self Normalizing Flows [65.73510214694987]
  本稿では,各層における学習された近似逆数により,勾配の高価な項を置き換えることで,フローの正規化を訓練するための柔軟なフレームワークを提案する。 これにより、各レイヤの正確な更新の計算複雑性が$mathcalO(D3)$から$mathcalO(D2)$に削減される。 実験により,これらのモデルは非常に安定であり,正確な勾配値と類似したデータ可能性値に最適化可能であることが示された。
  論文  参考訳（メタデータ） (2020-11-14T09:51:51Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。