論文の概要: Analyzing Echo-state Networks Using Fractal Dimension

• arxiv url: http://arxiv.org/abs/2205.09348v2
• Date: Thu, 26 May 2022 17:00:06 GMT
• ステータス: 処理完了
• システム内更新日: 2022-06-27 09:00:29.407166
• Title: Analyzing Echo-state Networks Using Fractal Dimension
• Title（参考訳）: フラクタル次元を用いたエコー状態ネットワークの解析
• Authors: Norbert Michael Mayer, Oliver Obst
• Abstract要約: 入力シーケンスが隠れ状態表現のフラクタルパターンとして現れるという観測に基づいて構築する。 これらのパターンはフラクタル次元を持ち、貯水池の単位数よりも低い。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: This work joins aspects of reservoir optimization, information-theoretic optimal encoding, and at its center fractal analysis. We build on the observation that, due to the recursive nature of recurrent neural networks, input sequences appear as fractal patterns in their hidden state representation. These patterns have a fractal dimension that is lower than the number of units in the reservoir. We show potential usage of this fractal dimension with regard to optimization of recurrent neural network initialization. We connect the idea of `ideal' reservoirs to lossless optimal encoding using arithmetic encoders. Our investigation suggests that the fractal dimension of the mapping from input to hidden state shall be close to the number of units in the network. This connection between fractal dimension and network connectivity is an interesting new direction for recurrent neural network initialization and reservoir computing.
• Abstract（参考訳）: この研究は貯水池の最適化、情報理論の最適符号化、および中心フラクタル解析の側面を構成する。 我々は、繰り返しニューラルネットワークの再帰的な性質から、入力シーケンスが隠れ状態表現のフラクタルパターンとして現れるという観察に基づいて構築する。 これらのパターンは、貯水池の単位数よりも低いフラクタル次元を持つ。 繰り返しニューラルネットワークの初期化の最適化に関して,このフラクタル次元の可能性を示す。 我々は「理想的」貯水池の概念を算術エンコーダを用いた損失のない最適符号化に結びつける。 本研究は,入力状態から隠れ状態へのマッピングのフラクタル次元が,ネットワーク内のユニット数に近いことを示唆する。 このフラクタル次元とネットワーク接続の接続は、リカレントニューラルネットワークの初期化と貯留コンピューティングのための興味深い新しい方向である。

関連論文リスト

• On The Potential of The Fractal Geometry and The CNNs Ability to Encode it [1.7311053765541484]
  フラクタル次元は、物体の複雑さの統計指標を提供する。 いくつかの分類タスクでは有用であるが、フラクタル次元は深層学習アプリケーションでは未探索である。 フラクタル特性の浅いネットワークをトレーニングすることで、生データでトレーニングしたディープネットワークに匹敵する性能が得られることを示す。
  論文  参考訳（メタデータ） (2024-01-07T15:22:56Z)
• Bayesian Interpolation with Deep Linear Networks [92.1721532941863]
  ニューラルネットワークの深さ、幅、データセットサイズがモデル品質にどう影響するかを特徴付けることは、ディープラーニング理論における中心的な問題である。 線形ネットワークが無限深度で証明可能な最適予測を行うことを示す。 また、データに依存しない先行法により、広い線形ネットワークにおけるベイズ模型の証拠は無限の深さで最大化されることを示す。
  論文  参考訳（メタデータ） (2022-12-29T20:57:46Z)
• Learning Neural Volumetric Field for Point Cloud Geometry Compression [13.691147541041804]
  我々は、ニューラルネットワークを学習することで、与えられた点雲の幾何学をコーディングすることを提案する。 空間全体を小さな立方体に分割し,各空でない立方体をニューラルネットワークと入力潜時符号で表現する。 ネットワークは、空間的および時間的冗長性を利用するために、1つのフレームまたは複数のフレームで全ての立方体間で共有される。
  論文  参考訳（メタデータ） (2022-12-11T19:55:24Z)
• Dense Hebbian neural networks: a replica symmetric picture of supervised learning [4.133728123207142]
  我々は教師が指導する高密度で連想的なニューラルネットについて検討する。 スピングラスの統計力学およびモンテカルロシミュレーションによる数値計算能力の解析を行った。
  論文  参考訳（メタデータ） (2022-11-25T13:37:47Z)
• NAF: Neural Attenuation Fields for Sparse-View CBCT Reconstruction [79.13750275141139]
  本稿では,スパースビューCBCT再構成のための新規かつ高速な自己教師型ソリューションを提案する。 所望の減衰係数は、3次元空間座標の連続関数として表現され、完全に接続されたディープニューラルネットワークによってパラメータ化される。 ハッシュ符号化を含む学習ベースのエンコーダが採用され、ネットワークが高周波の詳細をキャプチャするのに役立つ。
  論文  参考訳（メタデータ） (2022-09-29T04:06:00Z)
• A singular Riemannian geometry approach to Deep Neural Networks II. Reconstruction of 1-D equivalence classes [78.120734120667]
  入力空間における出力多様体内の点の事前像を構築する。 我々は、n-次元実空間から(n-1)-次元実空間へのニューラルネットワークマップの場合の簡易性に焦点をあてる。
  論文  参考訳（メタデータ） (2021-12-17T11:47:45Z)
• A Sparse Coding Interpretation of Neural Networks and Theoretical Implications [0.0]
  深層畳み込みニューラルネットワークは、様々なコンピュータビジョンタスクにおいて前例のない性能を達成した。 本稿では、ReLUアクティベーションを持つニューラルネットワークのスパース符号化解釈を提案する。 正規化やプーリングなしに完全な畳み込みニューラルネットワークを導出する。
  論文  参考訳（メタデータ） (2021-08-14T21:54:47Z)
• Towards Efficient Graph Convolutional Networks for Point Cloud Handling [181.59146413326056]
  ポイントクラウド上で学習するためのグラフ畳み込みネットワーク(GCN)の計算効率の向上を目指します。 一連の実験により、最適化されたネットワークは計算複雑性を減らし、メモリ消費を減らし、推論速度を加速した。
  論文  参考訳（メタデータ） (2021-04-12T17:59:16Z)
• A Convergence Theory Towards Practical Over-parameterized Deep Neural Networks [56.084798078072396]
  ネットワーク幅と収束時間の両方で既知の理論境界を大幅に改善することにより、理論と実践のギャップを埋める一歩を踏み出します。 本研究では, サンプルサイズが2次幅で, 両者の時間対数で線形なネットワークに対して, 地球最小値への収束が保証されていることを示す。 私たちの分析と収束境界は、いつでも合理的なサイズの同等のRELUネットワークに変換できる固定アクティベーションパターンを備えたサロゲートネットワークの構築によって導出されます。
  論文  参考訳（メタデータ） (2021-01-12T00:40:45Z)
• Predicting the flow field in a U-bend with deep neural networks [0.0]
  本稿では計算流体力学(CFD)と深部ニューラルネットワークに基づく,異なる歪んだU字管内の流れ場を予測することを目的とした研究について述べる。 この研究の主な動機は、流体力学的船体最適化プロセスにおけるディープラーニングパラダイムの正当化に関する洞察を得ることであった。
  論文  参考訳（メタデータ） (2020-10-01T09:03:02Z)
• MSE-Optimal Neural Network Initialization via Layer Fusion [68.72356718879428]
  ディープニューラルネットワークは、さまざまな分類と推論タスクに対して最先端のパフォーマンスを達成する。 グラデーションと非進化性の組み合わせは、学習を新しい問題の影響を受けやすいものにする。 確率変数を用いて学習した深層ネットワークの近傍層を融合する手法を提案する。
  論文  参考訳（メタデータ） (2020-01-28T18:25:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。