論文の概要: Imposing Connectome-Derived Topology on an Echo State Network

• arxiv url: http://arxiv.org/abs/2201.09359v1
• Date: Sun, 23 Jan 2022 20:35:28 GMT
• ステータス: 処理完了
• システム内更新日: 2022-01-26 07:34:20.767514
• Title: Imposing Connectome-Derived Topology on an Echo State Network
• Title（参考訳）: エコー状態ネットワーク上でコネクトーム由来トポロジーを構成する
• Authors: Jacob Morra, Mark Daley
• Abstract要約: エコー状態ネットワーク(ESN)の性能に及ぼすハエコネクトームのトポロジーの影響について検討する。 この実験モデルのクラスを"Fruit Fly ESNs"(FFESNs)と呼ぶ。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Can connectome-derived constraints inform computation? In this paper we investigate the contribution of a fruit fly connectome's topology on the performance of an Echo State Network (ESN) -- a subset of Reservoir Computing which is state of the art in chaotic time series prediction. Specifically, we replace the reservoir layer of a classical ESN -- normally a fixed, random graph represented as a 2-d matrix -- with a particular (female) fruit fly connectome-derived connectivity matrix. We refer to this experimental class of models (with connectome-derived reservoirs) as "Fruit Fly ESNs" (FFESNs). We train and validate the FFESN on a chaotic time series prediction task; here we consider four sets of trials with different training input sizes (small, large) and train-validate splits (two variants). We compare the validation performance (Mean-Squared Error) of all of the best FFESN models to a class of control model ESNs (simply referred to as "ESNs"). Overall, for all four sets of trials we find that the FFESN either significantly outperforms (and has lower variance than) the ESN; or simply has lower variance than the ESN.
• Abstract（参考訳）: コネクトームによる制約は、計算を通知できるのか? 本稿では,カオティック時系列予測における最先端の技術であるリザーバコンピューティングのサブセットであるエコー状態ネットワーク(esn)の性能に対するフルーツフライコネクトームのトポロジーの寄与について検討する。具体的には,古典的esnのリザーバ層(通常は2次元行列として表される固定されたランダムグラフ)を,特定の(女性)フルーツフライコネクトーム由来の連結マトリックスに置き換える。 本研究では,このモデル(コネクトーム由来貯水池を含む)をFruit Fly ESNs(FFESNs)と呼ぶ。 我々は,FFESNをカオス時系列予測タスクでトレーニングし,評価する。ここでは,異なるトレーニング入力サイズ(小さい,大きい)と列車価分割(2つの変種)の4つの試行について検討する。 本研究では,すべてのFFESNモデルの検証性能(平均二乗誤差)とESNのクラス(単に「ESN」と呼ぶ)を比較した。 全体として、全ての4つの試行において、FFESN は ESN よりも著しく優れ(かつ分散度が低い)、単に ESN よりも分散度が低い。

関連論文リスト

• Benign Overfitting in Deep Neural Networks under Lazy Training [72.28294823115502]
  データ分布が適切に分離された場合、DNNは分類のためのベイズ最適テスト誤差を達成できることを示す。 よりスムーズな関数との補間により、より一般化できることを示す。
  論文  参考訳（メタデータ） (2023-05-30T19:37:44Z)
• Variational Inference on the Final-Layer Output of Neural Networks [3.146069168382982]
  本稿では、最終層出力空間(VIFO)における変分推論を行うことにより、両方のアプローチの利点を組み合わせることを提案する。 ニューラルネットワークを用いて確率出力の平均と分散を学習する。 実験により、VIFOは、特に分布データ外において、実行時間と不確実性定量化の観点から良いトレードオフを提供することが示された。
  論文  参考訳（メタデータ） (2023-02-05T16:19:01Z)
• Investigation of Proper Orthogonal Decomposition for Echo State Networks [3.645570876484422]
  エコー状態ネットワーク(英語: Echo State Networks, ESN)は、時系列および非線形力学系を表現するための有望な結果をもたらすリカレントニューラルネットワークの一種である。 多くの状態は、時間ステップの計算をよりコストが高くするだけでなく、堅牢性の問題を引き起こす可能性がある。 この問題を回避するための1つの方法は、適切な直交分解(POD)とその変種(POD-DEIM)のようなモデル秩序化戦略である。
  論文  参考訳（メタデータ） (2022-11-30T17:23:25Z)
• Contrastive Neural Ratio Estimation for Simulation-based Inference [15.354874711988662]
  Likelihood-to-evidence ratio Estimation は通常、バイナリ (NRE-A) またはマルチクラス (NRE-B) の分類タスクとしてキャストされる。 バイナリ分類フレームワークとは対照的に、現在のマルチクラスバージョンの定式化は本質的で未知のバイアス項を持つ。 我々は,NRE-Bに固有のバイアスを最適に含まないマルチクラスフレームワークを提案し,実践者が依存する診断を行う立場に置かれる。
  論文  参考訳（メタデータ） (2022-10-11T00:12:51Z)
• Batch-Ensemble Stochastic Neural Networks for Out-of-Distribution Detection [55.028065567756066]
  Out-of-Distribution(OOD)検出は、機械学習モデルを現実世界のアプリケーションにデプロイすることの重要性から、マシンラーニングコミュニティから注目を集めている。 本稿では,特徴量の分布をモデル化した不確実な定量化手法を提案する。 バッチアンサンブルニューラルネットワーク(BE-SNN)の構築と機能崩壊問題の克服を目的として,効率的なアンサンブル機構,すなわちバッチアンサンブルを組み込んだ。 We show that BE-SNNs yield superior performance on the Two-Moons dataset, the FashionMNIST vs MNIST dataset, FashionM。
  論文  参考訳（メタデータ） (2022-06-26T16:00:22Z)
• Using Connectome Features to Constrain Echo State Networks [0.0]
  本稿では,一次元時系列予測においてすでに競合性能を達成している従来のEcho State Network(ESN)の改良について報告する。 本モデルでは, 果実ハエコネクトーム由来の貯水量を持つ20$%の高密度ESNを用いて, カオス時系列予測タスクにおいて優れた性能を示す。
  論文  参考訳（メタデータ） (2022-06-05T04:45:57Z)
• Dual Lottery Ticket Hypothesis [71.95937879869334]
  Lottery Ticket hypothesis (LTH)は、スパースネットワークトレーニングを調査し、その能力を維持するための新しい視点を提供する。 本稿では,LTHの当選チケットをトレーニング可能なサブネットワークとして,その性能をベンチマークとして検討する。 本稿では,簡単なスパースネットワークトレーニング戦略であるランダムスパースネットワークトランスフォーメーション(RST)を提案し,DLTHを裏付ける。
  論文  参考訳（メタデータ） (2022-03-08T18:06:26Z)
• Towards an Understanding of Benign Overfitting in Neural Networks [104.2956323934544]
  現代の機械学習モデルは、しばしば膨大な数のパラメータを使用し、通常、トレーニング損失がゼロになるように最適化されている。 ニューラルネットワークの2層構成において、これらの良質な過適合現象がどのように起こるかを検討する。 本稿では,2層型ReLUネットワーク補間器を極小最適学習率で実現可能であることを示す。
  論文  参考訳（メタデータ） (2021-06-06T19:08:53Z)
• Optimization Variance: Exploring Generalization Properties of DNNs [83.78477167211315]
  ディープニューラルネットワーク(DNN)のテストエラーは、しばしば二重降下を示す。 そこで本研究では,モデル更新の多様性を測定するために,新しい測度である最適化分散(OV)を提案する。
  論文  参考訳（メタデータ） (2021-06-03T09:34:17Z)
• Pre-Trained Models for Heterogeneous Information Networks [57.78194356302626]
  異種情報ネットワークの特徴を捉えるための自己教師付き事前学習・微調整フレームワークPF-HINを提案する。 PF-HINは4つのデータセットにおいて、各タスクにおける最先端の代替よりも一貫して、大幅に優れています。
  論文  参考訳（メタデータ） (2020-07-07T03:36:28Z)
• One Versus all for deep Neural Network Incertitude (OVNNI) quantification [12.734278426543332]
  本稿では,データの疫学的不確実性を容易に定量化するための新しい手法を提案する。 本手法は,1つのクラス対他のクラス(OVA)を分類するために訓練されたDNNのアンサンブルの予測と,オール対オール(AVA)分類を実行するために訓練された標準DNNの予測とを混合して構成する。
  論文  参考訳（メタデータ） (2020-06-01T14:06:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。