論文の概要: Trainability, Expressivity and Interpretability in Gated Neural ODEs
- arxiv url: http://arxiv.org/abs/2307.06398v1
- Date: Wed, 12 Jul 2023 18:29:01 GMT
- ステータス: 処理完了
- システム内更新日: 2023-07-14 16:49:11.782223
- Title: Trainability, Expressivity and Interpretability in Gated Neural ODEs
- Title（参考訳）: ゲート型ニューラルネットワークの訓練性, 表現性, 解釈性
- Authors: Timothy Doyeon Kim, Tankut Can, Kamesh Krishnamurthy
- Abstract要約: 本稿では,ニューラルネットワークのキャパシティを探索して複雑なトラジェクトリを生成する,表現性の新たな尺度を提案する。
本研究は,低次元のgnODEがモデリング能力を保ちながら,解釈可能性を大幅に向上することを示す。
また,複数の実世界のタスクにおいて,NODEにおけるゲーティングの利点を示す。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Understanding how the dynamics in biological and artificial neural networks
implement the computations required for a task is a salient open question in
machine learning and neuroscience. In particular, computations requiring
complex memory storage and retrieval pose a significant challenge for these
networks to implement or learn. Recently, a family of models described by
neural ordinary differential equations (nODEs) has emerged as powerful
dynamical neural network models capable of capturing complex dynamics. Here, we
extend nODEs by endowing them with adaptive timescales using gating
interactions. We refer to these as gated neural ODEs (gnODEs). Using a task
that requires memory of continuous quantities, we demonstrate the inductive
bias of the gnODEs to learn (approximate) continuous attractors. We further
show how reduced-dimensional gnODEs retain their modeling power while greatly
improving interpretability, even allowing explicit visualization of the
structure of learned attractors. We introduce a novel measure of expressivity
which probes the capacity of a neural network to generate complex trajectories.
Using this measure, we explore how the phase-space dimension of the nODEs and
the complexity of the function modeling the flow field contribute to
expressivity. We see that a more complex function for modeling the flow field
allows a lower-dimensional nODE to capture a given target dynamics. Finally, we
demonstrate the benefit of gating in nODEs on several real-world tasks.
- Abstract（参考訳）: 生物学的および人工的なニューラルネットワークのダイナミクスがどのようにタスクに必要な計算を実行するかを理解することは、機械学習と神経科学において明らかな疑問である。
特に、複雑なメモリストレージと検索を必要とする計算は、これらのネットワークの実装や学習にとって大きな課題となる。
近年、神経常微分方程式(nODE)によって記述されるモデル群は、複雑な力学を捉えることができる強力な動的ニューラルネットワークモデルとして出現している。
ここでは、ゲーティング相互作用を用いて、適応的な時間スケールを付与することで、nODEを拡張します。
我々はこれらをゲートニューラルODE(gnODE)と呼ぶ。
連続量の記憶を必要とするタスクを用いて、gnODEの帰納バイアスを学習(近似)する(近似)連続的誘引子を示す。
さらに、低次元のgnODEがモデリング能力を保ちながら、解釈可能性を大幅に向上し、学習対象の構造をはっきりと可視化できることを示す。
本稿では,複雑な軌道を生成するニューラルネットワークのキャパシティを探索する新しい表現性尺度を提案する。
この測度を用いて,NODEの位相空間次元とフロー場をモデル化する関数の複雑さが表現性にどのように寄与するかを考察する。
流れ場をモデル化するより複雑な関数により、低次元のヌードが与えられた対象の動力学を捉えることができる。
最後に,複数の実世界のタスクにおいて,NODEにおけるゲーティングの利点を示す。
関連論文リスト
- Contrastive Learning in Memristor-based Neuromorphic Systems [55.11642177631929]
スパイクニューラルネットワークは、現代のバックプロパゲーションによって訓練されたディープネットワークに直面する重要な制約の多くを横取りする、ニューロンベースのモデルの重要なファミリーとなっている。
本研究では,前向き・後向き学習のニューロモルフィック形式であるコントラッシブ・シグナル依存型塑性(CSDP)の概念実証を設計し,検討する。
論文 参考訳（メタデータ） (2024-09-17T04:48:45Z) - The Dynamic Net Architecture: Learning Robust and Holistic Visual Representations Through Self-Organizing Networks [3.9848584845601014]
動的ネットアーキテクチャ(DNA)と呼ばれる新しいインテリジェントシステムアーキテクチャを提案する。
DNAは繰り返し安定化されたネットワークに依存し、それを視覚に応用するために議論する。
論文 参考訳（メタデータ） (2024-07-08T06:22:10Z) - Spiking representation learning for associative memories [0.0]
本稿では、教師なし表現学習と連想記憶操作を行う新しい人工スパイクニューラルネットワーク(SNN)を提案する。
モデルの構造は新皮質列状構造から派生し,隠れた表現を学習するためのフィードフォワードプロジェクションと,連想記憶を形成するための繰り返しプロジェクションを組み合わせたものである。
論文 参考訳（メタデータ） (2024-06-05T08:30:11Z) - Mechanistic Neural Networks for Scientific Machine Learning [58.99592521721158]
我々は、科学における機械学習応用のためのニューラルネットワーク設計であるメカニスティックニューラルネットワークを提案する。
新しいメカニスティックブロックを標準アーキテクチャに組み込んで、微分方程式を表現として明示的に学習する。
我々のアプローチの中心は、線形プログラムを解くために線形ODEを解く技術に着想を得た、新しい線形計画解法(NeuRLP)である。
論文 参考訳（メタデータ） (2024-02-20T15:23:24Z) - On the Trade-off Between Efficiency and Precision of Neural Abstraction [62.046646433536104]
ニューラル抽象化は、最近、複雑な非線形力学モデルの形式近似として導入されている。
我々は形式的帰納的合成法を用いて、これらのセマンティクスを用いた動的モデルをもたらすニューラル抽象化を生成する。
論文 参考訳（メタデータ） (2023-07-28T13:22:32Z) - Deep Representations for Time-varying Brain Datasets [4.129225533930966]
本稿では、領域マップされたfMRIシーケンスと構造接続性の両方を入力として組み込んだ効率的なグラフニューラルネットワークモデルを構築する。
サンプルレベルの適応的隣接行列を学習することで、潜伏する脳のダイナミクスのよい表現を見つけ出す。
これらのモジュールは容易に適応でき、神経科学領域以外の用途にも有用である可能性がある。
論文 参考訳（メタデータ） (2022-05-23T21:57:31Z) - EINNs: Epidemiologically-Informed Neural Networks [75.34199997857341]
本稿では,疫病予測のための新しい物理インフォームドニューラルネットワークEINNを紹介する。
メカニスティックモデルによって提供される理論的柔軟性と、AIモデルによって提供されるデータ駆動表現性の両方を活用する方法について検討する。
論文 参考訳（メタデータ） (2022-02-21T18:59:03Z) - Data-driven emergence of convolutional structure in neural networks [83.4920717252233]
識別タスクを解くニューラルネットワークが、入力から直接畳み込み構造を学習できることを示す。
データモデルを慎重に設計することにより、このパターンの出現は、入力の非ガウス的、高次局所構造によって引き起こされることを示す。
論文 参考訳（メタデータ） (2022-02-01T17:11:13Z) - Sparse Flows: Pruning Continuous-depth Models [107.98191032466544]
生成モデルにおいて,プルーニングによりニューラルネットワークの一般化が向上することを示す。
また、プルーニングは、元のネットワークに比べて最大98%少ないパラメータで、精度を損なうことなく、最小かつ効率的なニューラルODE表現を見出すことを示した。
論文 参考訳（メタデータ） (2021-06-24T01:40:17Z) - Neuromorphic Algorithm-hardware Codesign for Temporal Pattern Learning [11.781094547718595]
複雑な空間時間パターンを学習するためにSNNを訓練できるLeaky IntegrateとFireニューロンの効率的なトレーニングアルゴリズムを導出する。
我々は,ニューロンとシナプスのメムリスタに基づくネットワークのためのCMOS回路実装を開発した。
論文 参考訳（メタデータ） (2021-04-21T18:23:31Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。