論文の概要: Dynamical similarity analysis uniquely captures how computations develop in RNNs

• arxiv url: http://arxiv.org/abs/2410.24070v1
• Date: Thu, 31 Oct 2024 16:07:21 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-01 17:03:51.736585
• Title: Dynamical similarity analysis uniquely captures how computations develop in RNNs
• Title（参考訳）: 動的類似性解析はRNNにおける計算の展開を一意に捉える
• Authors: Quentin Guilhot, Jascha Achterberg, Michał Wójcik, Rui Ponte Costa,
• Abstract要約: 最近の研究では、いくつかの指標が刺激的なシグナルに反応し、誤った結果をもたらすことが示されている。 本稿では、リカレントニューラルネットワーク(RNN)における合成学習により、動的表現アライメントメトリクスのテストケースを提供できることを提案する。 最近提案された動的類似性解析 (DSA) は, より頑健で, 行動関連表現を確実に識別できることを示す。
• 参考スコア（独自算出の注目度）: 3.037387520023979
• License:
• Abstract: Methods for analyzing representations in neural systems are increasingly popular tools in neuroscience and mechanistic interpretability. Measures comparing neural activations across conditions, architectures, and species give scalable ways to understand information transformation within different neural networks. However, recent findings show that some metrics respond to spurious signals, leading to misleading results. Establishing benchmark test cases is thus essential for identifying the most reliable metric and potential improvements. We propose that compositional learning in recurrent neural networks (RNNs) can provide a test case for dynamical representation alignment metrics. Implementing this case allows us to evaluate if metrics can identify representations that develop throughout learning and determine if representations identified by metrics reflect the network's actual computations. Building both attractor and RNN based test cases, we show that the recently proposed Dynamical Similarity Analysis (DSA) is more noise robust and reliably identifies behaviorally relevant representations compared to prior metrics (Procrustes, CKA). We also demonstrate how such test cases can extend beyond metric evaluation to study new architectures. Specifically, testing DSA in modern (Mamba) state space models suggests that these models, unlike RNNs, may not require changes in recurrent dynamics due to their expressive hidden states. Overall, we develop test cases that showcase how DSA's enhanced ability to detect dynamical motifs makes it highly effective for identifying ongoing computations in RNNs and revealing how networks learn tasks.
• Abstract（参考訳）: 神経系における表現を解析する手法は、神経科学や機械的解釈可能性において、ますます一般的なツールとなっている。 条件、アーキテクチャ、種々にわたるニューラルアクティベーションを比較する尺度は、異なるニューラルネットワーク内の情報変換を理解するためのスケーラブルな方法を提供する。 しかし、最近の研究では、いくつかの指標が刺激的なシグナルに反応し、誤った結果をもたらすことが示されている。 したがって、最も信頼性の高いメトリックと潜在的な改善を特定するには、ベンチマークテストケースの確立が不可欠である。 本稿では、リカレントニューラルネットワーク(RNN)における合成学習により、動的表現アライメントメトリクスのテストケースを提供できることを提案する。 このケースを実装することで、メトリクスが学習を通して発達する表現を識別できるかどうかを評価し、メトリクスによって識別される表現がネットワークの実際の計算を反映するかどうかを判断できる。 最近提案された動的類似度解析(DSA)は,従来の指標(Procrustes, CKA)と比較して,よりノイズが強く,かつ確実に行動関連表現を識別できることが示されている。 また、このようなテストケースがメトリクス評価を超えて新しいアーキテクチャを研究できることを示す。 具体的には、現代の(マンバ)状態空間モデルでDSAをテストすることは、これらのモデルがRNNとは異なり、表現的な隠れ状態のためにリカレントダイナミクスの変更を必要としないことを示唆している。 全体として,DSAの動的モチーフ検出能力の強化が,RNNにおける進行中の計算を識別し,ネットワークがタスクを学習する方法を明らかにする上で極めて有効であることを示すテストケースを開発する。

関連論文リスト

• Invariants for neural automata [0.0]
  我々は,異なる符号化条件下でのニューラルオートマトンの対称性と不変性を調べるための公式な枠組みを開発する。 我々の研究は、ニューロシンボリックプロセッサを用いた実世界の実測値の回帰研究において極めて重要である可能性がある。
  論文  参考訳（メタデータ） (2023-02-04T11:40:40Z)
• Can recurrent neural networks learn process model structure? [0.2580765958706854]
  本稿では,適合度,精度,一般化のために,変分に基づく再サンプリングとカスタムメトリクスを組み合わせた評価フレームワークを提案する。 LSTMは、単純化されたプロセスデータであっても、プロセスモデル構造を学ぶのに苦労する可能性があることを確認します。 また,トレーニング中にLSTMで見られる情報量が減少すると,一般化や精度の低下が生じた。
  論文  参考訳（メタデータ） (2022-12-13T08:40:01Z)
• A Novel Explainable Out-of-Distribution Detection Approach for Spiking Neural Networks [6.100274095771616]
  この研究は、スパイキングニューラルネットワークに入力されたテスト例がトレーニングされたデータの分布に属するかどうかを識別できる新しいOoD検出器を提案する。 我々は、スパイクカウントパターンの形で、ネットワークの隠蔽層の内部活性化を特徴付ける。 入力インスタンスのどの部分が最もOoDサンプルとして検出されるかを明らかにする属性マップを作成するために,局所的な説明法が考案された。
  論文  参考訳（メタデータ） (2022-09-30T11:16:35Z)
• Implicit N-grams Induced by Recurrence [10.053475465955794]
  本稿では,隠された状態内に存在する説明可能な構成要素が実際に存在することを示す。 下流感情分析課題において, 訓練されたRNNから抽出した特徴を抽出し, 興味深い言語現象のモデル化に有効であることを確認した。
  論文  参考訳（メタデータ） (2022-05-05T15:53:46Z)
• Equivariance Allows Handling Multiple Nuisance Variables When Analyzing Pooled Neuroimaging Datasets [53.34152466646884]
  本稿では,構造空間上でインスタンス化された同変表現学習における最近の結果と,因果推論における古典的結果の簡易な利用が,いかに効果的に実現されたかを示す。 いくつかの仮定の下で、我々のモデルが複数のニュアンス変数を扱えることを実証し、そうでなければサンプルの大部分を取り除く必要のあるシナリオにおいて、プールされた科学データセットの分析を可能にする。
  論文  参考訳（メタデータ） (2022-03-29T04:54:06Z)
• Data-driven emergence of convolutional structure in neural networks [83.4920717252233]
  識別タスクを解くニューラルネットワークが、入力から直接畳み込み構造を学習できることを示す。 データモデルを慎重に設計することにより、このパターンの出現は、入力の非ガウス的、高次局所構造によって引き起こされることを示す。
  論文  参考訳（メタデータ） (2022-02-01T17:11:13Z)
• PredRNN: A Recurrent Neural Network for Spatiotemporal Predictive Learning [109.84770951839289]
  歴史的文脈からビジュアルダイナミクスを学習するための新しいリカレントネットワークであるPredRNNを紹介する。 本手法は,3つの標準データセット上で高い競争結果が得られることを示す。
  論文  参考訳（メタデータ） (2021-03-17T08:28:30Z)
• Recoding latent sentence representations -- Dynamic gradient-based activation modification in RNNs [0.0]
  RNNでは、サブオプティマティックな方法で情報をエンコーディングすることは、シーケンスの後の要素に基づいて表現の質に影響を与える可能性がある。 勾配に基づく補正機構を用いて,標準RNNへの拡張を提案する。 言語モデリングの文脈で異なる実験を行い、そのようなメカニズムを使うことによる影響を詳細に調べる。
  論文  参考訳（メタデータ） (2021-01-03T17:54:17Z)
• Explaining and Improving Model Behavior with k Nearest Neighbor Representations [107.24850861390196]
  モデルの予測に責任のあるトレーニング例を特定するために, k 近傍表現を提案する。 我々は,kNN表現が学習した素因関係を明らかにするのに有効であることを示す。 以上の結果から,kNN手法により,直交モデルが逆入力に対してより堅牢であることが示唆された。
  論文  参考訳（メタデータ） (2020-10-18T16:55:25Z)
• Deep Representational Similarity Learning for analyzing neural signatures in task-based fMRI dataset [81.02949933048332]
  本稿では、表現類似度分析(RSA)の深部拡張であるDRSL(Deep Representational similarity Learning)を開発する。 DRSLは、多数の被験者を持つfMRIデータセットにおける様々な認知タスク間の類似性を分析するのに適している。
  論文  参考訳（メタデータ） (2020-09-28T18:30:14Z)
• Neural Additive Models: Interpretable Machine Learning with Neural Nets [77.66871378302774]
  ディープニューラルネットワーク(DNN)は、さまざまなタスクにおいて優れたパフォーマンスを達成した強力なブラックボックス予測器である。 本稿では、DNNの表現性と一般化した加法モデルの固有知性を組み合わせたニューラル付加モデル(NAM)を提案する。 NAMは、ニューラルネットワークの線形結合を学び、それぞれが単一の入力機能に付随する。
  論文  参考訳（メタデータ） (2020-04-29T01:28:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。