論文の概要: Dynamical similarity analysis uniquely captures how computations develop in RNNs

• arxiv url: http://arxiv.org/abs/2410.24070v3
• Date: Mon, 09 Dec 2024 11:29:18 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-10 14:52:01.210068
• Title: Dynamical similarity analysis uniquely captures how computations develop in RNNs
• Title（参考訳）: 動的類似性解析はRNNにおける計算の展開を一意に捉える
• Authors: Quentin Guilhot, Michał Wójcik, Jascha Achterberg, Rui Ponte Costa,
• Abstract要約: ニューラルネットワーク(RNN)における合成学習により、動的配向アライメントメトリクスのテストケースを構築することができる。 本稿では,新しい動的類似性解析(DSA)がよりノイズに強いことを示し,従来の指標よりも行動関連表現をより確実に同定する。
• 参考スコア（独自算出の注目度）: 3.037387520023979
• License:
• Abstract: Methods for analyzing representations in neural systems have become a popular tool in both neuroscience and mechanistic interpretability. Having measures to compare how similar activations of neurons are across conditions, architectures, and species, gives us a scalable way of learning how information is transformed within different neural networks. In contrast to this trend, recent investigations have revealed how some metrics can respond to spurious signals and hence give misleading results. To identify the most reliable metric and understand how measures could be improved, it is going to be important to identify specific test cases which can serve as benchmarks. Here we propose that the phenomena of compositional learning in recurrent neural networks (RNNs) allows us to build a test case for dynamical representation alignment metrics. By implementing this case, we show it enables us to test whether metrics can identify representations which gradually develop throughout learning and probe whether representations identified by metrics are relevant to computations executed by networks. By building both an attractor- and RNN-based test case, we show that the new Dynamical Similarity Analysis (DSA) is more noise robust and identifies behaviorally relevant representations more reliably than prior metrics (Procrustes, CKA). We also show how test cases can be used beyond evaluating metrics to study new architectures. Specifically, results from applying DSA to modern (Mamba) state space models, suggest that, in contrast to RNNs, these models may not exhibit changes to their recurrent dynamics due to their expressiveness. Overall, by developing test cases, we show DSA's exceptional ability to detect compositional dynamical motifs, thereby enhancing our understanding of how computations unfold in RNNs.
• Abstract（参考訳）: 神経系における表現を解析する手法は、神経科学と機械的解釈可能性の両方において一般的なツールとなっている。 ニューロンのアクティベーションが、条件やアーキテクチャ、種によってどのように類似しているかを比較するための手段を持つことで、さまざまなニューラルネットワーク内で情報がどのように変換されるかを学ぶための、スケーラブルな方法が得られます。 この傾向とは対照的に、最近の研究では、いくつかの指標が刺激的なシグナルにどのように反応し、結果として誤解を招く結果をもたらすかを明らかにしている。 最も信頼性の高いメトリクスを特定し、測定方法の改善方法を理解するためには、ベンチマークとして機能する特定のテストケースを特定することが重要です。 本稿では、リカレントニューラルネットワーク(RNN)における構成学習の現象により、動的表現アライメントメトリクスのテストケースを構築することができることを示す。 このケースを実装することで、学習を通して徐々に発展していく表現をメトリクスが識別できるかどうかを検証し、メトリクスによって識別される表現がネットワークによって実行される計算に関連があるかどうかを検証できることを示す。 アクセサとRNNベースのテストケースを構築することで、新しい動的類似性分析(DSA)がよりノイズの強いことを示し、従来のメトリクス(Procrustes, CKA)よりも行動に関連のある表現をより確実に識別する。 また、新しいアーキテクチャを研究するために、メトリクスを評価する以外にテストケースをどのように使用できるかを示します。 具体的には、現代の(マンバ)状態空間モデルにDSAを適用した結果から、RNNとは対照的に、これらのモデルは表現性から繰り返しのダイナミクスの変化を示さない可能性が示唆されている。 総合的に,テストケースを開発することで,DSAが構成的動的モチーフを検出できる異常な能力を示し,RNNにおける計算の展開方法の理解を深める。

関連論文リスト

• Invariants for neural automata [0.0]
  我々は,異なる符号化条件下でのニューラルオートマトンの対称性と不変性を調べるための公式な枠組みを開発する。 我々の研究は、ニューロシンボリックプロセッサを用いた実世界の実測値の回帰研究において極めて重要である可能性がある。
  論文  参考訳（メタデータ） (2023-02-04T11:40:40Z)
• Can recurrent neural networks learn process model structure? [0.2580765958706854]
  本稿では,適合度,精度,一般化のために,変分に基づく再サンプリングとカスタムメトリクスを組み合わせた評価フレームワークを提案する。 LSTMは、単純化されたプロセスデータであっても、プロセスモデル構造を学ぶのに苦労する可能性があることを確認します。 また,トレーニング中にLSTMで見られる情報量が減少すると,一般化や精度の低下が生じた。
  論文  参考訳（メタデータ） (2022-12-13T08:40:01Z)
• A Novel Explainable Out-of-Distribution Detection Approach for Spiking Neural Networks [6.100274095771616]
  この研究は、スパイキングニューラルネットワークに入力されたテスト例がトレーニングされたデータの分布に属するかどうかを識別できる新しいOoD検出器を提案する。 我々は、スパイクカウントパターンの形で、ネットワークの隠蔽層の内部活性化を特徴付ける。 入力インスタンスのどの部分が最もOoDサンプルとして検出されるかを明らかにする属性マップを作成するために,局所的な説明法が考案された。
  論文  参考訳（メタデータ） (2022-09-30T11:16:35Z)
• Implicit N-grams Induced by Recurrence [10.053475465955794]
  本稿では,隠された状態内に存在する説明可能な構成要素が実際に存在することを示す。 下流感情分析課題において, 訓練されたRNNから抽出した特徴を抽出し, 興味深い言語現象のモデル化に有効であることを確認した。
  論文  参考訳（メタデータ） (2022-05-05T15:53:46Z)
• Equivariance Allows Handling Multiple Nuisance Variables When Analyzing Pooled Neuroimaging Datasets [53.34152466646884]
  本稿では,構造空間上でインスタンス化された同変表現学習における最近の結果と,因果推論における古典的結果の簡易な利用が,いかに効果的に実現されたかを示す。 いくつかの仮定の下で、我々のモデルが複数のニュアンス変数を扱えることを実証し、そうでなければサンプルの大部分を取り除く必要のあるシナリオにおいて、プールされた科学データセットの分析を可能にする。
  論文  参考訳（メタデータ） (2022-03-29T04:54:06Z)
• Data-driven emergence of convolutional structure in neural networks [83.4920717252233]
  識別タスクを解くニューラルネットワークが、入力から直接畳み込み構造を学習できることを示す。 データモデルを慎重に設計することにより、このパターンの出現は、入力の非ガウス的、高次局所構造によって引き起こされることを示す。
  論文  参考訳（メタデータ） (2022-02-01T17:11:13Z)
• PredRNN: A Recurrent Neural Network for Spatiotemporal Predictive Learning [109.84770951839289]
  歴史的文脈からビジュアルダイナミクスを学習するための新しいリカレントネットワークであるPredRNNを紹介する。 本手法は,3つの標準データセット上で高い競争結果が得られることを示す。
  論文  参考訳（メタデータ） (2021-03-17T08:28:30Z)
• Recoding latent sentence representations -- Dynamic gradient-based activation modification in RNNs [0.0]
  RNNでは、サブオプティマティックな方法で情報をエンコーディングすることは、シーケンスの後の要素に基づいて表現の質に影響を与える可能性がある。 勾配に基づく補正機構を用いて,標準RNNへの拡張を提案する。 言語モデリングの文脈で異なる実験を行い、そのようなメカニズムを使うことによる影響を詳細に調べる。
  論文  参考訳（メタデータ） (2021-01-03T17:54:17Z)
• Explaining and Improving Model Behavior with k Nearest Neighbor Representations [107.24850861390196]
  モデルの予測に責任のあるトレーニング例を特定するために, k 近傍表現を提案する。 我々は,kNN表現が学習した素因関係を明らかにするのに有効であることを示す。 以上の結果から,kNN手法により,直交モデルが逆入力に対してより堅牢であることが示唆された。
  論文  参考訳（メタデータ） (2020-10-18T16:55:25Z)
• Deep Representational Similarity Learning for analyzing neural signatures in task-based fMRI dataset [81.02949933048332]
  本稿では、表現類似度分析(RSA)の深部拡張であるDRSL(Deep Representational similarity Learning)を開発する。 DRSLは、多数の被験者を持つfMRIデータセットにおける様々な認知タスク間の類似性を分析するのに適している。
  論文  参考訳（メタデータ） (2020-09-28T18:30:14Z)
• Neural Additive Models: Interpretable Machine Learning with Neural Nets [77.66871378302774]
  ディープニューラルネットワーク(DNN)は、さまざまなタスクにおいて優れたパフォーマンスを達成した強力なブラックボックス予測器である。 本稿では、DNNの表現性と一般化した加法モデルの固有知性を組み合わせたニューラル付加モデル(NAM)を提案する。 NAMは、ニューラルネットワークの線形結合を学び、それぞれが単一の入力機能に付随する。
  論文  参考訳（メタデータ） (2020-04-29T01:28:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。