論文の概要: Dynamical similarity analysis uniquely captures how computations develop in RNNs

• arxiv url: http://arxiv.org/abs/2410.24070v1
• Date: Thu, 31 Oct 2024 16:07:21 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-01 17:03:51.736585
• Title: Dynamical similarity analysis uniquely captures how computations develop in RNNs
• Title（参考訳）: 動的類似性解析はRNNにおける計算の展開を一意に捉える
• Authors: Quentin Guilhot, Jascha Achterberg, Michał Wójcik, Rui Ponte Costa,
• Abstract要約: 最近の研究では、いくつかの指標が刺激的なシグナルに反応し、誤った結果をもたらすことが示されている。 本稿では、リカレントニューラルネットワーク(RNN)における合成学習により、動的表現アライメントメトリクスのテストケースを提供できることを提案する。 最近提案された動的類似性解析 (DSA) は, より頑健で, 行動関連表現を確実に識別できることを示す。
• 参考スコア（独自算出の注目度）: 3.037387520023979
• License:
• Abstract: Methods for analyzing representations in neural systems are increasingly popular tools in neuroscience and mechanistic interpretability. Measures comparing neural activations across conditions, architectures, and species give scalable ways to understand information transformation within different neural networks. However, recent findings show that some metrics respond to spurious signals, leading to misleading results. Establishing benchmark test cases is thus essential for identifying the most reliable metric and potential improvements. We propose that compositional learning in recurrent neural networks (RNNs) can provide a test case for dynamical representation alignment metrics. Implementing this case allows us to evaluate if metrics can identify representations that develop throughout learning and determine if representations identified by metrics reflect the network's actual computations. Building both attractor and RNN based test cases, we show that the recently proposed Dynamical Similarity Analysis (DSA) is more noise robust and reliably identifies behaviorally relevant representations compared to prior metrics (Procrustes, CKA). We also demonstrate how such test cases can extend beyond metric evaluation to study new architectures. Specifically, testing DSA in modern (Mamba) state space models suggests that these models, unlike RNNs, may not require changes in recurrent dynamics due to their expressive hidden states. Overall, we develop test cases that showcase how DSA's enhanced ability to detect dynamical motifs makes it highly effective for identifying ongoing computations in RNNs and revealing how networks learn tasks.
• Abstract（参考訳）: 神経系における表現を解析する手法は、神経科学や機械的解釈可能性において、ますます一般的なツールとなっている。 条件、アーキテクチャ、種々にわたるニューラルアクティベーションを比較する尺度は、異なるニューラルネットワーク内の情報変換を理解するためのスケーラブルな方法を提供する。 しかし、最近の研究では、いくつかの指標が刺激的なシグナルに反応し、誤った結果をもたらすことが示されている。 したがって、最も信頼性の高いメトリックと潜在的な改善を特定するには、ベンチマークテストケースの確立が不可欠である。 本稿では、リカレントニューラルネットワーク(RNN)における合成学習により、動的表現アライメントメトリクスのテストケースを提供できることを提案する。 このケースを実装することで、メトリクスが学習を通して発達する表現を識別できるかどうかを評価し、メトリクスによって識別される表現がネットワークの実際の計算を反映するかどうかを判断できる。 最近提案された動的類似度解析(DSA)は,従来の指標(Procrustes, CKA)と比較して,よりノイズが強く,かつ確実に行動関連表現を識別できることが示されている。 また、このようなテストケースがメトリクス評価を超えて新しいアーキテクチャを研究できることを示す。 具体的には、現代の(マンバ)状態空間モデルでDSAをテストすることは、これらのモデルがRNNとは異なり、表現的な隠れ状態のためにリカレントダイナミクスの変更を必要としないことを示唆している。 全体として,DSAの動的モチーフ検出能力の強化が,RNNにおける進行中の計算を識別し,ネットワークがタスクを学習する方法を明らかにする上で極めて有効であることを示すテストケースを開発する。

関連論文リスト

• Topological Representations of Heterogeneous Learning Dynamics of Recurrent Spiking Neural Networks [16.60622265961373]
  スパイキングニューラルネットワーク(SNN)は神経科学と人工知能において重要なパラダイムとなっている。 近年,深層ニューラルネットワークのネットワーク表現について研究が進められている。
  論文  参考訳（メタデータ） (2024-03-19T05:37:26Z)
• Understanding Self-attention Mechanism via Dynamical System Perspective [58.024376086269015]
  SAM(Self-attention mechanism)は、人工知能の様々な分野で広く使われている。 常微分方程式(ODE)の高精度解における固有剛性現象(SP)は,高性能ニューラルネットワーク(NN)にも広く存在することを示す。 SAMは、本質的なSPを測定するためのモデルの表現能力を高めることができる剛性対応のステップサイズ適応器でもあることを示す。
  論文  参考訳（メタデータ） (2023-08-19T08:17:41Z)
• How neural networks learn to classify chaotic time series [77.34726150561087]
  本研究では,通常の逆カオス時系列を分類するために訓練されたニューラルネットワークの内部動作について検討する。 入力周期性とアクティベーション周期の関係は,LKCNNモデルの性能向上の鍵となる。
  論文  参考訳（メタデータ） (2023-06-04T08:53:27Z)
• A Novel Explainable Out-of-Distribution Detection Approach for Spiking Neural Networks [6.100274095771616]
  この研究は、スパイキングニューラルネットワークに入力されたテスト例がトレーニングされたデータの分布に属するかどうかを識別できる新しいOoD検出器を提案する。 我々は、スパイクカウントパターンの形で、ネットワークの隠蔽層の内部活性化を特徴付ける。 入力インスタンスのどの部分が最もOoDサンプルとして検出されるかを明らかにする属性マップを作成するために,局所的な説明法が考案された。
  論文  参考訳（メタデータ） (2022-09-30T11:16:35Z)
• Implicit N-grams Induced by Recurrence [10.053475465955794]
  本稿では,隠された状態内に存在する説明可能な構成要素が実際に存在することを示す。 下流感情分析課題において, 訓練されたRNNから抽出した特徴を抽出し, 興味深い言語現象のモデル化に有効であることを確認した。
  論文  参考訳（メタデータ） (2022-05-05T15:53:46Z)
• Data-driven emergence of convolutional structure in neural networks [83.4920717252233]
  識別タスクを解くニューラルネットワークが、入力から直接畳み込み構造を学習できることを示す。 データモデルを慎重に設計することにより、このパターンの出現は、入力の非ガウス的、高次局所構造によって引き起こされることを示す。
  論文  参考訳（メタデータ） (2022-02-01T17:11:13Z)
• On the benefits of robust models in modulation recognition [53.391095789289736]
  畳み込み層を用いたディープニューラルネットワーク(DNN)は、通信における多くのタスクにおいて最先端である。 画像分類のような他の領域では、DNNは敵の摂動に弱いことが示されている。 最新モデルの堅牢性をテストするための新しいフレームワークを提案する。
  論文  参考訳（メタデータ） (2021-03-27T19:58:06Z)
• Recoding latent sentence representations -- Dynamic gradient-based activation modification in RNNs [0.0]
  RNNでは、サブオプティマティックな方法で情報をエンコーディングすることは、シーケンスの後の要素に基づいて表現の質に影響を与える可能性がある。 勾配に基づく補正機構を用いて,標準RNNへの拡張を提案する。 言語モデリングの文脈で異なる実験を行い、そのようなメカニズムを使うことによる影響を詳細に調べる。
  論文  参考訳（メタデータ） (2021-01-03T17:54:17Z)
• The geometry of integration in text classification RNNs [20.76659136484842]
  本研究では,自然テキスト分類タスクと合成テキスト分類タスクの両方のバッテリで訓練されたリカレントネットワークについて検討する。 これらの訓練されたRNNの力学は、解釈可能かつ低次元であることがわかった。 我々の観測は、複数のアーキテクチャとデータセットにまたがっており、RNNがテキスト分類を行うのに使用する共通メカニズムを反映している。
  論文  参考訳（メタデータ） (2020-10-28T17:58:53Z)
• Explaining and Improving Model Behavior with k Nearest Neighbor Representations [107.24850861390196]
  モデルの予測に責任のあるトレーニング例を特定するために, k 近傍表現を提案する。 我々は,kNN表現が学習した素因関係を明らかにするのに有効であることを示す。 以上の結果から,kNN手法により,直交モデルが逆入力に対してより堅牢であることが示唆された。
  論文  参考訳（メタデータ） (2020-10-18T16:55:25Z)
• Deep Representational Similarity Learning for analyzing neural signatures in task-based fMRI dataset [81.02949933048332]
  本稿では、表現類似度分析(RSA)の深部拡張であるDRSL(Deep Representational similarity Learning)を開発する。 DRSLは、多数の被験者を持つfMRIデータセットにおける様々な認知タスク間の類似性を分析するのに適している。
  論文  参考訳（メタデータ） (2020-09-28T18:30:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。