論文の概要: Dynamical similarity analysis can identify compositional dynamics developing in RNNs

• arxiv url: http://arxiv.org/abs/2410.24070v4
• Date: Sat, 21 Dec 2024 17:53:26 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-24 15:55:08.757041
• Title: Dynamical similarity analysis can identify compositional dynamics developing in RNNs
• Title（参考訳）: 動的類似性解析は、RNNで発達する構成力学を識別できる
• Authors: Quentin Guilhot, Michał Wójcik, Jascha Achterberg, Rui Ponte Costa,
• Abstract要約: ニューラルネットワーク(RNN)における合成学習により、動的配向アライメントメトリクスのテストケースを構築することができる。 本稿では,新しい動的類似性解析(DSA)がよりノイズに強いことを示し,従来の指標よりも行動関連表現をより確実に同定する。
• 参考スコア（独自算出の注目度）: 3.037387520023979
• License:
• Abstract: Methods for analyzing representations in neural systems have become a popular tool in both neuroscience and mechanistic interpretability. Having measures to compare how similar activations of neurons are across conditions, architectures, and species, gives us a scalable way of learning how information is transformed within different neural networks. In contrast to this trend, recent investigations have revealed how some metrics can respond to spurious signals and hence give misleading results. To identify the most reliable metric and understand how measures could be improved, it is going to be important to identify specific test cases which can serve as benchmarks. Here we propose that the phenomena of compositional learning in recurrent neural networks (RNNs) allows us to build a test case for dynamical representation alignment metrics. By implementing this case, we show it enables us to test whether metrics can identify representations which gradually develop throughout learning and probe whether representations identified by metrics are relevant to computations executed by networks. By building both an attractor- and RNN-based test case, we show that the new Dynamical Similarity Analysis (DSA) is more noise robust and identifies behaviorally relevant representations more reliably than prior metrics (Procrustes, CKA). We also show how test cases can be used beyond evaluating metrics to study new architectures. Specifically, results from applying DSA to modern (Mamba) state space models, suggest that, in contrast to RNNs, these models may not exhibit changes to their recurrent dynamics due to their expressiveness. Overall, by developing test cases, we show DSA's exceptional ability to detect compositional dynamical motifs, thereby enhancing our understanding of how computations unfold in RNNs.
• Abstract（参考訳）: 神経系における表現を解析する手法は、神経科学と機械的解釈可能性の両方において一般的なツールとなっている。 ニューロンのアクティベーションが、条件やアーキテクチャ、種によってどのように類似しているかを比較するための手段を持つことで、さまざまなニューラルネットワーク内で情報がどのように変換されるかを学ぶための、スケーラブルな方法が得られます。 この傾向とは対照的に、最近の研究では、いくつかの指標が刺激的なシグナルにどのように反応し、結果として誤解を招く結果をもたらすかを明らかにしている。 最も信頼性の高いメトリクスを特定し、測定方法の改善方法を理解するためには、ベンチマークとして機能する特定のテストケースを特定することが重要です。 本稿では、リカレントニューラルネットワーク(RNN)における構成学習の現象により、動的表現アライメントメトリクスのテストケースを構築することができることを示す。 このケースを実装することで、学習を通して徐々に発展していく表現をメトリクスが識別できるかどうかを検証し、メトリクスによって識別される表現がネットワークによって実行される計算に関連があるかどうかを検証できることを示す。 アクセサとRNNベースのテストケースを構築することで、新しい動的類似性分析(DSA)がよりノイズの強いことを示し、従来のメトリクス(Procrustes, CKA)よりも行動に関連のある表現をより確実に識別する。 また、新しいアーキテクチャを研究するために、メトリクスを評価する以外にテストケースをどのように使用できるかを示します。 具体的には、現代の(マンバ)状態空間モデルにDSAを適用した結果から、RNNとは対照的に、これらのモデルは表現性から繰り返しのダイナミクスの変化を示さない可能性が示唆されている。 総合的に,テストケースを開発することで,DSAが構成的動的モチーフを検出できる異常な能力を示し,RNNにおける計算の展開方法の理解を深める。

関連論文リスト

• Topological Representations of Heterogeneous Learning Dynamics of Recurrent Spiking Neural Networks [16.60622265961373]
  スパイキングニューラルネットワーク(SNN)は神経科学と人工知能において重要なパラダイムとなっている。 近年,深層ニューラルネットワークのネットワーク表現について研究が進められている。
  論文  参考訳（メタデータ） (2024-03-19T05:37:26Z)
• Understanding Self-attention Mechanism via Dynamical System Perspective [58.024376086269015]
  SAM(Self-attention mechanism)は、人工知能の様々な分野で広く使われている。 常微分方程式(ODE)の高精度解における固有剛性現象(SP)は,高性能ニューラルネットワーク(NN)にも広く存在することを示す。 SAMは、本質的なSPを測定するためのモデルの表現能力を高めることができる剛性対応のステップサイズ適応器でもあることを示す。
  論文  参考訳（メタデータ） (2023-08-19T08:17:41Z)
• How neural networks learn to classify chaotic time series [77.34726150561087]
  本研究では,通常の逆カオス時系列を分類するために訓練されたニューラルネットワークの内部動作について検討する。 入力周期性とアクティベーション周期の関係は,LKCNNモデルの性能向上の鍵となる。
  論文  参考訳（メタデータ） (2023-06-04T08:53:27Z)
• A Novel Explainable Out-of-Distribution Detection Approach for Spiking Neural Networks [6.100274095771616]
  この研究は、スパイキングニューラルネットワークに入力されたテスト例がトレーニングされたデータの分布に属するかどうかを識別できる新しいOoD検出器を提案する。 我々は、スパイクカウントパターンの形で、ネットワークの隠蔽層の内部活性化を特徴付ける。 入力インスタンスのどの部分が最もOoDサンプルとして検出されるかを明らかにする属性マップを作成するために,局所的な説明法が考案された。
  論文  参考訳（メタデータ） (2022-09-30T11:16:35Z)
• Implicit N-grams Induced by Recurrence [10.053475465955794]
  本稿では,隠された状態内に存在する説明可能な構成要素が実際に存在することを示す。 下流感情分析課題において, 訓練されたRNNから抽出した特徴を抽出し, 興味深い言語現象のモデル化に有効であることを確認した。
  論文  参考訳（メタデータ） (2022-05-05T15:53:46Z)
• Data-driven emergence of convolutional structure in neural networks [83.4920717252233]
  識別タスクを解くニューラルネットワークが、入力から直接畳み込み構造を学習できることを示す。 データモデルを慎重に設計することにより、このパターンの出現は、入力の非ガウス的、高次局所構造によって引き起こされることを示す。
  論文  参考訳（メタデータ） (2022-02-01T17:11:13Z)
• On the benefits of robust models in modulation recognition [53.391095789289736]
  畳み込み層を用いたディープニューラルネットワーク(DNN)は、通信における多くのタスクにおいて最先端である。 画像分類のような他の領域では、DNNは敵の摂動に弱いことが示されている。 最新モデルの堅牢性をテストするための新しいフレームワークを提案する。
  論文  参考訳（メタデータ） (2021-03-27T19:58:06Z)
• Recoding latent sentence representations -- Dynamic gradient-based activation modification in RNNs [0.0]
  RNNでは、サブオプティマティックな方法で情報をエンコーディングすることは、シーケンスの後の要素に基づいて表現の質に影響を与える可能性がある。 勾配に基づく補正機構を用いて,標準RNNへの拡張を提案する。 言語モデリングの文脈で異なる実験を行い、そのようなメカニズムを使うことによる影響を詳細に調べる。
  論文  参考訳（メタデータ） (2021-01-03T17:54:17Z)
• The geometry of integration in text classification RNNs [20.76659136484842]
  本研究では,自然テキスト分類タスクと合成テキスト分類タスクの両方のバッテリで訓練されたリカレントネットワークについて検討する。 これらの訓練されたRNNの力学は、解釈可能かつ低次元であることがわかった。 我々の観測は、複数のアーキテクチャとデータセットにまたがっており、RNNがテキスト分類を行うのに使用する共通メカニズムを反映している。
  論文  参考訳（メタデータ） (2020-10-28T17:58:53Z)
• Explaining and Improving Model Behavior with k Nearest Neighbor Representations [107.24850861390196]
  モデルの予測に責任のあるトレーニング例を特定するために, k 近傍表現を提案する。 我々は,kNN表現が学習した素因関係を明らかにするのに有効であることを示す。 以上の結果から,kNN手法により,直交モデルが逆入力に対してより堅牢であることが示唆された。
  論文  参考訳（メタデータ） (2020-10-18T16:55:25Z)
• Deep Representational Similarity Learning for analyzing neural signatures in task-based fMRI dataset [81.02949933048332]
  本稿では、表現類似度分析(RSA)の深部拡張であるDRSL(Deep Representational similarity Learning)を開発する。 DRSLは、多数の被験者を持つfMRIデータセットにおける様々な認知タスク間の類似性を分析するのに適している。
  論文  参考訳（メタデータ） (2020-09-28T18:30:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。