論文の概要: Measuring and Controlling Solution Degeneracy across Task-Trained Recurrent Neural Networks

• arxiv url: http://arxiv.org/abs/2410.03972v2
• Date: Wed, 28 May 2025 18:31:26 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-30 18:14:07.310446
• Title: Measuring and Controlling Solution Degeneracy across Task-Trained Recurrent Neural Networks
• Title（参考訳）: タスク訓練されたリカレントニューラルネットワークにおける解の縮退性の測定と制御
• Authors: Ann Huang, Satpreet H. Singh, Flavio Martinelli, Kanaka Rajan,
• Abstract要約: タスク訓練されたリカレントニューラルネットワーク(RNN)は、計算をモデル化するために神経科学や機械学習で広く使われている。 同じタスクでトレーニングされた異なるRNNと、同様のパフォーマンスを達成することは、ソリューションデリジェンシーとして知られる、非常に異なる内部ソリューションを示す可能性がある。 ここでは、行動、ニューラルダイナミクス、ウェイトスペースという3つのレベルにまたがる解の縮退を定量化し、制御するための統一的なフレームワークを開発する。
• 参考スコア（独自算出の注目度）: 3.049887057143419
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Task-trained recurrent neural networks (RNNs) are widely used in neuroscience and machine learning to model dynamical computations. To gain mechanistic insight into how neural systems solve tasks, prior work often reverse-engineers individual trained networks. However, different RNNs trained on the same task and achieving similar performance can exhibit strikingly different internal solutions-a phenomenon known as solution degeneracy. Here, we develop a unified framework to systematically quantify and control solution degeneracy across three levels: behavior, neural dynamics, and weight space. We apply this framework to 3,400 RNNs trained on four neuroscience-relevant tasks-flip-flop memory, sine wave generation, delayed discrimination, and path integration-while systematically varying task complexity, learning regime, network size, and regularization. We find that higher task complexity and stronger feature learning reduce degeneracy in neural dynamics but increase it in weight space, with mixed effects on behavior. In contrast, larger networks and structural regularization reduce degeneracy at all three levels. These findings empirically validate the Contravariance Principle and provide practical guidance for researchers aiming to tailor RNN solutions-whether to uncover shared neural mechanisms or to model individual variability observed in biological systems. This work provides a principled framework for quantifying and controlling solution degeneracy in task-trained RNNs, offering new tools for building more interpretable and biologically grounded models of neural computation.
• Abstract（参考訳）: タスク学習型リカレントニューラルネットワーク(RNN)は、神経科学や機械学習において、動的計算をモデル化するために広く利用されている。 ニューラルネットワークがタスクの解決方法に関する機械的な洞察を得るために、以前の作業はトレーニングされた個々のネットワークをリバースエンジニアリングすることが多い。 しかし、同じタスクでトレーニングされた異なるRNNと、同様のパフォーマンスを達成することは、非常に異なる内部ソリューションを示す可能性がある。 そこで我々は,行動,ニューラルダイナミクス,ウェイトスペースという3つのレベルにまたがって,解の縮退を体系的に定量化し,制御する統一的なフレームワークを開発した。 この枠組みを,4つの神経科学関連タスク-フリップフロップメモリ,正弦波生成,遅延識別,経路統合を訓練した3,400のRNNに適用した。 タスクの複雑化と機能学習の強化により、神経力学の縮退は減少するが、重み空間では増加し、行動に混ざった影響が生じる。 対照的に、より大きなネットワークと構造的正規化は、全ての3つのレベルで縮退を減少させる。 これらの知見は, コントラ変性原理を実証的に検証し, 共用神経機構を明らかにするか, 生物学的システムで観察される個体変動をモデル化するかを, RNN ソリューションを調整するための実践的ガイダンスを提供する。 この研究は、タスク訓練されたRNNにおける解の縮退を定量化し、制御するための原則化されたフレームワークを提供し、より解釈可能な生物学的基盤を持つニューラル計算モデルを構築するための新しいツールを提供する。

関連論文リスト

• A Recurrent Spiking Network with Hierarchical Intrinsic Excitability Modulation for Schema Learning [20.722060005437353]
  ニューラル計算の現在の研究は、単一の行動パラダイムに大きく制約されている。 階層内在性興奮性変調(HM-RSNN)を用いた繰り返しスパイクニューラルネットワークを用いた新しいモデルを提案する。 HM-RSNNは、すべてのタスクにおいてRSNNのベースラインを著しく上回り、3つの新しい認知タスクにおいてRNNを上回る。
  論文  参考訳（メタデータ） (2025-01-24T14:45:03Z)
• Enhancing learning in spiking neural networks through neuronal heterogeneity and neuromodulatory signaling [52.06722364186432]
  人工ニューラルネットワーク(ANN)の強化のための生物学的インフォームドフレームワークを提案する。 提案したデュアルフレームアプローチは、多様なスパイキング動作をエミュレートするためのスパイキングニューラルネットワーク(SNN)の可能性を強調している。 提案手法は脳にインスパイアされたコンパートメントモデルとタスク駆動型SNN, バイオインスピレーション, 複雑性を統合している。
  論文  参考訳（メタデータ） (2024-07-05T14:11:28Z)
• Context Gating in Spiking Neural Networks: Achieving Lifelong Learning through Integration of Local and Global Plasticity [20.589970453110208]
  ヒトは前頭前皮質(PFC)の文脈ゲーティング機構を通じて、最小の相互干渉で連続して複数のタスクを学習する 本研究では,生涯学習のための局所可塑性規則(CG-SNN)によって訓練された文脈ゲーティングを用いたSNNを提案する。 実験により,提案モデルは過去の学習経験を維持する上で有効であり,生涯学習における他の方法よりも優れたタスク選択性を有することが示された。
  論文  参考訳（メタデータ） (2024-06-04T01:35:35Z)
• Simple and Effective Transfer Learning for Neuro-Symbolic Integration [50.592338727912946]
  この問題の潜在的な解決策はNeuro-Symbolic Integration (NeSy)であり、ニューラルアプローチとシンボリック推論を組み合わせる。 これらの手法のほとんどは、認識をシンボルにマッピングするニューラルネットワークと、下流タスクの出力を予測する論理的論理的推論を利用する。 それらは、緩やかな収束、複雑な知覚タスクの学習困難、局所的なミニマへの収束など、いくつかの問題に悩まされている。 本稿では,これらの問題を改善するための簡易かつ効果的な方法を提案する。
  論文  参考訳（メタデータ） (2024-02-21T15:51:01Z)
• Adaptive recurrent vision performs zero-shot computation scaling to unseen difficulty levels [6.053394076324473]
  また,適応計算により,学習分布の難易度を超える解を視覚モデルで外挿できるかどうかを検討する。 畳み込みリカレントニューラルネットワーク(ConvRNN)とGraves(PathFinder)とMazes(Mazes)をベースとした学習可能なメカニズムを組み合わせる。 本稿では,AdRNNが早期(ないし遅れ)の処理を動的に停止して,より容易(あるいは困難)な問題を解消できることを示し,また,テスト時の繰り返し回数を動的に増加させることで,トレーニング中に表示されないより困難な問題設定に0ショットを一般化する。
  論文  参考訳（メタデータ） (2023-11-12T21:07:04Z)
• Enhancing Efficient Continual Learning with Dynamic Structure Development of Spiking Neural Networks [6.407825206595442]
  子どもは複数の認知タスクを逐次学習する能力を持っている。 既存の連続学習フレームワークは通常、ディープニューラルネットワーク(DNN)に適用できる。 本研究では,効率的な適応型連続学習のためのスパイキングニューラルネットワーク(DSD-SNN)の動的構造開発を提案する。
  論文  参考訳（メタデータ） (2023-08-09T07:36:40Z)
• A Hybrid Neural Coding Approach for Pattern Recognition with Spiking Neural Networks [53.31941519245432]
  脳にインスパイアされたスパイクニューラルネットワーク(SNN)は、パターン認識タスクを解く上で有望な能力を示している。 これらのSNNは、情報表現に一様神経コーディングを利用する同質ニューロンに基づいている。 本研究では、SNNアーキテクチャは異種符号化方式を組み込むよう、均質に設計されるべきである、と論じる。
  論文  参考訳（メタデータ） (2023-05-26T02:52:12Z)
• Dynamic Neural Diversification: Path to Computationally Sustainable Neural Networks [68.8204255655161]
  訓練可能なパラメータが制限された小さなニューラルネットワークは、多くの単純なタスクに対してリソース効率の高い候補となる。 学習過程において隠れた層内のニューロンの多様性を探索する。 ニューロンの多様性がモデルの予測にどのように影響するかを分析する。
  論文  参考訳（メタデータ） (2021-09-20T15:12:16Z)
• Exploiting Heterogeneity in Operational Neural Networks by Synaptic Plasticity [87.32169414230822]
  最近提案されたネットワークモデルであるオペレーショナルニューラルネットワーク(ONN)は、従来の畳み込みニューラルネットワーク(CNN)を一般化することができる。 本研究では, 生体ニューロンにおける本質的な学習理論を示すSynaptic Plasticityパラダイムに基づいて, ネットワークの隠蔽ニューロンに対する最強演算子集合の探索に焦点をあてる。 高難易度問題に対する実験結果から、神経細胞や層が少なくても、GISベースのONNよりも優れた学習性能が得られることが示された。
  論文  参考訳（メタデータ） (2020-08-21T19:03:23Z)
• Training spiking neural networks using reinforcement learning [0.0]
  本稿では,スパイクニューラルネットワークのトレーニングを容易にするために,生物学的に有望なバックプロパゲーション代替法を提案する。 本研究では,空間的・時間的信用割当問題の解決における強化学習規則の適用可能性を検討することに注力する。 我々は、グリッドワールド、カートポール、マウンテンカーといった従来のRLドメインに適用することで、2つのアプローチを比較し、対比する。
  論文  参考訳（メタデータ） (2020-05-12T17:40:36Z)
• Recurrent Neural Network Learning of Performance and Intrinsic Population Dynamics from Sparse Neural Data [77.92736596690297]
  本稿では,RNNの入出力動作だけでなく,内部ネットワークのダイナミクスも学習できる新しいトレーニング戦略を提案する。 提案手法は、RNNを訓練し、生理学的にインスパイアされた神経モデルの内部ダイナミクスと出力信号を同時に再現する。 注目すべきは、トレーニングアルゴリズムがニューロンの小さなサブセットの活性に依存する場合であっても、内部動力学の再現が成功することである。
  論文  参考訳（メタデータ） (2020-05-05T14:16:54Z)
• Exploring weight initialization, diversity of solutions, and degradation in recurrent neural networks trained for temporal and decision-making tasks [0.0]
  リカレントニューラルネットワーク(Recurrent Neural Networks, RNN)は、脳機能と構造をモデル化するために頻繁に使用される。 本研究では,時間変化刺激による時間・流れ制御タスクを行うために,小型完全接続型RNNを訓練した。
  論文  参考訳（メタデータ） (2019-06-03T21:56:48Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。