論文の概要: Discovering alternative solutions beyond the simplicity bias in recurrent neural networks

• arxiv url: http://arxiv.org/abs/2509.21504v1
• Date: Thu, 25 Sep 2025 19:59:04 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-09-29 20:57:53.968168
• Title: Discovering alternative solutions beyond the simplicity bias in recurrent neural networks
• Title（参考訳）: リカレントニューラルネットワークの単純さバイアスを超えた代替ソリューションを発見する
• Authors: William Qian, Cengiz Pehlevan,
• Abstract要約: 神経科学的なタスクを実行するためのリカレントニューラルネットワーク(RNN)のトレーニングは、ニューラルネットワークがどのように計算を行うかの仮説を生成する一般的な方法となっている。 最近の研究は、タスク学習されたRNNが強力な単純さバイアスを持つことを示した。 本稿では、この帰納バイアスを破るために、反復的ニューラル類似度デフレを提案する。
• 参考スコア（独自算出の注目度）: 36.12962884836429
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Training recurrent neural networks (RNNs) to perform neuroscience-style tasks has become a popular way to generate hypotheses for how neural circuits in the brain might perform computations. Recent work has demonstrated that task-trained RNNs possess a strong simplicity bias. In particular, this inductive bias often causes RNNs trained on the same task to collapse on effectively the same solution, typically comprised of fixed-point attractors or other low-dimensional dynamical motifs. While such solutions are readily interpretable, this collapse proves counterproductive for the sake of generating a set of genuinely unique hypotheses for how neural computations might be performed. Here we propose Iterative Neural Similarity Deflation (INSD), a simple method to break this inductive bias. By penalizing linear predictivity of neural activity produced by standard task-trained RNNs, we find an alternative class of solutions to classic neuroscience-style RNN tasks. These solutions appear distinct across a battery of analysis techniques, including representational similarity metrics, dynamical systems analysis, and the linear decodability of task-relevant variables. Moreover, these alternative solutions can sometimes achieve superior performance in difficult or out-of-distribution task regimes. Our findings underscore the importance of moving beyond the simplicity bias to uncover richer and more varied models of neural computation.
• Abstract（参考訳）: 神経科学的なタスクを実行するためのリカレントニューラルネットワーク(RNN)のトレーニングは、脳内の神経回路がどのように計算を行うかの仮説を生成する一般的な方法となっている。 最近の研究は、タスク学習されたRNNが強力な単純さバイアスを持つことを示した。 特に、この誘導バイアスは、しばしば同じタスクで訓練されたRNNが事実上同じ解で崩壊する原因となる。 このような解は容易に解釈できるが、この崩壊は、ニューラルネットワークがどのように実行されるかという真にユニークな仮説を生成するために、反生産的であることを証明している。 本稿では、この帰納バイアスを破る簡単な手法である反復的ニューラル類似デフレレーション(INSD)を提案する。 標準タスク訓練されたRNNが生成する神経活動の線形予測係数をペナライズすることにより、古典的神経科学スタイルのRNNタスクに対する代替解のクラスを見つける。 これらの解は、表現的類似度メトリクス、動的システム分析、タスク関連変数の線形な陰極性など、分析技術の電池間で異なるように見える。 さらに、これらの代替ソリューションは、難しい、あるいは配布外タスクレジームにおいて優れたパフォーマンスを達成することがある。 我々の発見は、よりリッチで多様なニューラル計算モデルを明らかにするために、単純さのバイアスを超えて動くことの重要性を浮き彫りにした。

関連論文リスト

• Measuring and Controlling Solution Degeneracy across Task-Trained Recurrent Neural Networks [3.049887057143419]
  タスク訓練されたリカレントニューラルネットワーク(RNN)は、計算をモデル化するために神経科学や機械学習で広く使われている。 同じタスクでトレーニングされた異なるRNNと、同様のパフォーマンスを達成することは、ソリューションデリジェンシーとして知られる、非常に異なる内部ソリューションを示す可能性がある。 ここでは、行動、ニューラルダイナミクス、ウェイトスペースという3つのレベルにまたがる解の縮退を定量化し、制御するための統一的なフレームワークを開発する。
  論文  参考訳（メタデータ） (2024-10-04T23:23:55Z)
• Inferring stochastic low-rank recurrent neural networks from neural data [5.179844449042386]
  計算神経科学における中心的な目的は、大きなニューロンの活動と基礎となる力学系を関連付けることである。 低ランクリカレントニューラルネットワーク(RNN)は、トラクタブルダイナミクスを持つことによって、そのような解釈可能性を示す。 そこで本研究では,低ランクRNNをモンテカルロ変分法に適合させる手法を提案する。
  論文  参考訳（メタデータ） (2024-06-24T15:57:49Z)
• Graph Neural Networks for Learning Equivariant Representations of Neural Networks [55.04145324152541]
  本稿では,ニューラルネットワークをパラメータの計算グラフとして表現することを提案する。 我々のアプローチは、ニューラルネットワークグラフを多種多様なアーキテクチャでエンコードする単一モデルを可能にする。 本稿では,暗黙的ニューラル表現の分類や編集など,幅広いタスクにおける本手法の有効性を示す。
  論文  参考訳（メタデータ） (2024-03-18T18:01:01Z)
• Spiking neural network for nonlinear regression [68.8204255655161]
  スパイクニューラルネットワークは、メモリとエネルギー消費を大幅に削減する可能性を持っている。 彼らは、次世代のニューロモルフィックハードウェアによって活用できる時間的および神経的疎結合を導入する。 スパイキングニューラルネットワークを用いた回帰フレームワークを提案する。
  論文  参考訳（メタデータ） (2022-10-06T13:04:45Z)
• Dynamic Neural Diversification: Path to Computationally Sustainable Neural Networks [68.8204255655161]
  訓練可能なパラメータが制限された小さなニューラルネットワークは、多くの単純なタスクに対してリソース効率の高い候補となる。 学習過程において隠れた層内のニューロンの多様性を探索する。 ニューロンの多様性がモデルの予測にどのように影響するかを分析する。
  論文  参考訳（メタデータ） (2021-09-20T15:12:16Z)
• Path classification by stochastic linear recurrent neural networks [2.5499055723658097]
  トレーニングや分類作業に利用されるユニークな情報として,RNNが供給される経路の部分的なシグネチャを保持することを示す。 これらのRNNは訓練が容易で堅牢であり、これらの観測を合成データと実データの両方で数値実験で裏付けるものである、と我々は主張する。
  論文  参考訳（メタデータ） (2021-08-06T12:59:12Z)
• Recurrent Neural Network Learning of Performance and Intrinsic Population Dynamics from Sparse Neural Data [77.92736596690297]
  本稿では,RNNの入出力動作だけでなく,内部ネットワークのダイナミクスも学習できる新しいトレーニング戦略を提案する。 提案手法は、RNNを訓練し、生理学的にインスパイアされた神経モデルの内部ダイナミクスと出力信号を同時に再現する。 注目すべきは、トレーニングアルゴリズムがニューロンの小さなサブセットの活性に依存する場合であっても、内部動力学の再現が成功することである。
  論文  参考訳（メタデータ） (2020-05-05T14:16:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。