論文の概要: Reinforcement learning in densely recurrent biological networks

• arxiv url: http://arxiv.org/abs/2508.09618v1
• Date: Wed, 13 Aug 2025 08:49:59 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-08-14 20:42:00.818479
• Title: Reinforcement learning in densely recurrent biological networks
• Title（参考訳）: 濃密に繰り返される生体ネットワークにおける強化学習
• Authors: Miles Walter Churchland, Jordi Garcia-Ojalvo,
• Abstract要約: 本研究では,グローバルな進化的探索と局所的な直接探索の併用による強化学習を実現するハイブリッド・デリバティブフリーフレームワークを提案する。 ENOMADと呼ばれるこの手法は、食物を捕食する一連のタスクでベンチマークされている。 この手法の2つのアルゴリズム的変種が導入されたため、多くの重みの小さな分散調整や、限られた数の重みに対する大きな変更が導かれる。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Training highly recurrent networks in continuous action spaces is a technical challenge: gradient-based methods suffer from exploding or vanishing gradients, while purely evolutionary searches converge slowly in high-dimensional weight spaces. We introduce a hybrid, derivative-free optimization framework that implements reinforcement learning by coupling global evolutionary exploration with local direct search exploitation. The method, termed ENOMAD (Evolutionary Nonlinear Optimization with Mesh Adaptive Direct search), is benchmarked on a suite of food-foraging tasks instantiated in the fully mapped neural connectome of the nematode \emph{Caenorhabditis elegans}. Crucially, ENOMAD leverages biologically derived weight priors, letting it refine--rather than rebuild--the organism's native circuitry. Two algorithmic variants of the method are introduced, which lead to either small distributed adjustments of many weights, or larger changes on a limited number of weights. Both variants significantly exceed the performance of the untrained connectome (in what can be interpreted as an example of transfer learning) and of existing training strategies. These findings demonstrate that integrating evolutionary search with nonlinear optimization provides an efficient, biologically grounded strategy for specializing natural recurrent networks towards a specified set of tasks.
• Abstract（参考訳）: 勾配に基づく手法は、爆発的あるいは消滅的な勾配に苦しむ一方、純粋に進化的探索は高次元の重み空間にゆっくりと収束する。 本研究では,グローバルな進化的探索と局所的な直接探索の併用による強化学習を実現するハイブリッドな微分自由最適化フレームワークを提案する。 ENOMAD (Evolutionary nonlinear Optimization with Mesh Adaptive Direct search) と呼ばれるこの手法は、線虫 \emph{Caenorhabditis elegans} の完全なマップ化された神経コネクトームでインスタンス化された食品を捕食する一連のタスクでベンチマークされる。 重要なことは、ENOMADは生物学的に派生した体重を生かし、生物の原生回路を再構築するよりも精巧にすることができる。 この手法の2つのアルゴリズム的変種が導入されたため、多くの重みの小さな分散調整や、限られた数の重みに対する大きな変更が導かれる。 どちらの変種も、訓練されていないコネクトーム(移動学習の例として解釈できる)と既存の訓練戦略のパフォーマンスを著しく上回っている。 これらの結果から, 進化的探索と非線形最適化を組み合わせることで, 自然再帰的ネットワークを特定のタスク群に限定するための, 効率的かつ生物学的基盤とした戦略が得られた。

関連論文リスト

• Adaptive Class Emergence Training: Enhancing Neural Network Stability and Generalization through Progressive Target Evolution [0.0]
  分類問題におけるニューラルネットワークの新しいトレーニング手法を提案する。 我々は、トレーニングプロセスを通して、ヌルベクトルから1ホットの符号化ベクターへのターゲット出力を進化させる。 この段階的な遷移により、ネットワークは分類タスクの複雑さの増大によりスムーズに適応できる。
  論文  参考訳（メタデータ） (2024-09-04T03:25:48Z)
• Hallmarks of Optimization Trajectories in Neural Networks: Directional Exploration and Redundancy [75.15685966213832]
  最適化トラジェクトリのリッチな方向構造をポイントワイズパラメータで解析する。 トレーニング中のスカラーバッチノルムパラメータは,ネットワーク全体のトレーニング性能と一致していることを示す。
  論文  参考訳（メタデータ） (2024-03-12T07:32:47Z)
• Lottery Tickets in Evolutionary Optimization: On Sparse Backpropagation-Free Trainability [0.0]
  我々は勾配降下(GD)に基づくスパーストレーニングと進化戦略(ES)について研究する。 ESは多様で平坦な局所最適条件を探索し、疎度レベルと独立ランをまたいだ線形モード接続を保たないことがわかった。
  論文  参考訳（メタデータ） (2023-05-31T15:58:54Z)
• Globally Optimal Training of Neural Networks with Threshold Activation Functions [63.03759813952481]
  しきい値アクティベートを伴うディープニューラルネットワークの重み劣化正規化学習問題について検討した。 ネットワークの特定の層でデータセットを破砕できる場合に、簡易な凸最適化の定式化を導出する。
  論文  参考訳（メタデータ） (2023-03-06T18:59:13Z)
• Direct Mutation and Crossover in Genetic Algorithms Applied to Reinforcement Learning Tasks [0.9137554315375919]
  本稿では、遺伝的アルゴリズム(GA)を用いて神経進化を適用し、最適な行動エージェントを生成するニューラルネットワークの重みを見つけることに焦点を当てる。 本稿では,データ効率と収束速度を初期実装と比較して改善する2つの新しい修正法を提案する。
  論文  参考訳（メタデータ） (2022-01-13T07:19:28Z)
• Non-Gradient Manifold Neural Network [79.44066256794187]
  ディープニューラルネットワーク(DNN)は通常、勾配降下による最適化に数千のイテレーションを要します。 非次最適化に基づく新しい多様体ニューラルネットワークを提案する。
  論文  参考訳（メタデータ） (2021-06-15T06:39:13Z)
• Epigenetic evolution of deep convolutional models [81.21462458089142]
  我々は、より深い畳み込みモデルを進化させるために、これまで提案されていた神経進化の枠組みを構築した。 異なる形状と大きさのカーネルを同一層内に共存させる畳み込み層配置を提案する。 提案したレイアウトにより、畳み込み層内の個々のカーネルのサイズと形状を、対応する新しい突然変異演算子で進化させることができる。
  論文  参考訳（メタデータ） (2021-04-12T12:45:16Z)
• An Ode to an ODE [78.97367880223254]
  我々は、O(d) 群上の行列フローに応じて主フローの時間依存パラメータが進化する ODEtoODE と呼ばれるニューラルODE アルゴリズムの新しいパラダイムを提案する。 この2つの流れのネストされたシステムは、訓練の安定性と有効性を提供し、勾配の消滅・爆発問題を確実に解決する。
  論文  参考訳（メタデータ） (2020-06-19T22:05:19Z)
• A Hybrid Method for Training Convolutional Neural Networks [3.172761915061083]
  本稿では,畳み込みニューラルネットワークの学習にバックプロパゲーションと進化戦略の両方を用いるハイブリッド手法を提案する。 画像分類のタスクにおいて,提案手法は定期的な訓練において改善可能であることを示す。
  論文  参考訳（メタデータ） (2020-04-15T17:52:48Z)
• Dynamic Hierarchical Mimicking Towards Consistent Optimization Objectives [73.15276998621582]
  一般化能力を高めたCNN訓練を推進するための汎用的特徴学習機構を提案する。 DSNに部分的にインスパイアされた私たちは、ニューラルネットワークの中間層から微妙に設計されたサイドブランチをフォークしました。 カテゴリ認識タスクとインスタンス認識タスクの両方の実験により,提案手法の大幅な改善が示された。
  論文  参考訳（メタデータ） (2020-03-24T09:56:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。