論文の概要: When Does Neuroevolution Outcompete Reinforcement Learning in Transfer Learning Tasks?
- arxiv url: http://arxiv.org/abs/2505.22696v1
- Date: Wed, 28 May 2025 13:15:18 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-05-30 18:14:07.444914
- Title: When Does Neuroevolution Outcompete Reinforcement Learning in Transfer Learning Tasks?
- Title（参考訳）: 転帰学習課題における神経進化は強化学習に有効か?
- Authors: Eleni Nisioti, Joachim Winther Pedersen, Erwan Plantec, Milton L. Montero, Sebastian Risi,
- Abstract要約: ニューロエボリューション(NE)は、局所最適化から逃れるための堅牢性、スケーラビリティ、能力について最近注目を集めている。
ステップゲートでは、ニューラルネットワークが論理回路をエミュレートし、モジュラー繰り返しと変分bを強調する設計で、エコロボットはブラックス物理エンジンを壁や障害物などの物体で拡張する。
実験により, NE法は伝達能力に違いがあり, RL法よりも高い結果が得られた。
- 参考スコア（独自算出の注目度）: 7.479827648985631
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: The ability to continuously and efficiently transfer skills across tasks is a hallmark of biological intelligence and a long-standing goal in artificial systems. Reinforcement learning (RL), a dominant paradigm for learning in high-dimensional control tasks, is known to suffer from brittleness to task variations and catastrophic forgetting. Neuroevolution (NE) has recently gained attention for its robustness, scalability, and capacity to escape local optima. In this paper, we investigate an understudied dimension of NE: its transfer learning capabilities. To this end, we introduce two benchmarks: a) in stepping gates, neural networks are tasked with emulating logic circuits, with designs that emphasize modular repetition and variation b) ecorobot extends the Brax physics engine with objects such as walls and obstacles and the ability to easily switch between different robotic morphologies. Crucial in both benchmarks is the presence of a curriculum that enables evaluating skill transfer across tasks of increasing complexity. Our empirical analysis shows that NE methods vary in their transfer abilities and frequently outperform RL baselines. Our findings support the potential of NE as a foundation for building more adaptable agents and highlight future challenges for scaling NE to complex, real-world problems.
- Abstract（参考訳）: タスク間で継続的に効率的にスキルを伝達する能力は、生物学的知能の目印であり、人工知能における長年の目標である。
強化学習(Reinforcement Learning, RL)は、高次元制御タスクにおける学習の主流パラダイムであり、不安定性からタスクのバリエーション、破滅的な忘れ込みに悩まされていることが知られている。
ニューロエボリューション(NE)は、局所最適化から逃れるための堅牢性、スケーラビリティ、能力について最近注目を集めている。
本稿では,NEの下位次元である伝達学習能力について検討する。
この目的のために、私たちは2つのベンチマークを紹介します。
a) ステップゲートにおいて、ニューラルネットワークは論理回路のエミュレートを任務とし、モジュラー繰り返しと変動を強調する設計
b)エコロボットは、壁や障害物等の物体でブラックス物理エンジンを拡張し、異なるロボット形態を簡単に切り替えることができる。
両方のベンチマークで重要なのは、複雑さを増すタスク間のスキル伝達を評価するカリキュラムの存在だ。
実験により, NE法は伝達能力に違いがあり, RL法よりも高い結果が得られた。
我々の研究は、より適応性の高いエージェントを構築する基盤としてNEの可能性を支持し、NEを複雑で現実的な問題に拡張する際の今後の課題を強調します。
関連論文リスト
- The Importance of Being Lazy: Scaling Limits of Continual Learning [60.97756735877614]
モデル幅の増大は,特徴学習の量を減らし,遅延度を高めた場合にのみ有益であることを示す。
特徴学習,タスク非定常性,および忘れることの複雑な関係について検討し,高い特徴学習が極めて類似したタスクにのみ有用であることを示す。
論文 参考訳（メタデータ） (2025-06-20T10:12:38Z) - Semi-parametric Memory Consolidation: Towards Brain-like Deep Continual Learning [59.35015431695172]
本稿では,半パラメトリックメモリと覚醒・睡眠統合機構を統合したバイオミメティック連続学習フレームワークを提案する。
提案手法は,実世界の挑戦的連続学習シナリオにおいて,先行知識を維持しつつ,新しいタスクにおけるディープニューラルネットワークの高性能維持を可能にする。
論文 参考訳（メタデータ） (2025-04-20T19:53:13Z) - Neural Models of Task Adaptation: A Tutorial on Spiking Networks for Executive Control [0.0]
このチュートリアルでは、タスクスイッチングのダイナミクスをシミュレートするスパイキングニューラルネットワーク(SNN)を構築するためのステップバイステップのアプローチを示す。
このモデルには、横方向の抑制、適応的なシナプス重み、生理的関連範囲における正確なパラメータ化など、生物学的に現実的な特徴が組み込まれている。
このチュートリアルに従うことで、認知過程や神経適応を研究するための生物学的にインスパイアされたSNNモデルを開発、拡張することができる。
論文 参考訳（メタデータ） (2025-03-05T00:44:34Z) - Enhancing learning in spiking neural networks through neuronal heterogeneity and neuromodulatory signaling [52.06722364186432]
人工ニューラルネットワーク(ANN)の強化のための生物学的インフォームドフレームワークを提案する。
提案したデュアルフレームアプローチは、多様なスパイキング動作をエミュレートするためのスパイキングニューラルネットワーク(SNN)の可能性を強調している。
提案手法は脳にインスパイアされたコンパートメントモデルとタスク駆動型SNN, バイオインスピレーション, 複雑性を統合している。
論文 参考訳（メタデータ） (2024-07-05T14:11:28Z) - Bidirectional Progressive Neural Networks with Episodic Return Progress
for Emergent Task Sequencing and Robotic Skill Transfer [1.7205106391379026]
双方向進行型ニューラルネットワーク(ERP-BPNN)を用いた多タスク強化学習フレームワークについて紹介する。
提案するERP-BPNNモデルは,(2)本質的なモチベーション信号に基づく自律的なタスク切替によって,人間のようなインターリーブ方式で学習する。
本研究では,ERP-BPNNによる累積収束の高速化と,形態的に異なるロボットに比較して,全ての指標の性能向上を図っている。
論文 参考訳（メタデータ） (2024-03-06T19:17:49Z) - Neuro-mimetic Task-free Unsupervised Online Learning with Continual
Self-Organizing Maps [56.827895559823126]
自己組織化マップ(英: Self-organizing map、SOM)は、クラスタリングや次元減少によく用いられるニューラルネットワークモデルである。
低メモリ予算下でのオンライン教師なし学習が可能なSOM(連続SOM)の一般化を提案する。
MNIST, Kuzushiji-MNIST, Fashion-MNISTなどのベンチマークでは, ほぼ2倍の精度が得られた。
論文 参考訳（メタデータ） (2024-02-19T19:11:22Z) - Towards continual task learning in artificial neural networks: current
approaches and insights from neuroscience [0.0]
人間や他の動物が、多様で、しばしば干渉し、知識の範囲を学習する能力は、自然知性の目印である。
人工知能がさまざまなタスクやドメインをまたいで学習できることは、人工知能の明確な目標である。
論文 参考訳（メタデータ） (2021-12-28T13:50:51Z) - Reducing Catastrophic Forgetting in Self Organizing Maps with
Internally-Induced Generative Replay [67.50637511633212]
生涯学習エージェントは、パターン知覚データの無限のストリームから継続的に学習することができる。
適応するエージェントを構築する上での歴史的難しさの1つは、ニューラルネットワークが新しいサンプルから学ぶ際に、以前取得した知識を維持するのに苦労していることである。
この問題は破滅的な忘れ(干渉)と呼ばれ、今日の機械学習の領域では未解決の問題のままである。
論文 参考訳（メタデータ） (2021-12-09T07:11:14Z) - Towards Efficient Processing and Learning with Spikes: New Approaches
for Multi-Spike Learning [59.249322621035056]
各種タスクにおける他のベースラインよりも優れた性能を示すための2つの新しいマルチスパイク学習ルールを提案する。
特徴検出タスクでは、教師なしSTDPの能力と、その制限を提示する能力を再検討する。
提案した学習ルールは,特定の制約を適用せずに,幅広い条件で確実にタスクを解くことができる。
論文 参考訳（メタデータ） (2020-05-02T06:41:20Z) - Evolving Inborn Knowledge For Fast Adaptation in Dynamic POMDP Problems [5.23587935428994]
本稿では,POMDPにおける自己エンコーダの潜伏空間を利用した制御器を進化させるために,ニューラルネットワークの高度適応性を利用する。
生まれながらの知識とオンラインの可塑性の統合は、進化的でないメタ強化学習アルゴリズムと比較して、迅速な適応と性能の向上を可能にした。
論文 参考訳（メタデータ） (2020-04-27T14:55:08Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。