論文の概要: Dynamic Mixture of Experts Against Severe Distribution Shifts
- arxiv url: http://arxiv.org/abs/2511.18987v1
- Date: Mon, 24 Nov 2025 11:00:32 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-11-25 18:34:25.169824
- Title: Dynamic Mixture of Experts Against Severe Distribution Shifts
- Title（参考訳）: 重度分布変化に対するエキスパートの動的混合
- Authors: Donghu Kim,
- Abstract要約: 継続的学習(CL)と強化学習(RL)の分野において、継続的な学習と進化するデータストリームへの適応が可能なニューラルネットワークの構築が課題となっている。
ニューラルネットワークとは異なり、生物学的脳は容量成長を通じて可塑性を維持しており、研究者は動的に容量を追加するなど、人工ネットワークにおける同様のアプローチを探求するよう促している。
本稿では、継続学習環境と強化学習環境に対するDynamicMoEアプローチの評価を行い、既存のネットワーク拡張手法と比較してその有効性を評価することを目的とする。
- 参考スコア（独自算出の注目度）: 3.186496815126283
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: The challenge of building neural networks that can continuously learn and adapt to evolving data streams is central to the fields of continual learning (CL) and reinforcement learning (RL). This lifelong learning problem is often framed in terms of the plasticity-stability dilemma, focusing on issues like loss of plasticity and catastrophic forgetting. Unlike neural networks, biological brains maintain plasticity through capacity growth, inspiring researchers to explore similar approaches in artificial networks, such as adding capacity dynamically. Prior solutions often lack parameter efficiency or depend on explicit task indices, but Mixture-of-Experts (MoE) architectures offer a promising alternative by specializing experts for distinct distributions. This paper aims to evaluate a DynamicMoE approach for continual and reinforcement learning environments and benchmark its effectiveness against existing network expansion methods.
- Abstract（参考訳）: 継続的な学習と進化するデータストリームへの適応が可能なニューラルネットワークの構築という課題は、継続学習(CL)と強化学習(RL)の分野の中心である。
この生涯にわたる学習問題は、可塑性-安定性ジレンマという観点で、可塑性の喪失や破滅的な忘れ方といった問題に焦点を当てることが多い。
ニューラルネットワークとは異なり、生物学的脳は容量成長を通じて可塑性を維持しており、研究者は動的に容量を追加するなど、人工ネットワークにおける同様のアプローチを探求するよう促している。
しかし、Mixture-of-Experts (MoE)アーキテクチャは、異なる分布について専門家を専門化することによって、有望な代替手段を提供する。
本稿では、継続学習環境と強化学習環境に対するDynamicMoEアプローチの評価を行い、既存のネットワーク拡張手法と比較してその有効性を評価することを目的とする。
関連論文リスト
- Rethinking the Role of Dynamic Sparse Training for Scalable Deep Reinforcement Learning [58.533203990515034]
ニューラルネットワークのスケーリングは機械学習における画期的な進歩をもたらしたが、このパラダイムは深層強化学習(DRL)では失敗している。
我々は、動的スパーストレーニング戦略が、アーキテクチャの改善によって確立された主要なスケーラビリティ基盤を補完するモジュール固有の利点を提供することを示す。
アーキテクチャ改善の利点を生かした実践的なフレームワークであるModule-Specific Training (MST) にこれらの知見を精査し、アルゴリズムの修正なしに様々なRLアルゴリズムをまたいだ大幅なスケーラビリティ向上を示す。
論文 参考訳（メタデータ） (2025-10-14T03:03:08Z) - Network Sparsity Unlocks the Scaling Potential of Deep Reinforcement Learning [57.3885832382455]
静的ネットワークの疎結合を単独で導入することで,最先端アーキテクチャの高密度化を超えて,さらなるスケーリング可能性を実現することができることを示す。
解析の結果,高密度DRLネットワークをネーティブにスケールアップするのとは対照的に,疎ネットワークは高いパラメータ効率とネットワーク表現性を両立させることがわかった。
論文 参考訳（メタデータ） (2025-06-20T17:54:24Z) - Neuroplastic Expansion in Deep Reinforcement Learning [9.297543779239826]
学習エージェントにおける可塑性の喪失は、強化学習における学習と適応を著しく阻害する。
本稿では,認知科学における皮質拡大に触発された新しいアプローチであるニューロプラスティック・エクスパンジョン(NE)を提案する。
NEは、ネットワークを小さな初期サイズからフル次元に動的に拡大することにより、トレーニングプロセス全体を通して学習性と適応性を維持します。
論文 参考訳（メタデータ） (2024-10-10T14:51:14Z) - Neuromimetic metaplasticity for adaptive continual learning [2.1749194587826026]
本研究では,人間の作業記憶にインスパイアされたメタ塑性モデルを提案する。
このアプローチの重要な側面は、安定から柔軟性までの異なるタイプのシナプスを実装し、それらをランダムに混在させて、柔軟性の異なるシナプス接続をトレーニングすることである。
このモデルは、追加の訓練や構造変更を必要とせず、メモリ容量と性能のバランスのとれたトレードオフを実現した。
論文 参考訳（メタデータ） (2024-07-09T12:21:35Z) - Disentangling the Causes of Plasticity Loss in Neural Networks [55.23250269007988]
可塑性の喪失は複数の独立したメカニズムに分解できることを示す。
種々の非定常学習タスクにおいて, 層正規化と重み劣化の組み合わせは, 可塑性維持に極めて有効であることを示す。
論文 参考訳（メタデータ） (2024-02-29T00:02:33Z) - Self Expanding Convolutional Neural Networks [1.4330085996657045]
本稿では,学習中の畳み込みニューラルネットワーク(CNN)を動的に拡張する新しい手法を提案する。
我々は、単一のモデルを動的に拡張する戦略を採用し、様々な複雑さのレベルでチェックポイントの抽出を容易にする。
論文 参考訳（メタデータ） (2024-01-11T06:22:40Z) - Critical Learning Periods for Multisensory Integration in Deep Networks [112.40005682521638]
ニューラルネットワークが様々な情報源からの情報を統合する能力は、トレーニングの初期段階において、適切な相関した信号に晒されることに批判的になることを示す。
臨界周期は、訓練されたシステムとその学習された表現の最終性能を決定づける、複雑で不安定な初期過渡的ダイナミクスから生じることを示す。
論文 参考訳（メタデータ） (2022-10-06T23:50:38Z) - Network Diffusions via Neural Mean-Field Dynamics [52.091487866968286]
本稿では,ネットワーク上の拡散の推論と推定のための新しい学習フレームワークを提案する。
本研究の枠組みは, ノード感染確率の正確な進化を得るために, モリ・ズワンジッヒ形式から導かれる。
我々のアプローチは、基礎となる拡散ネットワークモデルのバリエーションに対して多用途で堅牢である。
論文 参考訳（メタデータ） (2020-06-16T18:45:20Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。