論文の概要: Deep Innovation Protection: Confronting the Credit Assignment Problem in
Training Heterogeneous Neural Architectures
- arxiv url: http://arxiv.org/abs/2001.01683v2
- Date: Tue, 23 Feb 2021 11:20:36 GMT
- ステータス: 処理完了
- システム内更新日: 2023-01-17 07:28:56.936261
- Title: Deep Innovation Protection: Confronting the Credit Assignment Problem in
Training Heterogeneous Neural Architectures
- Title(参考訳): 深層イノベーション保護:異種ニューラルアーキテクチャのトレーニングにおけるクレジット割り当て問題に直面する
- Authors: Sebastian Risi and Kenneth O. Stanley
- Abstract要約: 本稿では、複雑な異種ニューラルネットワークモデルのエンドツーエンドのトレーニングにおいて、クレジット代入問題に対処するディープ・イノベーション・プロテクション(DIP)と呼ばれる手法を提案する。
このアプローチの背後にある主な考え方は、多成分ネットワークにおける特定のコンポーネントの選択圧力を時間的に低減するために、多目的最適化を採用することである。
- 参考スコア(独自算出の注目度): 17.568035975395368
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Deep reinforcement learning approaches have shown impressive results in a
variety of different domains, however, more complex heterogeneous architectures
such as world models require the different neural components to be trained
separately instead of end-to-end. While a simple genetic algorithm recently
showed end-to-end training is possible, it failed to solve a more complex 3D
task. This paper presents a method called Deep Innovation Protection (DIP) that
addresses the credit assignment problem in training complex heterogenous neural
network models end-to-end for such environments. The main idea behind the
approach is to employ multiobjective optimization to temporally reduce the
selection pressure on specific components in multi-component network, allowing
other components to adapt. We investigate the emergent representations of these
evolved networks, which learn to predict properties important for the survival
of the agent, without the need for a specific forward-prediction loss.
- Abstract(参考訳): 深層強化学習アプローチは、さまざまなドメインで印象的な結果を示しているが、世界モデルのようなより複雑な異種アーキテクチャでは、エンドツーエンドではなく、異なるニューラルネットワークを個別にトレーニングする必要がある。
単純な遺伝的アルゴリズムが最近、エンドツーエンドのトレーニングが可能であることを示したが、より複雑な3dタスクは解決できなかった。
本稿では,複雑な異種ニューラルネットワークモデルのエンド・ツー・エンドトレーニングにおける信用割当問題に対処するDeep Innovation Protection(DIP)を提案する。
このアプローチの背後にある主要なアイデアは、多成分ネットワークにおける特定のコンポーネントの選択プレッシャーを時間的に減らすために、多目的最適化を採用することである。
本稿では,エージェントの生存に重要な特性を,特定の前方予測損失を伴わずに予測するネットワークの創発的表現について検討する。
関連論文リスト
- Disentangling the Causes of Plasticity Loss in Neural Networks [55.23250269007988]
可塑性の喪失は複数の独立したメカニズムに分解できることを示す。
種々の非定常学習タスクにおいて, 層正規化と重み劣化の組み合わせは, 可塑性維持に極めて有効であることを示す。
論文 参考訳(メタデータ) (2024-02-29T00:02:33Z) - Self Expanding Convolutional Neural Networks [1.4330085996657045]
本稿では,学習中の畳み込みニューラルネットワーク(CNN)を動的に拡張する新しい手法を提案する。
我々は、単一のモデルを動的に拡張する戦略を採用し、様々な複雑さのレベルでチェックポイントの抽出を容易にする。
論文 参考訳(メタデータ) (2024-01-11T06:22:40Z) - Towards Improving Robustness Against Common Corruptions using Mixture of
Class Specific Experts [10.27974860479791]
本稿では,クラス特化エキスパートアーキテクチャの混合として知られる新しいパラダイムを紹介する。
提案したアーキテクチャは、一般的なニューラルネットワーク構造に関連する脆弱性を軽減することを目的としている。
論文 参考訳(メタデータ) (2023-11-16T20:09:47Z) - Multiobjective Evolutionary Pruning of Deep Neural Networks with
Transfer Learning for improving their Performance and Robustness [15.29595828816055]
本研究は,多目的進化解析アルゴリズムMO-EvoPruneDeepTLを提案する。
我々は、トランスファーラーニングを使用して、遺伝的アルゴリズムによって進化したスパース層に置き換えることで、ディープニューラルネットワークの最後の層を適応します。
実験の結果,提案手法は全ての目的に対して有望な結果が得られ,直接的な関係が示された。
論文 参考訳(メタデータ) (2023-02-20T19:33:38Z) - Polynomial-Spline Neural Networks with Exact Integrals [0.0]
我々は,実験モデルの混合と自由結び目B1-スプライン基底関数を組み合わせた新しいニューラルネットワークアーキテクチャを開発した。
我々のアーキテクチャは近似理論から期待される収束率での回帰問題に対する$h$-および$p$-の洗練を示す。
ネットワークアーキテクチャの一貫性と正確な統合性を示す様々な回帰問題と変分問題において、我々のネットワークの成功を実証する。
論文 参考訳(メタデータ) (2021-10-26T22:12:37Z) - SIRe-Networks: Skip Connections over Interlaced Multi-Task Learning and
Residual Connections for Structure Preserving Object Classification [28.02302915971059]
本稿では、オブジェクト分類タスクにおける消失勾配を低減するために、SIReを定義したインターレース型マルチタスク学習戦略を提案する。
提案手法は、自動エンコーダを介して入力画像構造を保存することにより、畳み込みニューラルネットワーク(CNN)を直接改善する。
提案手法を検証するため、SIRe戦略を介して単純なCNNと有名なネットワークの様々な実装を拡張し、CIFAR100データセットで広範囲にテストする。
論文 参考訳(メタデータ) (2021-10-06T13:54:49Z) - Redefining Neural Architecture Search of Heterogeneous Multi-Network
Models by Characterizing Variation Operators and Model Components [71.03032589756434]
複素領域における異なる変動演算子の効果について検討する。
モデルの複雑さと性能に影響を及ぼす変化演算子と、それを構成する異なる部分の質を推定する様々な指標に依存するモデルの両方を特徴付ける。
論文 参考訳(メタデータ) (2021-06-16T17:12:26Z) - A neural anisotropic view of underspecification in deep learning [60.119023683371736]
ニューラルネットが問題の未特定化を扱う方法が,データ表現に大きく依存していることを示す。
深層学習におけるアーキテクチャ的インダクティブバイアスの理解は,これらのシステムの公平性,堅牢性,一般化に対処する上で基本的であることを強調した。
論文 参考訳(メタデータ) (2021-04-29T14:31:09Z) - Attribute-Guided Adversarial Training for Robustness to Natural
Perturbations [64.35805267250682]
本稿では,属性空間への分類器の露出を最大化するために,新しいサンプルを生成することを学習する逆学習手法を提案する。
我々のアプローチは、ディープニューラルネットワークが自然に発生する摂動に対して堅牢であることを可能にする。
論文 参考訳(メタデータ) (2020-12-03T10:17:30Z) - Automated Search for Resource-Efficient Branched Multi-Task Networks [81.48051635183916]
我々は,多タスクニューラルネットワークにおける分岐構造を自動的に定義する,微分可能なニューラルネットワーク探索に根ざした原理的アプローチを提案する。
本手法は,限られた資源予算内で高い性能の分岐構造を見いだすことができる。
論文 参考訳(メタデータ) (2020-08-24T09:49:19Z) - Dynamic Hierarchical Mimicking Towards Consistent Optimization
Objectives [73.15276998621582]
一般化能力を高めたCNN訓練を推進するための汎用的特徴学習機構を提案する。
DSNに部分的にインスパイアされた私たちは、ニューラルネットワークの中間層から微妙に設計されたサイドブランチをフォークしました。
カテゴリ認識タスクとインスタンス認識タスクの両方の実験により,提案手法の大幅な改善が示された。
論文 参考訳(メタデータ) (2020-03-24T09:56:13Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。