論文の概要: A Novel Approach to Lifelong Learning: The Plastic Support Structure

• arxiv url: http://arxiv.org/abs/2106.06298v1
• Date: Fri, 11 Jun 2021 10:34:37 GMT
• ステータス: 処理完了
• システム内更新日: 2021-06-14 14:09:51.922272
• Title: A Novel Approach to Lifelong Learning: The Plastic Support Structure
• Title（参考訳）: 生涯学習への新しいアプローチ:プラスチック支持構造
• Authors: Georges Kanaan, Kai Wen Zheng and Lucas Fenaux
• Abstract要約: 本稿では,ネットワークが新たなタスクを学習するために必要な容量を拡大する能力を備えた,コンパクトなカプセル化されたサポート構造を導入する,生涯学習のための新しいアプローチを提案する。 これは、ニューロンを高いセマンティックドリフトで分割し、新しいタスクを手元にエンコードする隣のネットワークを構築することで達成される。 我々はこれをPlastic Support Structure (PSS)と呼び、ネットワークの既存の構造に効率的にエンコードできない新しいタスクを学習するためのコンパクトな構造である。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We propose a novel approach to lifelong learning, introducing a compact encapsulated support structure which endows a network with the capability to expand its capacity as needed to learn new tasks while preventing the loss of learned tasks. This is achieved by splitting neurons with high semantic drift and constructing an adjacent network to encode the new tasks at hand. We call this the Plastic Support Structure (PSS), it is a compact structure to learn new tasks that cannot be efficiently encoded in the existing structure of the network. We validate the PSS on public datasets against existing lifelong learning architectures, showing it performs similarly to them but without prior knowledge of the task and in some cases with fewer parameters and in a more understandable fashion where the PSS is an encapsulated container for specific features related to specific tasks, thus making it an ideal "add-on" solution for endowing a network to learn more tasks.
• Abstract（参考訳）: 本稿では,学習課題の喪失を防止しつつ,新たな課題を学習するために必要な能力を持つネットワークを実現する,コンパクトなカプセル化支援構造を導入する,生涯学習への新たなアプローチを提案する。 これは、ニューロンを高いセマンティックドリフトで分割し、新しいタスクを手元にエンコードする隣のネットワークを構築することで達成される。 我々はこれをPlastic Support Structure (PSS)と呼び、ネットワークの既存の構造に効率的にエンコードできない新しいタスクを学習するためのコンパクトな構造である。 我々は、PSSを既存の生涯学習アーキテクチャに対して公開データセット上で検証し、それらと同じような性能を示すが、タスクの事前の知識がなく、場合によってはパラメータが少なく、特定のタスクに関連する特定の機能のためのカプセル化されたコンテナである、より理解しやすい方法で、ネットワークがより多くのタスクを学習するための理想的な"アドオン"ソリューションであることを示す。

関連論文リスト

• Aux-NAS: Exploiting Auxiliary Labels with Negligibly Extra Inference Cost [73.28626942658022]
  本研究の目的は,独立タスク(副次タスク)から追加の補助ラベルを活用することで,タスクのパフォーマンスを向上させることである。 本手法は,主タスクと補助タスクのための柔軟な非対称構造を持つアーキテクチャに基づく。 VGG、ResNet、ViTのバックボーンを使用して、NYU v2、CityScapes、Taskonomyデータセット上の6つのタスクで実験を行った。
  論文  参考訳（メタデータ） (2024-05-09T11:50:19Z)
• Dense Network Expansion for Class Incremental Learning [61.00081795200547]
  最先端のアプローチでは、ネットワーク拡張(NE)に基づいた動的アーキテクチャを使用し、タスクごとにタスクエキスパートを追加する。 精度とモデル複雑性のトレードオフを改善するために,新しい NE 手法である高密度ネットワーク拡張 (DNE) を提案する。 従来のSOTA法では、類似またはより小さなモデルスケールで、精度の点で4%のマージンで性能が向上した。
  論文  参考訳（メタデータ） (2023-03-22T16:42:26Z)
• PDSketch: Integrated Planning Domain Programming and Learning [86.07442931141637]
  我々は PDSketch という新しいドメイン定義言語を提案する。 これにより、ユーザーはトランジションモデルで柔軟にハイレベルな構造を定義できる。 移行モデルの詳細は、トレーニング可能なニューラルネットワークによって満たされる。
  論文  参考訳（メタデータ） (2023-03-09T18:54:12Z)
• Break It Down: Evidence for Structural Compositionality in Neural Networks [32.382094867951224]
  ニューラルネットワークは構成性を学習し、特殊なシンボリックメカニズムの必要性を回避できることを示す。 このことは、ニューラルネットワークが構成性を学ぶことができ、特別なシンボリックメカニズムの必要性を回避できる可能性を示唆している。
  論文  参考訳（メタデータ） (2023-01-26T00:53:11Z)
• E2-AEN: End-to-End Incremental Learning with Adaptively Expandable Network [57.87240860624937]
  本稿では,E2-AENという,エンドツーエンドのトレーニング可能な適応拡張可能なネットワークを提案する。 以前のタスクの精度を落とさずに、新しいタスクのための軽量な構造を動的に生成する。 E2-AENはコストを削減し、あらゆるフィードフォワードアーキテクチャをエンドツーエンドで構築できる。
  論文  参考訳（メタデータ） (2022-07-14T09:04:51Z)
• Fast Inference and Transfer of Compositional Task Structures for Few-shot Task Generalization [101.72755769194677]
  本稿では,タスクがサブタスクグラフによって特徴づけられる,数発の強化学習問題として定式化する。 我々のマルチタスクサブタスクグラフ推論器(MTSGI)は、トレーニングタスクから、まず、サブタスクグラフの観点から、一般的なハイレベルなタスク構造を推測する。 提案手法は,2次元グリッドワールドおよび複雑なWebナビゲーション領域において,タスクの共通基盤構造を学習し,活用し,未知のタスクへの適応を高速化する。
  論文  参考訳（メタデータ） (2022-05-25T10:44:25Z)
• Increasing Depth of Neural Networks for Life-long Learning [2.0305676256390934]
  本稿では,ニューラルネットワークの深度増加に基づく連続学習手法を提案する。 この研究は、ニューラルネットワークの深さを延ばすことが、生涯にわたる学習環境で有益かどうかを探求する。
  論文  参考訳（メタデータ） (2022-02-22T11:21:41Z)
• Learn to Bind and Grow Neural Structures [0.3553493344868413]
  我々は、新しいタスクのためのニューラルアーキテクチャを漸進的に学習する新しいフレームワーク、Learning to Bind and Growを紹介する。 私たちのアプローチの中心は、共有マルチタスクアーキテクチャ空間の新しい、解釈可能な、パラメータ化です。 連続学習ベンチマークの実験により、我々のフレームワークは、以前の拡張ベースのアプローチと相容れない性能を示した。
  論文  参考訳（メタデータ） (2020-11-21T09:40:26Z)
• Adversarial Continual Learning [99.56738010842301]
  本稿では,タスク不変およびタスク特化機能に対する不整合表現を学習するハイブリッド連続学習フレームワークを提案する。 本モデルでは,タスク固有のスキルの忘れを防止するためにアーキテクチャの成長と,共有スキルを維持するための経験的リプレイアプローチを組み合わせる。
  論文  参考訳（メタデータ） (2020-03-21T02:08:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。