論文の概要: EWGN: Elastic Weight Generation and Context Switching in Deep Learning

• arxiv url: http://arxiv.org/abs/2506.02065v1
• Date: Sun, 01 Jun 2025 21:59:53 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-04 21:47:34.892688
• Title: EWGN: Elastic Weight Generation and Context Switching in Deep Learning
• Title（参考訳）: EWGN:ディープラーニングにおける弾性重み生成とコンテキストスイッチング
• Authors: Shriraj P. Sawant, Krishna P. Miyapuram,
• Abstract要約: 本稿では,2つのタスク間のコンテキスト切替のアイデアとして,Elastic Weight Generative Networks (EWGN)を紹介した。 EWGNアーキテクチャは、学習した重みを集約しながら、プライマリネットワークの重みを動的に生成する追加ネットワークを使用する。 標準的なコンピュータビジョンデータセット、すなわちMNISTとファッションMNISTを用いて、以前に学習されたタスク表現の保持を分析する。
• 参考スコア（独自算出の注目度）: 0.6138671548064356
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The ability to learn and retain a wide variety of tasks is a hallmark of human intelligence that has inspired research in artificial general intelligence. Continual learning approaches provide a significant step towards achieving this goal. It has been known that task variability and context switching are challenging for learning in neural networks. Catastrophic forgetting refers to the poor performance on retention of a previously learned task when a new task is being learned. Switching between different task contexts can be a useful approach to mitigate the same by preventing the interference between the varying task weights of the network. This paper introduces Elastic Weight Generative Networks (EWGN) as an idea for context switching between two different tasks. The proposed EWGN architecture uses an additional network that generates the weights of the primary network dynamically while consolidating the weights learned. The weight generation is input-dependent and thus enables context switching. Using standard computer vision datasets, namely MNIST and fashion-MNIST, we analyse the retention of previously learned task representations in Fully Connected Networks, Convolutional Neural Networks, and EWGN architectures with Stochastic Gradient Descent and Elastic Weight Consolidation learning algorithms. Understanding dynamic weight generation and context-switching ability can be useful in enabling continual learning for improved performance.
• Abstract（参考訳）: さまざまなタスクを学習し、保持する能力は、人工知能の研究に影響を与えた人間の知能の目印である。 継続的な学習アプローチは、この目標を達成するための重要なステップを提供します。 タスクの可変性とコンテキストスイッチングがニューラルネットワークでの学習に困難であることが知られている。 破滅的な忘れは、新しいタスクが学習されているときに、前もって学習したタスクの保持に関するパフォーマンスが低いことを指す。 異なるタスクコンテキスト間の切り替えは、ネットワークの様々なタスク重み間の干渉を防止し、同じことを緩和するのに有用なアプローチである。 本稿では,2つのタスク間のコンテキスト切替のアイデアとして,Elastic Weight Generative Networks (EWGN)を紹介した。 The proposed EWGN architecture using a additional network that generate the weights of the primary network while consolidating the weights。 重み生成は入力依存であり、コンテキストスイッチが可能である。 標準的なコンピュータビジョンデータセット、すなわちMNISTとファッションMNISTを用いて、Stochastic Gradient DescentおよびElastic Weight Consolidation Learningアルゴリズムを用いて、完全連結ネットワーク、畳み込みニューラルネットワーク、EWGNアーキテクチャにおける以前に学習されたタスク表現の保持を分析する。 動的ウェイト生成とコンテキストスイッチング能力を理解することは、継続的な学習を可能にしてパフォーマンスを向上させるのに有用である。

関連論文リスト

• Continual Learning: Forget-free Winning Subnetworks for Video Representations [75.40220771931132]
  タスク性能の面でのサブネットワーク(WSN)の勝利は、様々な連続学習タスクに対して考慮される。 タスクインクリメンタルラーニング(TIL)とタスク非依存インクリメンタルラーニング(TaIL)のシナリオにおいて,既存のネットワークからの重み付けを活用して,効率的な学習を実現する。 ビデオインクリメンタルラーニング(VIL)におけるWSN内のフーリエサブニューラル演算子(FSO)の利用
  論文  参考訳（メタデータ） (2023-12-19T09:11:49Z)
• IF2Net: Innately Forgetting-Free Networks for Continual Learning [49.57495829364827]
  継続的な学習は、以前に学んだ知識に干渉することなく、新しい概念を漸進的に吸収することができる。 ニューラルネットワークの特性に触発され,本研究は,IF2Net(Innately Forgetting-free Network)の設計方法について検討した。 IF2Netは、1つのネットワークがテスト時にタスクのIDを告げることなく、本質的に無制限のマッピングルールを学習することを可能にする。
  論文  参考訳（メタデータ） (2023-06-18T05:26:49Z)
• Continual Learning with Dependency Preserving Hypernetworks [14.102057320661427]
  継続学習(CL)問題に対処するための効果的なアプローチは、ターゲットネットワークのタスク依存重みを生成するハイパーネットワークを使用することである。 本稿では,パラメータの効率を保ちながら,依存関係保存型ハイパーネットワークを用いて対象ネットワークの重み付けを生成する手法を提案する。 さらに,RNNベースのハイパーネットワークのための新しい正規化手法とネットワーク成長手法を提案し,継続学習性能をさらに向上させる。
  論文  参考訳（メタデータ） (2022-09-16T04:42:21Z)
• Engineering flexible machine learning systems by traversing functionally-invariant paths [1.4999444543328289]
  ニューラルネットワークのフレキシブルかつ連続的な適応を提供する微分幾何学フレームワークを導入する。 重み空間における測地路に沿った移動として適応を定式化し,二次目的に対応するネットワークを探索する。 控えめな計算資源を用いて、FIPアルゴリズムは連続的な学習とスパーシフィケーションタスクにおけるアートパフォーマンスの状態を同等に達成する。
  論文  参考訳（メタデータ） (2022-04-30T19:44:56Z)
• WeightScale: Interpreting Weight Change in Neural Networks [0.0]
  本稿では,ニューラルネットワークの相対重み変化を層ごとの相対重み変化の測定によって解釈する手法を提案する。 我々はこの手法を用いて、様々な最先端ネットワークにおける視覚タスクの文脈における学習を調査する。
  論文  参考訳（メタデータ） (2021-07-07T21:18:38Z)
• Dynamic Graph: Learning Instance-aware Connectivity for Neural Networks [78.65792427542672]
  動的グラフネットワーク(DG-Net)は完全な有向非巡回グラフであり、ノードは畳み込みブロックを表し、エッジは接続経路を表す。 ネットワークの同じパスを使用する代わりに、DG-Netは各ノードの機能を動的に集約する。
  論文  参考訳（メタデータ） (2020-10-02T16:50:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。