論文の概要: HyperInterval: Hypernetwork approach to training weight interval regions in continual learning
- arxiv url: http://arxiv.org/abs/2405.15444v2
- Date: Mon, 27 May 2024 07:22:58 GMT
- ステータス: 処理完了
- システム内更新日: 2024-05-29 02:49:28.259528
- Title: HyperInterval: Hypernetwork approach to training weight interval regions in continual learning
- Title（参考訳）: HyperInterval:連続学習におけるウェイトインターバル領域のトレーニングのためのハイパーネットワークアプローチ
- Authors: Patryk Krukowski, Anna Bielawska, Kamil Książek, Paweł Wawrzyński, Paweł Batorski, Przemysław Spurek,
- Abstract要約: 埋め込み空間内でのインターバル演算を利用する技術であるHyperIntervalを紹介する。
我々は、連続したタスクに対するインターバル埋め込みを訓練し、ハイパーネットワークをトレーニングし、これらの埋め込みをターゲットネットワークの重みに変換する。
トレーニングの終わりに、すべてのタスク専用の1つのネットワークを生成するために、1つの普遍的な埋め込みを選択することができます。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Recently, a new Continual Learning (CL) paradigm was presented to control catastrophic forgetting, called Interval Continual Learning (InterContiNet), which relies on enforcing interval constraints on the neural network parameter space. Unfortunately, InterContiNet training is challenging due to the high dimensionality of the weight space, making intervals difficult to manage. To address this issue, we introduce HyperInterval, a technique that employs interval arithmetic within the embedding space and utilizes a hypernetwork to map these intervals to the target network parameter space. We train interval embeddings for consecutive tasks and train a hypernetwork to transform these embeddings into weights of the target network. An embedding for a given task is trained along with the hypernetwork, preserving the response of the target network for the previous task embeddings. Interval arithmetic works with a more manageable, lower-dimensional embedding space rather than directly preparing intervals in a high-dimensional weight space. Our model allows faster and more efficient training. Furthermore, HyperInterval maintains the guarantee of not forgetting. At the end of training, we can choose one universal embedding to produce a single network dedicated to all tasks. In such a framework, hypernetwork is used only for training and can be seen as a meta-trainer. HyperInterval obtains significantly better results than InterContiNet and gives SOTA results on several benchmarks.
- Abstract（参考訳）: 最近、ニューラルネットワークのパラメータ空間に間隔制約を強制することに依存するInterContiNet(IntercontiNet)と呼ばれる、破滅的な忘れを制御するために、新しい連続学習(CL)パラダイムが提示された。
残念ながら、InterContiNetトレーニングは重量空間の高次元性のために困難であり、間隔の管理が困難である。
この問題に対処するために,組込み空間内にインターバル演算を導入し,これらのインターバルを対象ネットワークパラメータ空間にマッピングするハイパーネットワーク技術であるHyperIntervalを導入する。
我々は、連続したタスクに対するインターバル埋め込みを訓練し、ハイパーネットワークをトレーニングし、これらの埋め込みをターゲットネットワークの重みに変換する。
与えられたタスクへの埋め込みはハイパーネットワークと共にトレーニングされ、以前のタスクの埋め込みに対するターゲットネットワークの応答を保存する。
インターバル算術は、高次元の重み空間における間隔を直接準備するのではなく、より管理可能な、より低次元の埋め込み空間で動作する。
私たちのモデルはより速く、より効率的なトレーニングを可能にします。
さらに、HyperIntervalは忘れないことを保証する。
トレーニングの終わりに、すべてのタスク専用の1つのネットワークを生成するために、1つの普遍的な埋め込みを選択することができます。
このようなフレームワークでは、ハイパーネットワークはトレーニングにのみ使用され、メタトレーナーとして見ることができる。
HyperIntervalはInterContiNetよりもはるかに優れた結果を取得し、いくつかのベンチマークでSOTA結果を提供する。
関連論文リスト
- Sparser is Faster and Less is More: Efficient Sparse Attention for Long-Range Transformers [58.5711048151424]
SPARSEK Attention(SPARSEK Attention)は、計算およびメモリ障害を克服するために設計された、新しいスパースアテンション機構である。
提案手法では,各クエリに対して一定数のKVペアを選択するために,スコアリングネットワークと差別化可能なトップkマスク演算子であるSPARSEKを統合する。
実験結果から,SPARSEK注意は従来のスパースアテンション法よりも優れていた。
論文 参考訳（メタデータ） (2024-06-24T15:55:59Z) - Towards Redundancy-Free Sub-networks in Continual Learning [144.44476145253202]
カタストロフィック・フォージッティング(CF)は、継続的な学習において顕著な問題である。
サブネットワークにおける冗長性を解消するため,textbfunderlineInformation underlineBottleneck underlineMasked Sub-network (IBM)を提案する。
論文 参考訳（メタデータ） (2023-12-01T02:29:52Z) - Magnitude Invariant Parametrizations Improve Hypernetwork Learning [0.0]
Hypernetworksは、別のニューラルネットワークのパラメータを予測する強力なニューラルネットワークである。
トレーニングは通常、非ハイパーネットワークモデルよりもはるかにゆっくりと収束する。
我々は、ハイパーネットワークのトレーニングの課題に寄与する、基本的な未確認の問題を識別する。
我々は、MIP(Magnitude Invariant Parametrizations)と呼ばれる改訂されたハイパーネットワークの定式化を用いて、この問題に対する簡単な解決策を提案する。
論文 参考訳（メタデータ） (2023-04-15T22:18:29Z) - Dense Network Expansion for Class Incremental Learning [61.00081795200547]
最先端のアプローチでは、ネットワーク拡張(NE)に基づいた動的アーキテクチャを使用し、タスクごとにタスクエキスパートを追加する。
精度とモデル複雑性のトレードオフを改善するために,新しい NE 手法である高密度ネットワーク拡張 (DNE) を提案する。
従来のSOTA法では、類似またはより小さなモデルスケールで、精度の点で4%のマージンで性能が向上した。
論文 参考訳（メタデータ） (2023-03-22T16:42:26Z) - Low Rank Optimization for Efficient Deep Learning: Making A Balance
between Compact Architecture and Fast Training [36.85333789033387]
本稿では,効率的なディープラーニング技術のための低ランク最適化に焦点を当てる。
空間領域では、ディープニューラルネットワークは、ネットワークパラメータの低階近似によって圧縮される。
時間領域では、ネットワークパラメータをいくつかのサブスペースでトレーニングできるため、高速収束のための効率的なトレーニングが可能になる。
論文 参考訳（メタデータ） (2023-03-22T03:55:16Z) - Continual Learning with Dependency Preserving Hypernetworks [14.102057320661427]
継続学習(CL)問題に対処するための効果的なアプローチは、ターゲットネットワークのタスク依存重みを生成するハイパーネットワークを使用することである。
本稿では,パラメータの効率を保ちながら,依存関係保存型ハイパーネットワークを用いて対象ネットワークの重み付けを生成する手法を提案する。
さらに,RNNベースのハイパーネットワークのための新しい正規化手法とネットワーク成長手法を提案し,継続学習性能をさらに向上させる。
論文 参考訳（メタデータ） (2022-09-16T04:42:21Z) - Continual Learning with Guarantees via Weight Interval Constraints [18.791232422083265]
ニューラルネットパラメータ空間の間隔制約を適用して、忘れを抑える新しいトレーニングパラダイムを導入する。
本稿では,モデルの連続的学習をパラメータ空間の連続的縮約として再構成することで,忘れることに制限を加える方法を示す。
論文 参考訳（メタデータ） (2022-06-16T08:28:37Z) - Learning Fast and Slow for Online Time Series Forecasting [76.50127663309604]
Fast and Slow Learning Networks (FSNet)は、オンライン時系列予測のための総合的なフレームワークである。
FSNetは、最近の変更への迅速な適応と、同様の古い知識の取得のバランスを取る。
私たちのコードは公開されます。
論文 参考訳（メタデータ） (2022-02-23T18:23:07Z) - FreeTickets: Accurate, Robust and Efficient Deep Ensemble by Training
with Dynamic Sparsity [74.58777701536668]
我々は、疎い畳み込みニューラルネットワークの性能を、ネットワークの高密度な部分よりも大きなマージンで向上させることができるFreeTicketsの概念を紹介した。
本研究では, ダイナミックな間隔を持つ2つの新しい効率的なアンサンブル手法を提案し, スパーストレーニング過程において, 多数の多様かつ正確なチケットを「無償」で撮影する。
論文 参考訳（メタデータ） (2021-06-28T10:48:20Z) - DynaComm: Accelerating Distributed CNN Training between Edges and Clouds
through Dynamic Communication Scheduling [11.34309642431225]
本稿では,各送信手順を複数のセグメントに分割し,実行時に重複する最適な通信と計算を実現する新しいスケジューラDynaCommを提案する。
DynaComm は、モデル精度を保ちながら、競合する戦略と比較して、すべてのケースで最適なスケジューリングを実現できることを確認します。
論文 参考訳（メタデータ） (2021-01-20T05:09:41Z) - Rapid Structural Pruning of Neural Networks with Set-based Task-Adaptive
Meta-Pruning [83.59005356327103]
既存のプルーニング技術に共通する制限は、プルーニングの前に少なくとも1回はネットワークの事前トレーニングが必要であることである。
本稿では,ターゲットデータセットの関数としてプルーニングマスクを生成することにより,大規模な参照データセット上で事前訓練されたネットワークをタスク適応的にプルークするSTAMPを提案する。
ベンチマークデータセット上での最近の先進的なプルーニング手法に対するSTAMPの有効性を検証する。
論文 参考訳（メタデータ） (2020-06-22T10:57:43Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。