論文の概要: Function-space Parameterization of Neural Networks for Sequential Learning
- arxiv url: http://arxiv.org/abs/2403.10929v1
- Date: Sat, 16 Mar 2024 14:00:04 GMT
- ステータス: 処理完了
- システム内更新日: 2024-03-19 20:56:18.258496
- Title: Function-space Parameterization of Neural Networks for Sequential Learning
- Title（参考訳）: 逐次学習のためのニューラルネットワークの機能空間パラメータ化
- Authors: Aidan Scannell, Riccardo Mereu, Paul Chang, Ella Tamir, Joni Pajarinen, Arno Solin,
- Abstract要約: 逐次学習パラダイムは、新しいデータの導入と事前知識の維持が困難であるため、勾配に基づくディープラーニングに課題を提起する。
本稿では,ニューラルネットワークを重み空間から関数空間に変換する手法を提案する。
実験により,継続学習における知識を保ち,新しいデータを効率的に活用できることが実証された。
- 参考スコア（独自算出の注目度）: 22.095632118886225
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Sequential learning paradigms pose challenges for gradient-based deep learning due to difficulties incorporating new data and retaining prior knowledge. While Gaussian processes elegantly tackle these problems, they struggle with scalability and handling rich inputs, such as images. To address these issues, we introduce a technique that converts neural networks from weight space to function space, through a dual parameterization. Our parameterization offers: (i) a way to scale function-space methods to large data sets via sparsification, (ii) retention of prior knowledge when access to past data is limited, and (iii) a mechanism to incorporate new data without retraining. Our experiments demonstrate that we can retain knowledge in continual learning and incorporate new data efficiently. We further show its strengths in uncertainty quantification and guiding exploration in model-based RL. Further information and code is available on the project website.
- Abstract（参考訳）: 逐次学習パラダイムは、新しいデータの導入と事前知識の維持が困難であるため、勾配に基づくディープラーニングに課題を提起する。
ガウス過程はこれらの問題にエレガントに対処するが、スケーラビリティと画像などのリッチな入力を扱うのに苦労する。
これらの問題に対処するため,ニューラルネットワークを重み空間から関数空間に変換する手法を提案する。
私たちのパラメータ化は以下の通りです。
(i)スパーシフィケーションによって関数空間のメソッドを大規模データセットにスケールする方法。
二 過去のデータへのアクセスが制限されたときの事前知識の保持
三 再訓練することなく新データを組み込む仕組み
実験により,継続学習における知識を保ち,新しいデータを効率的に活用できることが実証された。
さらに、モデルベースRLにおける不確実性の定量化と探索の導出におけるその強みを示す。
さらなる情報とコードはプロジェクトのWebサイトにある。
関連論文リスト
- Diffusion-Based Neural Network Weights Generation [80.89706112736353]
D2NWGは拡散に基づくニューラルネットワーク重み生成技術であり、転送学習のために高性能な重みを効率よく生成する。
本稿では,ニューラルネットワーク重み生成のための遅延拡散パラダイムを再放送するために,生成的ハイパー表現学習を拡張した。
我々のアプローチは大規模言語モデル(LLM)のような大規模アーキテクチャにスケーラブルであり、現在のパラメータ生成技術の限界を克服しています。
論文 参考訳（メタデータ） (2024-02-28T08:34:23Z) - Learning of networked spreading models from noisy and incomplete data [7.669018800404791]
スケーラブルな動的メッセージパッシング技術に基づく普遍的な学習手法を提案する。
このアルゴリズムは、モデルとデータに関する利用可能な事前知識を活用し、拡散モデルのネットワーク構造とパラメータの両方を再構成する。
キーモデルパラメータを持つ手法の線形計算複雑性は,アルゴリズムを大規模ネットワークインスタンスにスケーラブルにすることを示す。
論文 参考訳（メタデータ） (2023-12-20T13:12:47Z) - Learn to Unlearn for Deep Neural Networks: Minimizing Unlearning
Interference with Gradient Projection [56.292071534857946]
最近のデータプライバシ法は、機械学習への関心を喚起している。
課題は、残りのデータセットに関する知識を変更することなく、忘れたデータに関する情報を捨てることである。
我々は、プロジェクテッド・グラディエント・アンラーニング(PGU)という、プロジェクテッド・グラディエント・ベースの学習手法を採用する。
トレーニングデータセットがもはやアクセスできない場合でも、スクラッチからスクラッチで再トレーニングされたモデルと同じような振る舞いをするモデルを、我々のアンラーニング手法が生成できることを実証するための実証的な証拠を提供する。
論文 参考訳（メタデータ） (2023-12-07T07:17:24Z) - Data Augmentations in Deep Weight Spaces [89.45272760013928]
そこで本研究では,Mixup法に基づく新しい拡張手法を提案する。
既存のベンチマークと新しいベンチマークでこれらのテクニックのパフォーマンスを評価する。
論文 参考訳（メタデータ） (2023-11-15T10:43:13Z) - ShadowNet for Data-Centric Quantum System Learning [188.683909185536]
本稿では,ニューラルネットワークプロトコルと古典的シャドウの強みを組み合わせたデータ中心学習パラダイムを提案する。
ニューラルネットワークの一般化力に基づいて、このパラダイムはオフラインでトレーニングされ、これまで目に見えないシステムを予測できる。
量子状態トモグラフィーおよび直接忠実度推定タスクにおいて、我々のパラダイムのインスタンス化を示し、60量子ビットまでの数値解析を行う。
論文 参考訳（メタデータ） (2023-08-22T09:11:53Z) - Subspace Distillation for Continual Learning [27.22147868163214]
本稿では,ニューラルネットワークの多様体構造を考慮した知識蒸留手法を提案する。
部分空間を用いたモデリングは、雑音に対するロバスト性など、いくつかの興味深い特性を提供することを示した。
実験により,提案手法は,いくつかの挑戦的データセットにおいて,様々な連続学習法よりも優れていることがわかった。
論文 参考訳（メタデータ） (2023-07-31T05:59:09Z) - Complementary Learning Subnetworks for Parameter-Efficient
Class-Incremental Learning [40.13416912075668]
本稿では,2つの補完学習サブネットワークス間のシナジーを通じて連続的に学習するリハーサルフリーなCILアプローチを提案する。
提案手法は, 精度向上, メモリコスト, トレーニング効率, タスク順序など, 最先端手法と競合する結果が得られる。
論文 参考訳（メタデータ） (2023-06-21T01:43:25Z) - PIVOT: Prompting for Video Continual Learning [50.80141083993668]
PIVOTは、画像領域から事前学習したモデルにおける広範な知識を活用する新しい手法である。
実験の結果,PIVOTは20タスクのアクティビティネット設定において,最先端の手法を27%向上することがわかった。
論文 参考訳（メタデータ） (2022-12-09T13:22:27Z) - Online Deep Learning from Doubly-Streaming Data [17.119725174036653]
本稿では,データストリームが常に進化する特徴空間によって記述される,二重ストリームデータによる新たなオンライン学習問題について検討する。
この課題を克服するもっともらしいアイデアは、進化する機能空間間の関係を確立することである。
従来の特徴空間と新しい特徴空間から情報を要約するために,共有潜在部分空間が発見された新しいOLD3Sパラダイムを提案する。
論文 参考訳（メタデータ） (2022-04-25T17:06:39Z) - Neural Galerkin Schemes with Active Learning for High-Dimensional
Evolution Equations [44.89798007370551]
本研究では,高次元偏微分方程式を数値的に解くために,能動的学習を用いた学習データを生成するディープラーニングに基づくニューラル・ガレルキンスキームを提案する。
ニューラル・ガレルキンスキームはディラック・フランケル変分法に基づいて、残余を時間とともに最小化することで、ネットワークを訓練する。
提案したニューラル・ガレルキン・スキームの学習データ収集は,高次元におけるネットワークの表現力を数値的に実現するための鍵となる。
論文 参考訳（メタデータ） (2022-03-02T19:09:52Z) - Continual Learning via Bit-Level Information Preserving [88.32450740325005]
我々は情報理論のレンズを通して連続学習過程を研究する。
モデルパラメータの情報利得を維持するビットレベル情報保存(BLIP)を提案する。
BLIPは、連続的な学習を通してメモリオーバーヘッドを一定に保ちながら、ほとんど忘れることができない。
論文 参考訳（メタデータ） (2021-05-10T15:09:01Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。