論文の概要: Contextual HyperNetworks for Novel Feature Adaptation
- arxiv url: http://arxiv.org/abs/2104.05860v1
- Date: Mon, 12 Apr 2021 23:19:49 GMT
- ステータス: 処理完了
- システム内更新日: 2021-04-14 13:24:26.124994
- Title: Contextual HyperNetworks for Novel Feature Adaptation
- Title（参考訳）: 特徴適応のためのコンテキストHyperNetworks
- Authors: Angus Lamb, Evgeny Saveliev, Yingzhen Li, Sebastian Tschiatschek,
Camilla Longden, Simon Woodhead, Jos\'e Miguel Hern\'andez-Lobato, Richard E.
Turner, Pashmina Cameron, Cheng Zhang
- Abstract要約: Contextual HyperNetwork(CHN)は、ベースモデルを新機能に拡張するためのパラメータを生成する。
予測時、CHNはニューラルネットワークを通る単一のフォワードパスのみを必要とし、大幅なスピードアップをもたらす。
本システムでは,既存のインプテーションやメタラーニングベースラインよりも,新しい特徴のマイズショット学習性能が向上することを示す。
- 参考スコア（独自算出の注目度）: 43.49619456740745
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: While deep learning has obtained state-of-the-art results in many
applications, the adaptation of neural network architectures to incorporate new
output features remains a challenge, as neural networks are commonly trained to
produce a fixed output dimension. This issue is particularly severe in online
learning settings, where new output features, such as items in a recommender
system, are added continually with few or no associated observations. As such,
methods for adapting neural networks to novel features which are both time and
data-efficient are desired. To address this, we propose the Contextual
HyperNetwork (CHN), an auxiliary model which generates parameters for extending
the base model to a new feature, by utilizing both existing data as well as any
observations and/or metadata associated with the new feature. At prediction
time, the CHN requires only a single forward pass through a neural network,
yielding a significant speed-up when compared to re-training and fine-tuning
approaches.
To assess the performance of CHNs, we use a CHN to augment a partial
variational autoencoder (P-VAE), a deep generative model which can impute the
values of missing features in sparsely-observed data. We show that this system
obtains improved few-shot learning performance for novel features over existing
imputation and meta-learning baselines across recommender systems, e-learning,
and healthcare tasks.
- Abstract（参考訳）: ディープラーニングは多くのアプリケーションで最先端の成果を得ているが、ニューラルネットワークが一定の出力次元を生成するように訓練されているため、ニューラルネットワークアーキテクチャを新しい出力機能に適応させることは依然として課題である。
この問題は、リコメンデータシステム内の項目などの新しい出力機能を、ほとんど、あるいは全く関連しない観察で継続的に追加するオンライン学習環境では特に深刻である。
そのため、時間とデータ効率の両立した新しい特徴にニューラルネットワークを適用する方法が望まれる。
そこで本稿では,既存のデータだけでなく,新機能に関連する任意の観測やメタデータを活用することで,基本モデルを新機能に拡張するためのパラメータを生成する補助モデルであるContextual HyperNetwork (CHN)を提案する。
予測時には、CHNは1つのフォワードパスだけでニューラルネットワークを通過し、再トレーニングや微調整のアプローチと比較して、大幅なスピードアップをもたらす。
CHNの性能を評価するため,部分変分オートエンコーダ(P-VAE)をCHNを用いて拡張する。
本システムでは,既存のインプテーションやメタラーニングベースラインに比べて,レコメンデータシステム,eラーニング,医療タスクにまたがる新たな機能に対して,マイズショット学習性能が向上することを示す。
関連論文リスト
- Unveiling the Power of Sparse Neural Networks for Feature Selection [60.50319755984697]
スパースニューラルネットワーク(SNN)は、効率的な特徴選択のための強力なツールとして登場した。
動的スパーストレーニング(DST)アルゴリズムで訓練されたSNNは、平均して50%以上のメモリと55%以上のFLOPを削減できることを示す。
以上の結果から,DSTアルゴリズムで訓練したSNNによる特徴選択は,平均して50ドル以上のメモリと55%のFLOPを削減できることがわかった。
論文 参考訳（メタデータ） (2024-08-08T16:48:33Z) - Visual Prompting Upgrades Neural Network Sparsification: A Data-Model Perspective [64.04617968947697]
より優れた重量空間を実現するために、新しいデータモデル共設計視点を導入する。
具体的には、提案したVPNフレームワークでニューラルネットワークのスパーシフィケーションをアップグレードするために、カスタマイズされたVisual Promptが実装されている。
論文 参考訳（メタデータ） (2023-12-03T13:50:24Z) - Efficient Model Adaptation for Continual Learning at the Edge [15.334881190102895]
ほとんどの機械学習(ML)システムは、トレーニングとデプロイメントの間、定常的で一致したデータ分散を前提としている。
データ分布は、環境要因、センサー特性、タスク・オブ・関心などの変化により、時間とともに変化することが多い。
本稿では,ドメインシフト下での効率的な連続学習のためのアダプタ・リコンフィグレータ(EAR)フレームワークを提案する。
論文 参考訳（メタデータ） (2023-08-03T23:55:17Z) - How neural networks learn to classify chaotic time series [77.34726150561087]
本研究では,通常の逆カオス時系列を分類するために訓練されたニューラルネットワークの内部動作について検討する。
入力周期性とアクティベーション周期の関係は,LKCNNモデルの性能向上の鍵となる。
論文 参考訳（メタデータ） (2023-06-04T08:53:27Z) - Supervised Feature Selection with Neuron Evolution in Sparse Neural
Networks [17.12834153477201]
スパースニューラルネットワークを用いた資源効率の高い新しい特徴選択法を提案する。
スクラッチからトレーニングされたスパースニューラルネットワークの入力層から、不定形的特徴を徐々に抜き取ることにより、NeuroFSは、機能の情報的サブセットを効率的に導き出す。
NeuroFSは、最先端の教師付き特徴選択モデルの中で最上位のスコアを達成している。
論文 参考訳（メタデータ） (2023-03-10T17:09:55Z) - Learning to Learn with Generative Models of Neural Network Checkpoints [71.06722933442956]
ニューラルネットワークのチェックポイントのデータセットを構築し,パラメータの生成モデルをトレーニングする。
提案手法は,幅広い損失プロンプトに対するパラメータの生成に成功している。
我々は、教師付きおよび強化学習における異なるニューラルネットワークアーキテクチャとタスクに本手法を適用した。
論文 参考訳（メタデータ） (2022-09-26T17:59:58Z) - On the adaptation of recurrent neural networks for system identification [2.5234156040689237]
本稿では,動的システムのリカレントニューラルネットワーク(RNN)モデルの高速かつ効率的な適応を可能にするトランスファー学習手法を提案する。
その後、システムダイナミクスが変化すると仮定され、摂動系における名目モデルの性能が不可避的に低下する。
ミスマッチに対処するため、新しい動的状態からの新鮮なデータに基づいてトレーニングされた付加的補正項でモデルを拡張する。
論文 参考訳（メタデータ） (2022-01-21T12:04:17Z) - Oscillatory Fourier Neural Network: A Compact and Efficient Architecture
for Sequential Processing [16.69710555668727]
本稿では,コサイン活性化と時系列処理のための時間変化成分を有する新しいニューロンモデルを提案する。
提案したニューロンは、スペクトル領域に逐次入力を投影するための効率的なビルディングブロックを提供する。
IMDBデータセットの感情分析に提案されたモデルを適用すると、5時間以内のテスト精度は89.4%に達する。
論文 参考訳（メタデータ） (2021-09-14T19:08:07Z) - Modeling from Features: a Mean-field Framework for Over-parameterized
Deep Neural Networks [54.27962244835622]
本稿では、オーバーパラメータ化ディープニューラルネットワーク(DNN)のための新しい平均場フレームワークを提案する。
このフレームワークでは、DNNは連続的な極限におけるその特徴に対する確率測度と関数によって表現される。
本稿では、標準DNNとResidual Network(Res-Net)アーキテクチャを通してフレームワークを説明する。
論文 参考訳（メタデータ） (2020-07-03T01:37:16Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。