論文の概要: Sparse Function-space Representation of Neural Networks
- arxiv url: http://arxiv.org/abs/2309.02195v1
- Date: Tue, 5 Sep 2023 12:56:35 GMT
- ステータス: 処理完了
- システム内更新日: 2023-09-06 14:41:23.631098
- Title: Sparse Function-space Representation of Neural Networks
- Title(参考訳): ニューラルネットワークのスパース関数空間表現
- Authors: Aidan Scannell and Riccardo Mereu and Paul Chang and Ella Tamir and
Joni Pajarinen and Arno Solin
- Abstract要約: ディープニューラルネットワーク(NN)は、不確実性推定が欠如していることや、新しいデータを組み込むのに苦労していることが知られている。
本稿では,NNを重み空間から関数空間に変換することにより,これらの問題を緩和する手法を提案する。
- 参考スコア(独自算出の注目度): 23.4128813752424
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Deep neural networks (NNs) are known to lack uncertainty estimates and
struggle to incorporate new data. We present a method that mitigates these
issues by converting NNs from weight space to function space, via a dual
parameterization. Importantly, the dual parameterization enables us to
formulate a sparse representation that captures information from the entire
data set. This offers a compact and principled way of capturing uncertainty and
enables us to incorporate new data without retraining whilst retaining
predictive performance. We provide proof-of-concept demonstrations with the
proposed approach for quantifying uncertainty in supervised learning on UCI
benchmark tasks.
- Abstract(参考訳): ディープニューラルネットワーク(nns)は、不確実性の推定を欠き、新しいデータを取り込むのに苦労していることが知られている。
本稿では,NNを重み空間から関数空間に変換することにより,これらの問題を緩和する手法を提案する。
重要なのは、デュアルパラメータ化により、データセット全体から情報をキャプチャするスパース表現を定式化できます。
これにより、不確実性を捕捉するコンパクトで原則化された方法が提供され、予測性能を維持しながら再トレーニングすることなく、新しいデータを組み込むことができます。
UCIベンチマークタスクにおける教師あり学習の不確かさを定量化する手法を提案する。
関連論文リスト
- Dynamic Continual Learning: Harnessing Parameter Uncertainty for Improved Network Adaptation [0.0]
本稿では、パラメータに基づく不確実性を用いて、ネットワークの学習機能に関連するパラメータを決定することを提案する。
平均テスト精度と後方転送の指標に対する連続学習性能の改善を示す。
論文 参考訳(メタデータ) (2025-01-18T19:58:53Z) - Function Space Diversity for Uncertainty Prediction via Repulsive Last-Layer Ensembles [11.551956337460982]
粒子最適化による関数空間の推測と不確実性推定を改善するための実用的な修正について論じる。
本研究では,粒子予測を多種多様に強制する入力サンプルがモデル性能に有害であることを示す。
トレーニングデータ自体の多様性は不適合につながる可能性があるが、ラベル削除データの拡張や、ラベル付けされていないアウト・オブ・ディストリビューションデータを使用することは、予測の多様性と不確実性の推定を改善することができる。
論文 参考訳(メタデータ) (2024-12-20T10:24:08Z) - Empowering Bayesian Neural Networks with Functional Priors through Anchored Ensembling for Mechanics Surrogate Modeling Applications [0.0]
本稿では,関数空間で利用可能な事前情報を統合するアンカー型アンサンブルに基づく新しいBNNトレーニング手法を提案する。
アンカーリング方式は, NNパラメータ間の低ランク相関を利用して, 事前学習から関数前の実現まで学習する。
また,既存のBNN実装では無視されることが多いNN重み間の相関が,関数空間とパラメータ空間の事前知識を適切に伝達する上で重要であることを示す。
論文 参考訳(メタデータ) (2024-09-08T22:27:50Z) - Function-space Parameterization of Neural Networks for Sequential Learning [22.095632118886225]
逐次学習パラダイムは、新しいデータの導入と事前知識の維持が困難であるため、勾配に基づくディープラーニングに課題を提起する。
本稿では,ニューラルネットワークを重み空間から関数空間に変換する手法を提案する。
実験により,継続学習における知識を保ち,新しいデータを効率的に活用できることが実証された。
論文 参考訳(メタデータ) (2024-03-16T14:00:04Z) - Disentangled Representation Learning with Transmitted Information Bottleneck [57.22757813140418]
textbfDisTIB (textbfTransmitted textbfInformation textbfBottleneck for textbfDisd representation learning) は情報圧縮と保存のバランスを保った新しい目的である。
論文 参考訳(メタデータ) (2023-11-03T03:18:40Z) - Uncertainty Estimation by Fisher Information-based Evidential Deep
Learning [61.94125052118442]
不確実性推定は、ディープラーニングを実用アプリケーションで信頼できるものにする鍵となる要素である。
漁業情報に基づくエビデンシャルディープラーニング(mathcalI$-EDL)を提案する。
特に,各サンプルが有する証拠の情報量を測定するためにFisher Information Matrix (FIM)を導入し,目的的損失項を動的に重み付けし,不確実なクラスの表現学習に集中させる。
論文 参考訳(メタデータ) (2023-03-03T16:12:59Z) - Efficient Parametric Approximations of Neural Network Function Space
Distance [6.117371161379209]
モデルパラメータとトレーニングデータの重要な特性をコンパクトに要約して、データセット全体を保存または/または反復することなく後で使用できるようにすることが、しばしば有用である。
我々は,FSD(Function Space Distance)をトレーニングセット上で推定することを検討する。
本稿では、線形化活性化TRick (LAFTR) を提案し、ReLUニューラルネットワークに対するFSDの効率的な近似を導出する。
論文 参考訳(メタデータ) (2023-02-07T15:09:23Z) - Learning Low Dimensional State Spaces with Overparameterized Recurrent
Neural Nets [57.06026574261203]
我々は、長期記憶をモデル化できる低次元状態空間を学習するための理論的証拠を提供する。
実験は、線形RNNと非線形RNNの両方で低次元状態空間を学習することで、我々の理論を裏付けるものである。
論文 参考訳(メタデータ) (2022-10-25T14:45:15Z) - NUQ: Nonparametric Uncertainty Quantification for Deterministic Neural
Networks [151.03112356092575]
本研究では,Nadaraya-Watson の条件付きラベル分布の非パラメトリック推定に基づく分類器の予測の不確かさの測定方法を示す。
種々の実世界の画像データセットにおける不確実性推定タスクにおいて,本手法の強い性能を示す。
論文 参考訳(メタデータ) (2022-02-07T12:30:45Z) - Multivariate Deep Evidential Regression [77.34726150561087]
不確実性を認識するニューラルネットワークによる新しいアプローチは、従来の決定論的手法よりも有望である。
本稿では,レグレッションベースニューラルネットワークからアレータ性およびてんかん性不確かさを抽出する手法を提案する。
論文 参考訳(メタデータ) (2021-04-13T12:20:18Z) - Modeling from Features: a Mean-field Framework for Over-parameterized
Deep Neural Networks [54.27962244835622]
本稿では、オーバーパラメータ化ディープニューラルネットワーク(DNN)のための新しい平均場フレームワークを提案する。
このフレームワークでは、DNNは連続的な極限におけるその特徴に対する確率測度と関数によって表現される。
本稿では、標準DNNとResidual Network(Res-Net)アーキテクチャを通してフレームワークを説明する。
論文 参考訳(メタデータ) (2020-07-03T01:37:16Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。