Fugu-MT 論文翻訳(概要): Sparse Function-space Representation of Neural Networks

論文の概要: Sparse Function-space Representation of Neural Networks

arxiv url: http://arxiv.org/abs/2309.02195v1
Date: Tue, 5 Sep 2023 12:56:35 GMT
ステータス: 処理完了
システム内更新日: 2023-09-06 14:41:23.631098
Title: Sparse Function-space Representation of Neural Networks
Title（参考訳）: ニューラルネットワークのスパース関数空間表現
Authors: Aidan Scannell and Riccardo Mereu and Paul Chang and Ella Tamir and Joni Pajarinen and Arno Solin
Abstract要約: ディープニューラルネットワーク(NN)は、不確実性推定が欠如していることや、新しいデータを組み込むのに苦労していることが知られている。本稿では,NNを重み空間から関数空間に変換することにより,これらの問題を緩和する手法を提案する。
参考スコア（独自算出の注目度）: 23.4128813752424
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Deep neural networks (NNs) are known to lack uncertainty estimates and struggle to incorporate new data. We present a method that mitigates these issues by converting NNs from weight space to function space, via a dual parameterization. Importantly, the dual parameterization enables us to formulate a sparse representation that captures information from the entire data set. This offers a compact and principled way of capturing uncertainty and enables us to incorporate new data without retraining whilst retaining predictive performance. We provide proof-of-concept demonstrations with the proposed approach for quantifying uncertainty in supervised learning on UCI benchmark tasks.
Abstract（参考訳）: ディープニューラルネットワーク(nns)は、不確実性の推定を欠き、新しいデータを取り込むのに苦労していることが知られている。本稿では,NNを重み空間から関数空間に変換することにより,これらの問題を緩和する手法を提案する。重要なのは、デュアルパラメータ化により、データセット全体から情報をキャプチャするスパース表現を定式化できます。これにより、不確実性を捕捉するコンパクトで原則化された方法が提供され、予測性能を維持しながら再トレーニングすることなく、新しいデータを組み込むことができます。 UCIベンチマークタスクにおける教師あり学習の不確かさを定量化する手法を提案する。

関連論文リスト

Dynamic Continual Learning: Harnessing Parameter Uncertainty for Improved Network Adaptation [0.0]
本稿では、パラメータに基づく不確実性を用いて、ネットワークの学習機能に関連するパラメータを決定することを提案する。平均テスト精度と後方転送の指標に対する連続学習性能の改善を示す。
論文参考訳（メタデータ） (2025-01-18T19:58:53Z)
Function Space Diversity for Uncertainty Prediction via Repulsive Last-Layer Ensembles [11.551956337460982]
粒子最適化による関数空間の推測と不確実性推定を改善するための実用的な修正について論じる。本研究では,粒子予測を多種多様に強制する入力サンプルがモデル性能に有害であることを示す。トレーニングデータ自体の多様性は不適合につながる可能性があるが、ラベル削除データの拡張や、ラベル付けされていないアウト・オブ・ディストリビューションデータを使用することは、予測の多様性と不確実性の推定を改善することができる。
論文参考訳（メタデータ） (2024-12-20T10:24:08Z)
Empowering Bayesian Neural Networks with Functional Priors through Anchored Ensembling for Mechanics Surrogate Modeling Applications [0.0]
本稿では,関数空間で利用可能な事前情報を統合するアンカー型アンサンブルに基づく新しいBNNトレーニング手法を提案する。アンカーリング方式は, NNパラメータ間の低ランク相関を利用して, 事前学習から関数前の実現まで学習する。また,既存のBNN実装では無視されることが多いNN重み間の相関が,関数空間とパラメータ空間の事前知識を適切に伝達する上で重要であることを示す。
論文参考訳（メタデータ） (2024-09-08T22:27:50Z)
Function-space Parameterization of Neural Networks for Sequential Learning [22.095632118886225]
逐次学習パラダイムは、新しいデータの導入と事前知識の維持が困難であるため、勾配に基づくディープラーニングに課題を提起する。本稿では,ニューラルネットワークを重み空間から関数空間に変換する手法を提案する。実験により,継続学習における知識を保ち,新しいデータを効率的に活用できることが実証された。
論文参考訳（メタデータ） (2024-03-16T14:00:04Z)
Disentangled Representation Learning with Transmitted Information Bottleneck [57.22757813140418]
textbfDisTIB (textbfTransmitted textbfInformation textbfBottleneck for textbfDisd representation learning) は情報圧縮と保存のバランスを保った新しい目的である。
論文参考訳（メタデータ） (2023-11-03T03:18:40Z)
Uncertainty Estimation by Fisher Information-based Evidential Deep Learning [61.94125052118442]
不確実性推定は、ディープラーニングを実用アプリケーションで信頼できるものにする鍵となる要素である。漁業情報に基づくエビデンシャルディープラーニング(mathcalI$-EDL)を提案する。特に,各サンプルが有する証拠の情報量を測定するためにFisher Information Matrix (FIM)を導入し,目的的損失項を動的に重み付けし,不確実なクラスの表現学習に集中させる。
論文参考訳（メタデータ） (2023-03-03T16:12:59Z)
Efficient Parametric Approximations of Neural Network Function Space Distance [6.117371161379209]
モデルパラメータとトレーニングデータの重要な特性をコンパクトに要約して、データセット全体を保存または/または反復することなく後で使用できるようにすることが、しばしば有用である。我々は,FSD(Function Space Distance)をトレーニングセット上で推定することを検討する。本稿では、線形化活性化TRick (LAFTR) を提案し、ReLUニューラルネットワークに対するFSDの効率的な近似を導出する。
論文参考訳（メタデータ） (2023-02-07T15:09:23Z)
Learning Low Dimensional State Spaces with Overparameterized Recurrent Neural Nets [57.06026574261203]
我々は、長期記憶をモデル化できる低次元状態空間を学習するための理論的証拠を提供する。実験は、線形RNNと非線形RNNの両方で低次元状態空間を学習することで、我々の理論を裏付けるものである。
論文参考訳（メタデータ） (2022-10-25T14:45:15Z)
NUQ: Nonparametric Uncertainty Quantification for Deterministic Neural Networks [151.03112356092575]
本研究では,Nadaraya-Watson の条件付きラベル分布の非パラメトリック推定に基づく分類器の予測の不確かさの測定方法を示す。種々の実世界の画像データセットにおける不確実性推定タスクにおいて,本手法の強い性能を示す。
論文参考訳（メタデータ） (2022-02-07T12:30:45Z)
Multivariate Deep Evidential Regression [77.34726150561087]
不確実性を認識するニューラルネットワークによる新しいアプローチは、従来の決定論的手法よりも有望である。本稿では,レグレッションベースニューラルネットワークからアレータ性およびてんかん性不確かさを抽出する手法を提案する。
論文参考訳（メタデータ） (2021-04-13T12:20:18Z)
Modeling from Features: a Mean-field Framework for Over-parameterized Deep Neural Networks [54.27962244835622]
本稿では、オーバーパラメータ化ディープニューラルネットワーク(DNN)のための新しい平均場フレームワークを提案する。このフレームワークでは、DNNは連続的な極限におけるその特徴に対する確率測度と関数によって表現される。本稿では、標準DNNとResidual Network(Res-Net)アーキテクチャを通してフレームワークを説明する。
論文参考訳（メタデータ） (2020-07-03T01:37:16Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。