論文の概要: Morse Neural Networks for Uncertainty Quantification
- arxiv url: http://arxiv.org/abs/2307.00667v1
- Date: Sun, 2 Jul 2023 21:05:42 GMT
- ステータス: 処理完了
- システム内更新日: 2023-07-05 14:45:26.082318
- Title: Morse Neural Networks for Uncertainty Quantification
- Title(参考訳): 不確実性定量化のためのモースニューラルネットワーク
- Authors: Benoit Dherin, Huiyi Hu, Jie Ren, Michael W. Dusenberry, and Balaji
Lakshminarayanan
- Abstract要約: モースニューラルネットワークは、正規化されていないガウス密度を、ただの離散点ではなく高次元部分多様体のモードを持つように一般化する。
その汎用性のため、モースニューラルネットワークは多くの技術を統合する。
モースニューラルネットワークは、トポロジーにおけるベクトルマシン、カーネルメソッド、モース理論をサポートする接続を持つ。
- 参考スコア(独自算出の注目度): 16.283954793700307
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: We introduce a new deep generative model useful for uncertainty
quantification: the Morse neural network, which generalizes the unnormalized
Gaussian densities to have modes of high-dimensional submanifolds instead of
just discrete points. Fitting the Morse neural network via a KL-divergence loss
yields 1) a (unnormalized) generative density, 2) an OOD detector, 3) a
calibration temperature, 4) a generative sampler, along with in the supervised
case 5) a distance aware-classifier. The Morse network can be used on top of a
pre-trained network to bring distance-aware calibration w.r.t the training
data. Because of its versatility, the Morse neural networks unifies many
techniques: e.g., the Entropic Out-of-Distribution Detector of (Mac\^edo et
al., 2021) in OOD detection, the one class Deep Support Vector Description
method of (Ruff et al., 2018) in anomaly detection, or the Contrastive One
Class classifier in continuous learning (Sun et al., 2021). The Morse neural
network has connections to support vector machines, kernel methods, and Morse
theory in topology.
- Abstract(参考訳): 非正規化ガウス密度を離散点ではなく高次元部分多様体のモードに一般化するモースニューラルネットワーク(morse neural network)を提案する。
KL分割損失によるMorseニューラルネットワークの適合
1) a(正規化されていない)生成密度
2)OOD検出器
3)キャリブレーション温度。
4)生成サンプラー,及び教師付きケース
5) 距離認識分類器。
Morseネットワークはトレーニング済みのネットワーク上で使用することができ、トレーニングデータに対して距離対応キャリブレーションを行うことができる。
その汎用性のため、モースニューラルネットワークは、ood検出における(mac\^edo et al., 2021)のエントロピーアウトオブディストリビューション検出器、異常検出における(ruff et al., 2018)の1つのクラスディープサポートベクター記述法、あるいは連続学習における1つのクラス分類器(sun et al., 2021)など、多くのテクニックを統一する。
モースニューラルネットワークは、トポロジーにおけるベクトルマシン、カーネルメソッド、モース理論をサポートする接続を持つ。
関連論文リスト
- Detecting 5G Narrowband Jammers with CNN, k-nearest Neighbors, and Support Vector Machines [4.678637187649889]
5Gセルネットワークは、無線信号の特定の制御サブチャネルを標的とする狭帯域ジャマに対して脆弱である。
1つの緩和アプローチは、機械学習に基づいて、オンライン観察システムでこのような妨害攻撃を検出することである。
本稿では,二項分類を行う機械学習モデルを用いて,物理層におけるジャミングを検出することを提案する。
論文 参考訳(メタデータ) (2024-05-07T13:54:12Z) - Assessing Neural Network Representations During Training Using
Noise-Resilient Diffusion Spectral Entropy [55.014926694758195]
ニューラルネットワークにおけるエントロピーと相互情報は、学習プロセスに関する豊富な情報を提供する。
データ幾何を利用して基礎となる多様体にアクセスし、これらの情報理論測度を確実に計算する。
本研究は,高次元シミュレーションデータにおける固有次元と関係強度の耐雑音性の測定結果である。
論文 参考訳(メタデータ) (2023-12-04T01:32:42Z) - Deep Neural Networks Tend To Extrapolate Predictably [51.303814412294514]
ニューラルネットワークの予測は、アウト・オブ・ディストリビューション(OOD)入力に直面した場合、予測不可能で過信される傾向がある。
我々は、入力データがOODになるにつれて、ニューラルネットワークの予測が一定値に向かう傾向があることを観察する。
我々は、OOD入力の存在下でリスクに敏感な意思決定を可能にするために、私たちの洞察を実際に活用する方法を示します。
論文 参考訳(メタデータ) (2023-10-02T03:25:32Z) - How neural networks learn to classify chaotic time series [77.34726150561087]
本研究では,通常の逆カオス時系列を分類するために訓練されたニューラルネットワークの内部動作について検討する。
入力周期性とアクティベーション周期の関係は,LKCNNモデルの性能向上の鍵となる。
論文 参考訳(メタデータ) (2023-06-04T08:53:27Z) - Learning to Learn with Generative Models of Neural Network Checkpoints [71.06722933442956]
ニューラルネットワークのチェックポイントのデータセットを構築し,パラメータの生成モデルをトレーニングする。
提案手法は,幅広い損失プロンプトに対するパラメータの生成に成功している。
我々は、教師付きおよび強化学習における異なるニューラルネットワークアーキテクチャとタスクに本手法を適用した。
論文 参考訳(メタデータ) (2022-09-26T17:59:58Z) - Wide and Deep Neural Networks Achieve Optimality for Classification [23.738242876364865]
我々は、最適性を達成するニューラルネットワーク分類器の明示的な集合を同定し、構築する。
特に、最適性を実現するネットワーク構築に使用できる明示的なアクティベーション関数を提供する。
その結果,過度な深度が有害な回帰タスクとは対照的に,分類タスクにディープネットワークを使用することの利点が浮き彫りになった。
論文 参考訳(メタデータ) (2022-04-29T14:27:42Z) - Deep Convolutional Learning-Aided Detector for Generalized Frequency
Division Multiplexing with Index Modulation [0.0]
提案手法は、まずゼロフォース検出器(ZF)を用いて受信信号を前処理し、その後、畳み込みニューラルネットワーク(CNN)と完全連結ニューラルネットワーク(FCNN)からなるニューラルネットワークを用いる。
FCNN部は2つの完全に接続された層しか使用せず、複雑さとBER(bit error rate)パフォーマンスのトレードオフをもたらすことができる。
提案したディープ畳み込みニューラルネットワークに基づく検出・復調方式は,ZF検出器よりも高いBER性能を示し,複雑性が増大することが実証されている。
論文 参考訳(メタデータ) (2022-02-06T22:18:42Z) - Semi-supervised Impedance Inversion by Bayesian Neural Network Based on
2-d CNN Pre-training [0.966840768820136]
我々は2つの側面から半教師付き学習を改善する。
まず、ディープラーニング構造における1次元畳み込みニューラルネットワーク層を2次元CNN層と2次元マックスプール層に置き換えることで、予測精度を向上させる。
第二に、ベイズ推論フレームワークにネットワークを埋め込むことで予測の不確実性を推定することもできる。
論文 参考訳(メタデータ) (2021-11-20T14:12:05Z) - Detecting residues of cosmic events using residual neural network [0.0]
残像ネットワークは、画像分類、顔認識、オブジェクト検出などの多くの分野を頑健な構造で変換している。
ディープラーニングネットワークは一度だけ訓練される。
新しいタイプの重力波が検出されると、これはディープラーニングの欠点であることが判明しました。
1次元時系列入力のためのカスタム残存ニューラルネットワークの作成を目指します。
論文 参考訳(メタデータ) (2021-01-01T08:44:58Z) - Cassandra: Detecting Trojaned Networks from Adversarial Perturbations [92.43879594465422]
多くの場合、事前トレーニングされたモデルは、トロイの木馬の振る舞いをモデルに挿入するためにトレーニングパイプラインを中断したかもしれないベンダーから派生している。
本稿では,事前学習したモデルがトロイの木馬か良馬かを検証する手法を提案する。
本手法は,ニューラルネットワークの指紋を,ネットワーク勾配から学習した逆方向の摂動の形でキャプチャする。
論文 参考訳(メタデータ) (2020-07-28T19:00:40Z) - RE-MIMO: Recurrent and Permutation Equivariant Neural MIMO Detection [85.44877328116881]
無線通信システムにおけるシンボル検出のための新しいニューラルネットワークを提案する。
無線通信システムにおけるいくつかの重要な考察に動機付けられている。
その性能を既存手法と比較し,ネットワークが可変数の送信機を効率的に処理できることを示す。
論文 参考訳(メタデータ) (2020-06-30T22:43:01Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。