論文の概要: Estimating Model Uncertainty of Neural Networks in Sparse Information Form

• arxiv url: http://arxiv.org/abs/2006.11631v1
• Date: Sat, 20 Jun 2020 18:09:59 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-18 21:52:13.777507
• Title: Estimating Model Uncertainty of Neural Networks in Sparse Information Form
• Title（参考訳）: スパース情報型ニューラルネットワークのモデル不確かさの推定
• Authors: Jongseok Lee, Matthias Humt, Jianxiang Feng, Rudolph Triebel
• Abstract要約: ディープニューラルネットワーク(DNN)におけるモデル不確実性のスパース表現について述べる。 我々の研究の重要な洞察は、情報行列はそのスペクトルにおいてスパースである傾向があることである。 DNNにおけるモデル不確実性を表すために,情報形式が適用可能であることを示す。
• 参考スコア（独自算出の注目度）: 39.553268191681376
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We present a sparse representation of model uncertainty for Deep Neural Networks (DNNs) where the parameter posterior is approximated with an inverse formulation of the Multivariate Normal Distribution (MND), also known as the information form. The key insight of our work is that the information matrix, i.e. the inverse of the covariance matrix tends to be sparse in its spectrum. Therefore, dimensionality reduction techniques such as low rank approximations (LRA) can be effectively exploited. To achieve this, we develop a novel sparsification algorithm and derive a cost-effective analytical sampler. As a result, we show that the information form can be scalably applied to represent model uncertainty in DNNs. Our exhaustive theoretical analysis and empirical evaluations on various benchmarks show the competitiveness of our approach over the current methods.
• Abstract（参考訳）: 本稿では,多変量正規分布(mnd)の逆定式化を情報形式として近似した深層ニューラルネットワーク(dnn)におけるモデル不確かさのスパース表現を提案する。 私たちの研究の鍵となる洞察は、情報行列、すなわち共分散行列の逆行列がそのスペクトルに偏りがちであることです。 そのため、低階近似(LRA)のような次元減少技術を有効に活用することができる。 そこで我々は,新しいスペーシフィケーションアルゴリズムを開発し,コスト効率のよい分析サンプルを導出する。 その結果,DNNにおけるモデル不確実性を表すために,情報形式を適応的に適用できることが示唆された。 各種ベンチマークにおける総括的理論解析と実証評価は,現在の手法に対するアプローチの競争力を示している。

関連論文リスト

• On Discriminative Probabilistic Modeling for Self-Supervised Representation Learning [85.75164588939185]
  複数モーダルな)自己教師付き表現学習のための連続領域における識別確率モデル問題について検討する。 我々は、自己教師付き表現学習における現在のInfoNCEに基づくコントラスト損失の制限を明らかにするために一般化誤差解析を行う。
  論文  参考訳（メタデータ） (2024-10-11T18:02:46Z)
• NeurAM: nonlinear dimensionality reduction for uncertainty quantification through neural active manifolds [0.6990493129893112]
  我々はオートエンコーダを利用して1次元のニューラルアクティブ多様体(NeurAM)をモデル出力の可変性を捉える。 分散を低減した多要素サンプリング推定器にNeurAMをどのように利用できるかを示す。
  論文  参考訳（メタデータ） (2024-08-07T04:27:58Z)
• A PAC-Bayesian Perspective on the Interpolating Information Criterion [54.548058449535155]
  補間系の性能に影響を及ぼす要因を特徴付ける一般モデルのクラスに対して,PAC-Bayes境界がいかに得られるかを示す。 オーバーパラメータ化モデルに対するテスト誤差が、モデルとパラメータの初期化スキームの組み合わせによって課される暗黙の正規化の品質に依存するかの定量化を行う。
  論文  参考訳（メタデータ） (2023-11-13T01:48:08Z)
• Reinforcing POD-based model reduction techniques in reaction-diffusion complex networks using stochastic filtering and pattern recognition [0.09324035015689712]
  複雑なネットワークは、多くの現実世界のシステムをモデル化するために使用される。 このような場合、PODのような次元減少技術を用いることができる。 パターン認識とフィルタリング理論の技法を組み合わせたアルゴリズムフレームワークを提案する。
  論文  参考訳（メタデータ） (2023-07-19T05:45:05Z)
• Proximal Symmetric Non-negative Latent Factor Analysis: A Novel Approach to Highly-Accurate Representation of Undirected Weighted Networks [2.1797442801107056]
  Undirected Weighted Network (UWN) は、ビッグデータ関連のアプリケーションで一般的に見られる。 既存のモデルは本質対称性や低データ密度のモデル化に失敗する。 近軸対称非負の潜在因子分析モデルを提案する。
  論文  参考訳（メタデータ） (2023-06-06T13:03:24Z)
• Robust lEarned Shrinkage-Thresholding (REST): Robust unrolling for sparse recover [87.28082715343896]
  我々は、モデルミス特定を前進させるのに堅牢な逆問題を解決するためのディープニューラルネットワークについて検討する。 我々は,アルゴリズムの展開手法を根底にある回復問題のロバストバージョンに適用することにより,新しい堅牢なディープニューラルネットワークアーキテクチャを設計する。 提案したRESTネットワークは,圧縮センシングとレーダイメージングの両問題において,最先端のモデルベースおよびデータ駆動アルゴリズムを上回る性能を示す。
  論文  参考訳（メタデータ） (2021-10-20T06:15:45Z)
• Information Theoretic Structured Generative Modeling [13.117829542251188]
  構造生成モデル (Structured Generative Model, SGM) と呼ばれる新しい生成モデルフレームワークが提案され, 簡単な最適化が可能となった。 この実装では、無限のガウス混合モデルを学習するために適合した単一白色ノイズ源への正則入力によって駆動される1つのニューラルネットワークを採用している。 予備的な結果は、SGMがデータ効率と分散、従来のガウス混合モデルと変分混合モデル、および敵ネットワークのトレーニングにおいてMINE推定を著しく改善することを示している。
  論文  参考訳（メタデータ） (2021-10-12T07:44:18Z)
• MINIMALIST: Mutual INformatIon Maximization for Amortized Likelihood Inference from Sampled Trajectories [61.3299263929289]
  シミュレーションベースの推論は、その可能性が実際に計算できない場合でもモデルのパラメータを学習することができる。 あるクラスのメソッドは、異なるパラメータでシミュレートされたデータを使用して、確率とエビデンス比の償却推定器を推定する。 モデルパラメータとシミュレーションデータ間の相互情報の観点から,本手法が定式化可能であることを示す。
  論文  参考訳（メタデータ） (2021-06-03T12:59:16Z)
• Bayesian Imaging With Data-Driven Priors Encoded by Neural Networks: Theory, Methods, and Algorithms [2.266704469122763]
  本稿では,事前知識がトレーニングデータとして利用可能である逆問題に対して,ベイズ推定を行う新しい手法を提案する。 容易に検証可能な条件下で,関連する後方モーメントの存在と適切性を確立する。 モデル精度解析により、データ駆動モデルによって報告されるベイズ確率は、頻繁な定義の下で著しく正確であることが示された。
  論文  参考訳（メタデータ） (2021-03-18T11:34:08Z)
• GELATO: Geometrically Enriched Latent Model for Offline Reinforcement Learning [54.291331971813364]
  オフライン強化学習アプローチは、近近法と不確実性認識法に分けられる。 本研究では,この2つを潜在変動モデルに組み合わせることのメリットを実証する。 提案したメトリクスは、分布サンプルのアウトの品質と、データ内のサンプルの不一致の両方を測定します。
  論文  参考訳（メタデータ） (2021-02-22T19:42:40Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。