論文の概要: Last layer state space model for representation learning and uncertainty quantification

• arxiv url: http://arxiv.org/abs/2307.01566v1
• Date: Tue, 4 Jul 2023 08:37:37 GMT
• ステータス: 処理完了
• システム内更新日: 2023-07-06 17:49:18.945765
• Title: Last layer state space model for representation learning and uncertainty quantification
• Title（参考訳）: 表現学習と不確実性定量化のための最終層状態空間モデル
• Authors: Max Cohen (TSP), Maurice Charbit, Sylvain Le Corff (TSP)
• Abstract要約: 本稿では,低次元状態を学ぶための表現学習段階と,不確実性推定のための状態空間モデルという2つのステップで分類・回帰タスクを分解することを提案する。 我々は、状態空間をベースとした最後の層を追加することで、既存のトレーニング済みニューラルネットワーク上に予測分布を推定する方法を実証する。 我々のモデルは、未知あるいは不利用可能な変数のため、ノイズの多いデータ構造を考慮し、予測に対して信頼区間を提供することができる。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: As sequential neural architectures become deeper and more complex, uncertainty estimation is more and more challenging. Efforts in quantifying uncertainty often rely on specific training procedures, and bear additional computational costs due to the dimensionality of such models. In this paper, we propose to decompose a classification or regression task in two steps: a representation learning stage to learn low-dimensional states, and a state space model for uncertainty estimation. This approach allows to separate representation learning and design of generative models. We demonstrate how predictive distributions can be estimated on top of an existing and trained neural network, by adding a state space-based last layer whose parameters are estimated with Sequential Monte Carlo methods. We apply our proposed methodology to the hourly estimation of Electricity Transformer Oil temperature, a publicly benchmarked dataset. Our model accounts for the noisy data structure, due to unknown or unavailable variables, and is able to provide confidence intervals on predictions.
• Abstract（参考訳）: シーケンシャルなニューラルアーキテクチャがより深く複雑になるにつれて、不確実性の推定はますます困難になる。 不確実性を定量化する努力は、しばしば特定の訓練手順に依存し、そのようなモデルの次元性のためにさらなる計算コストを負担する。 本稿では,低次元状態学習のための表現学習ステージと不確かさ推定のための状態空間モデルという2つのステップで分類や回帰タスクを分解することを提案する。 このアプローチは表現学習と生成モデルの設計を分離することができる。 本稿では,モンテカルロ法を用いてパラメータを推定する状態空間ベース最後の層を追加することにより,既存のニューラルネットワーク上に予測分布を推定する方法を実証する。 提案手法を,公的なベンチマークデータセットである電気変圧器油温の時間的推定に適用する。 我々のモデルは未知変数や未使用変数によるノイズの多いデータ構造を考慮し、予測に信頼区間を提供できる。

関連論文リスト

• Towards Learning Stochastic Population Models by Gradient Descent [0.0]
  パラメータと構造を同時に推定することで,最適化手法に大きな課題が生じることを示す。 モデルの正確な推定を実証するが、擬似的、解釈可能なモデルの推論を強制することは、難易度を劇的に高める。
  論文  参考訳（メタデータ） (2024-04-10T14:38:58Z)
• Kalman Filter for Online Classification of Non-Stationary Data [101.26838049872651]
  オンライン連続学習(OCL)では、学習システムはデータのストリームを受け取り、予測とトレーニングの手順を順次実行する。 本稿では,線形予測量に対するニューラル表現と状態空間モデルを用いた確率ベイズオンライン学習モデルを提案する。 多クラス分類の実験では、モデルの予測能力と非定常性を捉える柔軟性を示す。
  論文  参考訳（メタデータ） (2023-06-14T11:41:42Z)
• Neural Superstatistics for Bayesian Estimation of Dynamic Cognitive Models [2.7391842773173334]
  我々は,時間変化パラメータと時間不変パラメータの両方を復元できるベイズ推論のシミュレーションに基づくディープラーニング手法を開発した。 この結果から,ディープラーニングアプローチは時間的ダイナミクスを捉える上で極めて効率的であることが示唆された。
  論文  参考訳（メタデータ） (2022-11-23T17:42:53Z)
• Fast Estimation of Bayesian State Space Models Using Amortized Simulation-Based Inference [0.0]
  本稿では,ベイズ状態空間モデルの隠れ状態を推定するための高速アルゴリズムを提案する。 事前トレーニングの後、データセットの後方分布を見つけるには、100分の1秒から10分の1秒かかる。
  論文  参考訳（メタデータ） (2022-10-13T16:37:05Z)
• TACTiS: Transformer-Attentional Copulas for Time Series [76.71406465526454]
  時間変化量の推定は、医療や金融などの分野における意思決定の基本的な構成要素である。 本稿では,アテンションベースデコーダを用いて関節分布を推定する多元的手法を提案する。 本研究では,本モデルが実世界の複数のデータセットに対して最先端の予測を生成することを示す。
  論文  参考訳（メタデータ） (2022-02-07T21:37:29Z)
• NUQ: Nonparametric Uncertainty Quantification for Deterministic Neural Networks [151.03112356092575]
  本研究では,Nadaraya-Watson の条件付きラベル分布の非パラメトリック推定に基づく分類器の予測の不確かさの測定方法を示す。 種々の実世界の画像データセットにおける不確実性推定タスクにおいて,本手法の強い性能を示す。
  論文  参考訳（メタデータ） (2022-02-07T12:30:45Z)
• Likelihood-Free Inference in State-Space Models with Unknown Dynamics [71.94716503075645]
  本研究では、状態空間モデルにおいて、観測をシミュレートすることしかできず、遷移ダイナミクスが不明な潜在状態の推測と予測を行う手法を提案する。 本研究では,限られた数のシミュレーションで状態予測と状態予測を行う手法を提案する。
  論文  参考訳（メタデータ） (2021-11-02T12:33:42Z)
• Dense Uncertainty Estimation [62.23555922631451]
  本稿では,ニューラルネットワークと不確実性推定手法について検討し,正確な決定論的予測と確実性推定の両方を実現する。 本研究では,アンサンブルに基づく手法と生成モデルに基づく手法の2つの不確実性推定法について検討し,それらの長所と短所を,完全/半端/弱度に制御されたフレームワークを用いて説明する。
  論文  参考訳（メタデータ） (2021-10-13T01:23:48Z)
• Can a single neuron learn predictive uncertainty? [0.0]
  本稿では,一自由度を持つ最も単純なニューラルネットワークアーキテクチャ(単一ニューロン)に基づく,連続確率変数に対する新しい非パラメトリック量子化推定手法を提案する。 実世界の応用では、この手法は分割共形予測設定の下で予測の不確かさの定量化に利用できる。
  論文  参考訳（メタデータ） (2021-06-07T15:12:47Z)
• Learning Interpretable Deep State Space Model for Probabilistic Time Series Forecasting [98.57851612518758]
  確率的時系列予測は、その歴史に基づいて将来の分布を推定する。 本稿では,非線形エミッションモデルと遷移モデルとをネットワークによってパラメータ化した,確率的時系列予測のための深部状態空間モデルを提案する。 実験では,我々のモデルが正確かつ鋭い確率予測を生成することを示す。
  論文  参考訳（メタデータ） (2021-01-31T06:49:33Z)
• Dropout Strikes Back: Improved Uncertainty Estimation via Diversity Sampling [3.077929914199468]
  ニューラルネットワークにおけるドロップアウト層に対するサンプリング分布の変更により,不確実性評価の品質が向上することを示す。 主要なアイデアは、ニューロン間のデータ駆動相関を計算し、最大多様なニューロンを含むサンプルを生成する、という2つの主要なステップで構成されています。
  論文  参考訳（メタデータ） (2020-03-06T15:20:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。