論文の概要: Disentangling Uncertainties by Learning Compressed Data Representation
- arxiv url: http://arxiv.org/abs/2503.15801v1
- Date: Thu, 20 Mar 2025 02:37:48 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-03-21 19:01:12.143466
- Title: Disentangling Uncertainties by Learning Compressed Data Representation
- Title（参考訳）: 圧縮データ表現の学習による不確かさの解消
- Authors: Zhiyu An, Zhibo Hou, Wan Du,
- Abstract要約: 本稿では、データ分布のニューラルネットワーク符号化を学習し、出力分布からの直接サンプリングを可能にするフレームワークを提案する。
提案手法では,ランジュバンの動的サンプリングに基づく新しい推論手法を導入し,任意の出力分布をCDRMで予測する。
- 参考スコア（独自算出の注目度）: 2.959687944707463
- License:
- Abstract: We study aleatoric and epistemic uncertainty estimation in a learned regressive system dynamics model. Disentangling aleatoric uncertainty (the inherent randomness of the system) from epistemic uncertainty (the lack of data) is crucial for downstream tasks such as risk-aware control and reinforcement learning, efficient exploration, and robust policy transfer. While existing approaches like Gaussian Processes, Bayesian networks, and model ensembles are widely adopted, they suffer from either high computational complexity or inaccurate uncertainty estimation. To address these limitations, we propose the Compressed Data Representation Model (CDRM), a framework that learns a neural network encoding of the data distribution and enables direct sampling from the output distribution. Our approach incorporates a novel inference procedure based on Langevin dynamics sampling, allowing CDRM to predict arbitrary output distributions rather than being constrained to a Gaussian prior. Theoretical analysis provides the conditions where CDRM achieves better memory and computational complexity compared to bin-based compression methods. Empirical evaluations show that CDRM demonstrates a superior capability to identify aleatoric and epistemic uncertainties separately, achieving AUROCs of 0.8876 and 0.9981 on a single test set containing a mixture of both uncertainties. Qualitative results further show that CDRM's capability extends to datasets with multimodal output distributions, a challenging scenario where existing methods consistently fail. Code and supplementary materials are available at https://github.com/ryeii/CDRM.
- Abstract（参考訳）: 学習された回帰系力学モデルにおいて,アレータリックおよびエピステマティックな不確実性の推定について検討した。
エピステミック不確実性(データの欠如)からアレタリック不確実性(システムの固有のランダム性)を遠ざけることは、リスク認識制御や強化学習、効率的な探索、堅牢な政策伝達といった下流のタスクに不可欠である。
ガウス過程、ベイズネットワーク、モデルアンサンブルのような既存のアプローチは広く採用されているが、それらは高い計算複雑性または不正確な不確実性推定に悩まされている。
これらの制約に対処するため、データ分布のニューラルネットワーク符号化を学習し、出力分布からの直接サンプリングを可能にするフレームワークであるCompressed Data Representation Model (CDRM)を提案する。
提案手法では,Langevin動的サンプリングに基づく新しい推論手法を導入し,ガウス前処理に制約されるのではなく,任意の出力分布をCDRMで予測する。
理論的解析により、CDRMはビンベースの圧縮法に比べてメモリと計算の複雑さが良くなる。
実証的な評価では、CDRMは、両方の不確かさの混合物を含む単一のテストセットにおいて、AUROCs 0.8876 と 0.9981 を達成し、アレタリック不確実性とてんかん不確実性を別々に識別する優れた能力を示す。
さらに質的な結果から、CDRMの機能はマルチモーダルな出力分布を持つデータセットにまで拡張されていることが分かる。
コードと補足資料はhttps://github.com/ryeii/CDRMで入手できる。
関連論文リスト
- Uncertainty separation via ensemble quantile regression [23.667247644930708]
本稿では,不確実性推定と分離のための新しい,スケーラブルなフレームワークを提案する。
我々のフレームワークは大規模データセットにスケーラブルであり、合成ベンチマークで優れた性能を示す。
論文 参考訳（メタデータ） (2024-12-18T11:15:32Z) - Deep Gaussian Covariance Network with Trajectory Sampling for Data-Efficient Policy Search [0.0]
確率的世界モデルはモデルベース強化学習(MBRL)のデータ効率を向上させる
我々は,MBRL問題に対するデータ効率のよい解として,軌道サンプリングと深いガウス共分散ネットワーク(DGCN)を組み合わせることを提案する。
本研究では,4つのよく知られた実験環境を用いて,不確実性伝播法と確率モデルの組み合わせによるサンプル効率を向上する実験的なエビデンスを提案する。
論文 参考訳（メタデータ） (2024-03-23T18:42:22Z) - Estimating Epistemic and Aleatoric Uncertainty with a Single Model [5.871583927216653]
我々は,ハイパー拡散モデル(HyperDM)の新しいアプローチを提案する。
HyperDMは、予測精度を、場合によってはマルチモデルアンサンブルに匹敵する。
我々は,X線CTと気象温度予測の2つの異なる実世界の課題に対して,本手法の有効性を検証した。
論文 参考訳（メタデータ） (2024-02-05T19:39:52Z) - Distributionally Robust Model-based Reinforcement Learning with Large
State Spaces [55.14361269378122]
強化学習における3つの大きな課題は、大きな状態空間を持つ複雑な力学系、コストのかかるデータ取得プロセス、トレーニング環境の展開から現実の力学を逸脱させることである。
広範に用いられているKullback-Leibler, chi-square, および全変分不確実性集合の下で, 連続状態空間を持つ分布ロバストなマルコフ決定過程について検討した。
本稿では,ガウス過程と最大分散削減アルゴリズムを用いて,多出力名目遷移力学を効率的に学習するモデルベースアプローチを提案する。
論文 参考訳（メタデータ） (2023-09-05T13:42:11Z) - The Curious Price of Distributional Robustness in Reinforcement Learning with a Generative Model [61.87673435273466]
本稿では,強化学習(RL)におけるモデルロバスト性を検討した。
我々は,デプロイ環境が,名目MDPに規定された不確実性に陥る場合に,最悪の場合のパフォーマンスを最適化する政策を学習することを目的とした,分布的に堅牢なマルコフ決定プロセス(RMDP)の枠組みを採用する。
論文 参考訳（メタデータ） (2023-05-26T02:32:03Z) - Data-driven Piecewise Affine Decision Rules for Stochastic Programming with Covariate Information [4.496931039007491]
非部分的決定(PADR)に埋め込まれた経験的リスク(M)手法を提案する。
提案手法は理論的整合性を持つ広範で非クラスな非制約問題に適用可能であることを示す。
論文 参考訳（メタデータ） (2023-04-26T16:08:49Z) - Probabilities Are Not Enough: Formal Controller Synthesis for Stochastic
Dynamical Models with Epistemic Uncertainty [68.00748155945047]
複雑な力学系のモデルにおける不確実性を捉えることは、安全なコントローラの設計に不可欠である。
いくつかのアプローチでは、安全と到達可能性に関する時間的仕様を満たすポリシーを形式的な抽象化を用いて合成する。
我々の貢献は、ノイズ、不確実なパラメータ、外乱を含む連続状態モデルに対する新しい抽象的制御法である。
論文 参考訳（メタデータ） (2022-10-12T07:57:03Z) - Distributionally Robust Model-Based Offline Reinforcement Learning with
Near-Optimal Sample Complexity [39.886149789339335]
オフライン強化学習は、積極的に探索することなく、履歴データから意思決定を行うことを学習することを目的としている。
環境の不確実性や変動性から,デプロイされた環境が,ヒストリデータセットの収集に使用される名目上のものから逸脱した場合でも,良好に機能するロバストなポリシーを学ぶことが重要である。
オフラインRLの分布的ロバストな定式化を考察し、有限水平および無限水平の両方でクルバック・リーブラー発散によって指定された不確実性セットを持つロバストマルコフ決定過程に着目する。
論文 参考訳（メタデータ） (2022-08-11T11:55:31Z) - Learning while Respecting Privacy and Robustness to Distributional
Uncertainties and Adversarial Data [66.78671826743884]
分散ロバストな最適化フレームワークはパラメトリックモデルのトレーニングのために検討されている。
目的は、逆操作された入力データに対して頑健なトレーニングモデルを提供することである。
提案されたアルゴリズムは、オーバーヘッドがほとんどない堅牢性を提供する。
論文 参考訳（メタデータ） (2020-07-07T18:25:25Z) - Unlabelled Data Improves Bayesian Uncertainty Calibration under
Covariate Shift [100.52588638477862]
後続正則化に基づく近似ベイズ推定法を開発した。
前立腺癌の予後モデルを世界規模で導入する上で,本手法の有用性を実証する。
論文 参考訳（メタデータ） (2020-06-26T13:50:19Z) - Uncertainty Estimation Using a Single Deep Deterministic Neural Network [66.26231423824089]
本稿では,1回のフォワードパスで,テスト時に分布データポイントの発見と拒否が可能な決定論的ディープモデルを訓練する手法を提案する。
我々は,新しい損失関数とセントロイド更新方式を用いて,これらをスケールトレーニングし,ソフトマックスモデルの精度に適合させる。
論文 参考訳（メタデータ） (2020-03-04T12:27:36Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。