論文の概要: Scalable Statistical Inference of Photometric Redshift via Data
Subsampling
- arxiv url: http://arxiv.org/abs/2103.16041v1
- Date: Tue, 30 Mar 2021 02:49:50 GMT
- ステータス: 処理完了
- システム内更新日: 2021-04-01 04:14:58.302147
- Title: Scalable Statistical Inference of Photometric Redshift via Data
Subsampling
- Title(参考訳): データサブサンプリングによる測光赤方偏移のスケーラブルな統計的推定
- Authors: Arindam Fadikar and Stefan M. Wild
- Abstract要約: ビッグデータの処理は、従来の統計モデルでは大きなボトルネックとなっている。
統計モデルのアンサンブルからの不確実性を結合したデータ駆動統計モデリングフレームワークを開発する。
この手法を宇宙論における光度赤方位推定問題で実証する。
- 参考スコア(独自算出の注目度): 0.38073142980732994
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Handling big data has largely been a major bottleneck in traditional
statistical models. Consequently, when accurate point prediction is the primary
target, machine learning models are often preferred over their statistical
counterparts for bigger problems. But full probabilistic statistical models
often outperform other models in quantifying uncertainties associated with
model predictions. We develop a data-driven statistical modeling framework that
combines the uncertainties from an ensemble of statistical models learned on
smaller subsets of data carefully chosen to account for imbalances in the input
space. We demonstrate this method on a photometric redshift estimation problem
in cosmology, which seeks to infer a distribution of the redshift -- the
stretching effect in observing far-away galaxies -- given multivariate color
information observed for an object in the sky. Our proposed method performs
balanced partitioning, graph-based data subsampling across the partitions, and
training of an ensemble of Gaussian process models.
- Abstract(参考訳): ビッグデータを扱うことは、従来の統計モデルにおいて大きなボトルネックとなっている。
したがって、正確な点予測が主なターゲットである場合、機械学習モデルはより大きな問題に対して統計モデルよりも好まれる。
しかし、完全な確率的統計モデルは、モデル予測に関連する不確かさを定量化するために、しばしば他のモデルを上回る。
我々は,入力空間における不均衡を考慮に入れたデータの部分集合から学習した統計モデルのアンサンブルからの不確実性を組み合わせた,データ駆動型統計モデリングフレームワークを開発する。
天体が観測する多変量色情報から赤方偏移の分布 -- 遠方銀河の観測におけるストレッチ効果 -- を推算することを目的とした宇宙論における測光的赤方偏移推定問題に関する本手法を実証する。
提案手法は,バランスの取れたパーティショニング,グラフベースのデータサブサンプリング,およびガウス過程モデルのアンサンブルのトレーニングを行う。
関連論文リスト
- Towards Theoretical Understandings of Self-Consuming Generative Models [60.98692028151328]
本稿では,自己消費ループ内で生成モデルを訓練する新たな課題に取り組む。
我々は,この学習規則が将来のモデルで学習したデータ分布に与える影響を厳格に評価するための理論的枠組みを構築した。
我々は拡散モデルに一般結果を特化し、自己消費ループ内での最適な早期停止の有効性などの微妙な洞察を提供する。
論文 参考訳(メタデータ) (2024-02-19T02:08:09Z) - Local Bayesian Dirichlet mixing of imperfect models [0.0]
ベイズモデルの平均化および混合技術による核質量の採掘能力について検討した。
予測精度と不確実性定量化の両方において,グローバルモデルと局所モデルの混合が優れた性能を発揮することを示す。
論文 参考訳(メタデータ) (2023-11-02T21:02:40Z) - Capturing dynamical correlations using implicit neural representations [85.66456606776552]
実験データから未知のパラメータを復元するために、モデルハミルトンのシミュレーションデータを模倣するために訓練されたニューラルネットワークと自動微分を組み合わせた人工知能フレームワークを開発する。
そこで本研究では, 実時間から多次元散乱データに適用可能な微分可能なモデルを1回だけ構築し, 訓練する能力について述べる。
論文 参考訳(メタデータ) (2023-04-08T07:55:36Z) - Score Approximation, Estimation and Distribution Recovery of Diffusion
Models on Low-Dimensional Data [68.62134204367668]
本稿では,未知の低次元線形部分空間上でデータをサポートする場合の拡散モデルのスコア近似,推定,分布回復について検討する。
適切に選択されたニューラルネットワークアーキテクチャでは、スコア関数を正確に近似し、効率的に推定することができる。
推定スコア関数に基づいて生成された分布は、データ幾何学構造を捕捉し、データ分布の近傍に収束する。
論文 参考訳(メタデータ) (2023-02-14T17:02:35Z) - On the Influence of Enforcing Model Identifiability on Learning dynamics
of Gaussian Mixture Models [14.759688428864159]
特異モデルからサブモデルを抽出する手法を提案する。
本手法はトレーニング中のモデルの識別性を強制する。
この手法がディープニューラルネットワークのようなより複雑なモデルにどのように適用できるかを示す。
論文 参考訳(メタデータ) (2022-06-17T07:50:22Z) - Photometric Redshift Estimation with Convolutional Neural Networks and
Galaxy Images: A Case Study of Resolving Biases in Data-Driven Methods [0.0]
クラス依存残差とモード崩壊の2つの主要なバイアス形態を、測光赤方偏移を推定するケーススタディとして検討する。
CNNモデルに基づく2つのバイアスを解決するための一連のステップを提案する。
実験により,本手法はベンチマーク法よりもバイアス制御能力が優れていることが示された。
論文 参考訳(メタデータ) (2022-02-21T02:59:33Z) - Spatial machine-learning model diagnostics: a model-agnostic
distance-based approach [91.62936410696409]
本研究は,空間予測誤差プロファイル (SPEP) と空間変数重要度プロファイル (SVIP) を,新しいモデルに依存しない評価・解釈ツールとして提案する。
統計学的手法、線形モデル、ランダムフォレスト、ハイブリッドアルゴリズムのSPEPとSVIPは、顕著な差異と関連する類似性を示している。
この新しい診断ツールは空間データ科学のツールキットを充実させ、MLモデルの解釈、選択、設計を改善する可能性がある。
論文 参考訳(メタデータ) (2021-11-13T01:50:36Z) - Low-rank statistical finite elements for scalable model-data synthesis [0.8602553195689513]
statFEMは、支配方程式に強制を埋め込むことによって、事前モデルの誤特定を認める。
この方法は、観測されたデータ生成過程を最小限の情報損失で再構築する。
本稿では、下層の密度共分散行列の低ランク近似を埋め込むことで、このハードルを克服する。
論文 参考訳(メタデータ) (2021-09-10T09:51:43Z) - Predicting traffic signals on transportation networks using
spatio-temporal correlations on graphs [56.48498624951417]
本稿では,複数の熱拡散カーネルをデータ駆動予測モデルにマージして交通信号を予測する交通伝搬モデルを提案する。
予測誤差を最小限に抑えるためにベイズ推定を用いてモデルパラメータを最適化し,2つの手法の混合率を決定する。
提案モデルでは,計算労力の少ない最先端のディープニューラルネットワークに匹敵する予測精度を示す。
論文 参考訳(メタデータ) (2021-04-27T18:17:42Z) - Bayesian Sparse Factor Analysis with Kernelized Observations [67.60224656603823]
多視点問題は潜在変数モデルに直面することができる。
高次元問題と非線形問題は伝統的にカーネルメソッドによって扱われる。
両アプローチを単一モデルにマージすることを提案する。
論文 参考訳(メタデータ) (2020-06-01T14:25:38Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。