論文の概要: Fully Adaptive Bayesian Algorithm for Data Analysis, FABADA
- arxiv url: http://arxiv.org/abs/2201.05145v2
- Date: Thu, 6 Jul 2023 10:14:11 GMT
- ステータス: 処理完了
- システム内更新日: 2023-07-07 18:48:15.604053
- Title: Fully Adaptive Bayesian Algorithm for Data Analysis, FABADA
- Title（参考訳）: データ解析のための完全適応ベイズアルゴリズム, FABADA
- Authors: Pablo M Sanchez-Alarcon and Yago Ascasibar Sequeiros
- Abstract要約: 本稿では,ベイズ推定の観点から,新しい非パラメトリック雑音低減手法について述べる。
データのスムーズなバージョン、スムーズなモデルを繰り返し評価し、基礎となる信号の推定値を得る。
繰り返しは、最後の滑らかなモデルの証拠と$chi2$統計に基づいて停止し、信号の期待値を計算する。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: The aim of this paper is to describe a novel non-parametric noise reduction
technique from the point of view of Bayesian inference that may automatically
improve the signal-to-noise ratio of one- and two-dimensional data, such as
e.g. astronomical images and spectra. The algorithm iteratively evaluates
possible smoothed versions of the data, the smooth models, obtaining an
estimation of the underlying signal that is statistically compatible with the
noisy measurements. Iterations stop based on the evidence and the $\chi^2$
statistic of the last smooth model, and we compute the expected value of the
signal as a weighted average of the whole set of smooth models. In this paper,
we explain the mathematical formalism and numerical implementation of the
algorithm, and we evaluate its performance in terms of the peak signal to noise
ratio, the structural similarity index, and the time payload, using a battery
of real astronomical observations. Our Fully Adaptive Bayesian Algorithm for
Data Analysis (FABADA) yields results that, without any parameter tuning, are
comparable to standard image processing algorithms whose parameters have been
optimized based on the true signal to be recovered, something that is
impossible in a real application. State-of-the-art non-parametric methods, such
as BM3D, offer slightly better performance at high signal-to-noise ratio, while
our algorithm is significantly more accurate for extremely noisy data (higher
than $20-40\%$ relative errors, a situation of particular interest in the field
of astronomy). In this range, the standard deviation of the residuals obtained
by our reconstruction may become more than an order of magnitude lower than
that of the original measurements. The source code needed to reproduce all the
results presented in this report, including the implementation of the method,
is publicly available at https://github.com/PabloMSanAla/fabada
- Abstract（参考訳）: 本研究の目的は,1次元と2次元のデータ,例えば天文学的な画像やスペクトルの信号対雑音比を自動的に改善する,ベイズ推定の観点から,新しい非パラメトリックノイズ低減手法を記述することである。
このアルゴリズムはデータの平滑化可能なバージョンである平滑化モデルを反復的に評価し、ノイズ測定と統計的に互換性のある信号の推定を得る。
繰り返しは、最後の滑らかなモデルのエビデンスと$\chi^2$統計量に基づいて停止し、スムーズなモデルの集合全体の重み付き平均として信号の期待値を計算する。
本稿では,アルゴリズムの数学的形式化と数値的実装について述べるとともに,実天体観測のバッテリを用いて,ピーク信号と雑音比,構造的類似度指数,時間ペイロードを用いてその性能を評価する。
データ解析のための完全適応ベイズアルゴリズム(fabada)は、パラメータチューニングなしでは、実際のアプリケーションでは不可能である真の信号に基づいてパラメータを最適化した標準的な画像処理アルゴリズムに匹敵する結果をもたらす。
bm3dのような最先端の非パラメトリックな手法は高い信号対雑音比で少し性能が向上するが、超ノイズデータではアルゴリズムの方がかなり正確である(相対誤差が20～40ドル以上であり、天文学の分野に特に関心がある状況である)。
この範囲では, 復元によって得られた残留物の標準偏差は, 元の測定値よりも1桁以上小さくなる可能性がある。
このレポートで提示された結果をすべて再現するために必要なソースコードは、メソッドの実装を含めて、https://github.com/PabloMSanAla/fabadaで公開されている。
関連論文リスト
- Accelerated zero-order SGD under high-order smoothness and overparameterized regime [79.85163929026146]
凸最適化問題を解くための新しい勾配のないアルゴリズムを提案する。
このような問題は医学、物理学、機械学習で発生する。
両種類の雑音下で提案アルゴリズムの収束保証を行う。
論文 参考訳（メタデータ） (2024-11-21T10:26:17Z) - Linear Anchored Gaussian Mixture Model for Location and Width Computations of Objects in Thick Line Shape [1.7205106391379021]
3次元画像グレーレベル表現は、統計分布の有限混合モデルであると考えられている。
入力データとして元の画像を用いた期待最大化アルゴリズム(Algo1)を用いてモデルパラメータを推定する。
修正EMアルゴリズム(Algo2)について詳述する。
論文 参考訳（メタデータ） (2024-04-03T20:05:00Z) - Learning Unnormalized Statistical Models via Compositional Optimization [73.30514599338407]
実データと人工雑音のロジスティックな損失として目的を定式化することにより, ノイズコントラスト推定(NCE)を提案する。
本稿では,非正規化モデルの負の対数類似度を最適化するための直接的アプローチについて検討する。
論文 参考訳（メタデータ） (2023-06-13T01:18:16Z) - Optimal Algorithms for the Inhomogeneous Spiked Wigner Model [89.1371983413931]
不均一な問題に対する近似メッセージパッシングアルゴリズム(AMP)を導出する。
特に,情報理論の閾値よりも大きい信号と雑音の比を必要とする既知のアルゴリズムが,ランダムよりも優れた処理を行うための統計的・計算的ギャップの存在を同定する。
論文 参考訳（メタデータ） (2023-02-13T19:57:17Z) - Greedy versus Map-based Optimized Adaptive Algorithms for
random-telegraph-noise mitigation by spectator qubits [6.305016513788048]
データストレージキュービットを可能な限り分離したままにしておくシナリオでは、ノイズプローブを追加してノイズ軽減を行うことができる。
量子ビット上の射影的測定を仮定した理論モデルを構築し、異なる測定・制御戦略の性能を導出する。
解析的および数値的に、MOAAARは、特にSQの高雑音感度状態において、Greedyアルゴリズムよりも優れていることを示す。
論文 参考訳（メタデータ） (2022-05-25T08:25:10Z) - Learning Summary Statistics for Bayesian Inference with Autoencoders [58.720142291102135]
我々は,ディープニューラルネットワークに基づくオートエンコーダの内部次元を要約統計として利用する。
パラメータ関連情報を全て符号化するエンコーダのインセンティブを作成するため,トレーニングデータの生成に使用した暗黙的情報にデコーダがアクセスできるようにする。
論文 参考訳（メタデータ） (2022-01-28T12:00:31Z) - Learning based signal detection for MIMO systems with unknown noise
statistics [84.02122699723536]
本論文では,未知のノイズ統計による信号を堅牢に検出する一般化最大確率(ML)推定器を考案する。
実際には、システムノイズに関する統計的な知識はほとんどなく、場合によっては非ガウス的であり、衝動的であり、分析不可能である。
我々のフレームワークは、ノイズサンプルのみを必要とする教師なしの学習アプローチによって駆動される。
論文 参考訳（メタデータ） (2021-01-21T04:48:15Z) - Active Model Estimation in Markov Decision Processes [108.46146218973189]
マルコフ決定過程(MDP)をモデル化した環境の正確なモデル学習のための効率的な探索の課題について検討する。
マルコフに基づくアルゴリズムは,本アルゴリズムと極大エントロピーアルゴリズムの両方を小サンプル方式で上回っていることを示す。
論文 参考訳（メタデータ） (2020-03-06T16:17:24Z) - Statistical Outlier Identification in Multi-robot Visual SLAM using
Expectation Maximization [18.259478519717426]
本稿では、同時局所化およびマッピング(SLAM)におけるマップ間ループ閉包外乱検出のための、新しい分散手法を提案する。
提案アルゴリズムは優れた初期化に頼らず、一度に2つ以上のマップを処理できる。
論文 参考訳（メタデータ） (2020-02-07T06:34:44Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。