論文の概要: Rethinking Bayesian Learning for Data Analysis: The Art of Prior and
Inference in Sparsity-Aware Modeling
- arxiv url: http://arxiv.org/abs/2205.14283v1
- Date: Sat, 28 May 2022 00:43:52 GMT
- ステータス: 処理完了
- システム内更新日: 2022-06-05 01:56:19.676291
- Title: Rethinking Bayesian Learning for Data Analysis: The Art of Prior and
Inference in Sparsity-Aware Modeling
- Title（参考訳）: データ分析のためのベイズ学習の再考:スポーシティ・アウェア・モデリングにおける先行と推論の技法
- Authors: Lei Cheng, Feng Yin, Sergios Theodoridis, Sotirios Chatzis and
Tsung-Hui Chang
- Abstract要約: 信号処理と機械学習のためのスパースモデリングは、20年以上にわたって科学研究の焦点となっている。
本稿では,3つの一般的なデータモデリングツールにスパーシティ・プロモーティング・プリエントを組み込むことの最近の進歩を概観する。
- 参考スコア（独自算出の注目度）: 20.296566563098057
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Sparse modeling for signal processing and machine learning has been at the
focus of scientific research for over two decades. Among others, supervised
sparsity-aware learning comprises two major paths paved by: a) discriminative
methods and b) generative methods. The latter, more widely known as Bayesian
methods, enable uncertainty evaluation w.r.t. the performed predictions.
Furthermore, they can better exploit related prior information and naturally
introduce robustness into the model, due to their unique capacity to
marginalize out uncertainties related to the parameter estimates. Moreover,
hyper-parameters associated with the adopted priors can be learnt via the
training data. To implement sparsity-aware learning, the crucial point lies in
the choice of the function regularizer for discriminative methods and the
choice of the prior distribution for Bayesian learning. Over the last decade or
so, due to the intense research on deep learning, emphasis has been put on
discriminative techniques. However, a come back of Bayesian methods is taking
place that sheds new light on the design of deep neural networks, which also
establish firm links with Bayesian models and inspire new paths for
unsupervised learning, such as Bayesian tensor decomposition.
The goal of this article is two-fold. First, to review, in a unified way,
some recent advances in incorporating sparsity-promoting priors into three
highly popular data modeling tools, namely deep neural networks, Gaussian
processes, and tensor decomposition. Second, to review their associated
inference techniques from different aspects, including: evidence maximization
via optimization and variational inference methods. Challenges such as small
data dilemma, automatic model structure search, and natural prediction
uncertainty evaluation are also discussed. Typical signal processing and
machine learning tasks are demonstrated.
- Abstract（参考訳）: 信号処理と機械学習のためのスパースモデリングは、20年以上にわたって科学研究の焦点となっている。
中でも,教師付きスパーシティアウェア学習は,次の2つの主要な経路からなる。
a)差別的な方法及び方法
b) 生成方法
後者はベイズ法(Bayesian method)として広く知られ、実行された予測に対する不確実性評価を可能にする。
さらに,パラメータ推定に係わる不確かさを画定するユニークな能力により,事前情報の利用が良好で,モデルにロバスト性も自然に導入できる。
さらに、採用前のハイパーパラメータをトレーニングデータを介して学習することができる。
分散学習を実装する上で重要な点は、識別的手法の関数正規化器の選択とベイズ学習の事前分布の選択である。
過去10年ほどにわたって、ディープラーニングに関する激しい研究により、差別的な技術に重点が置かれてきた。
しかし、ディープニューラルネットワークの設計に新たな光を当て、ベイジアンモデルとの確固たるつながりを確立し、ベイジアンテンソル分解のような教師なし学習のための新しいパスを刺激するベイジアン手法が復活しつつある。
この記事の目標は2つある。
まず、統一的な方法でレビューするために、スペーサリティプロモーティングの先例を、ディープニューラルネットワーク、ガウス過程、テンソル分解という、非常に人気のある3つのデータモデリングツールに組み込むことが最近の進歩である。
第2に、それらの関連する推論手法を、最適化によるエビデンス最大化と変分推論手法を含むさまざまな側面からレビューする。
また, 小型データジレンマ, 自動モデル構造探索, 自然予測の不確実性評価などの課題についても論じる。
典型的な信号処理と機械学習タスクが実証される。
関連論文リスト
- A Rate-Distortion View of Uncertainty Quantification [36.85921945174863]
教師付き学習では、入力がトレーニングデータに近接していることを理解することは、モデルが信頼できる予測に達する十分な証拠を持っているかどうかを判断するのに役立つ。
本稿では,この特性でディープニューラルネットワークを強化するための新しい手法であるDistance Aware Bottleneck (DAB)を紹介する。
論文 参考訳（メタデータ） (2024-06-16T01:33:22Z) - Bayesian Deep Learning for Remaining Useful Life Estimation via Stein
Variational Gradient Descent [14.784809634505903]
本研究では,スタイン変分勾配勾配を用いたベイズ学習モデルが収束速度と予測性能に対して一貫して優れていたことを示す。
ベイズモデルが提供する不確実性情報に基づく性能向上手法を提案する。
論文 参考訳（メタデータ） (2024-02-02T02:21:06Z) - TWINS: A Fine-Tuning Framework for Improved Transferability of
Adversarial Robustness and Generalization [89.54947228958494]
本稿では,様々な分類タスクにおいて,逆向きに事前訓練されたモデルの微調整に焦点を当てる。
本稿では,TWINS(Two-WIng NormliSation)ファインチューニングフレームワークを提案する。
TWINSは、一般化とロバスト性の両方の観点から、幅広い画像分類データセットに有効であることが示されている。
論文 参考訳（メタデータ） (2023-03-20T14:12:55Z) - Deep networks for system identification: a Survey [56.34005280792013]
システム識別は、入力出力データから動的システムの数学的記述を学習する。
同定されたモデルの主な目的は、以前の観測から新しいデータを予測することである。
我々は、フィードフォワード、畳み込み、リカレントネットワークなどの文献で一般的に採用されているアーキテクチャについて論じる。
論文 参考訳（メタデータ） (2023-01-30T12:38:31Z) - Transfer Learning with Uncertainty Quantification: Random Effect
Calibration of Source to Target (RECaST) [1.8047694351309207]
我々はRECaSTと呼ばれる伝達学習に基づくモデル予測のための統計的枠組みを開発する。
線形モデル間の伝達学習におけるRECaST手法の有効性を数学的・実験的に実証した。
シミュレーション研究における本手法の性能と実際の病院データへの適用について検討する。
論文 参考訳（メタデータ） (2022-11-29T19:39:47Z) - Deep Active Learning with Noise Stability [24.54974925491753]
ラベルのないデータの不確実性推定は、アクティブな学習に不可欠である。
本稿では,雑音の安定性を利用して不確実性を推定する新しいアルゴリズムを提案する。
本手法はコンピュータビジョン,自然言語処理,構造データ解析など,様々なタスクに適用可能である。
論文 参考訳（メタデータ） (2022-05-26T13:21:01Z) - On Generalizing Beyond Domains in Cross-Domain Continual Learning [91.56748415975683]
ディープニューラルネットワークは、新しいタスクを学んだ後、これまで学んだ知識の破滅的な忘れ込みに悩まされることが多い。
提案手法は、ドメインシフト中の新しいタスクを精度良く学習することで、DomainNetやOfficeHomeといった挑戦的なデータセットで最大10%向上する。
論文 参考訳（メタデータ） (2022-03-08T09:57:48Z) - Multivariate Deep Evidential Regression [77.34726150561087]
不確実性を認識するニューラルネットワークによる新しいアプローチは、従来の決定論的手法よりも有望である。
本稿では,レグレッションベースニューラルネットワークからアレータ性およびてんかん性不確かさを抽出する手法を提案する。
論文 参考訳（メタデータ） (2021-04-13T12:20:18Z) - Model-Based Deep Learning [155.063817656602]
信号処理、通信、制御は伝統的に古典的な統計モデリング技術に依存している。
ディープニューラルネットワーク(DNN)は、データから操作を学ぶ汎用アーキテクチャを使用し、優れたパフォーマンスを示す。
私たちは、原理数学モデルとデータ駆動システムを組み合わせて両方のアプローチの利点を享受するハイブリッド技術に興味があります。
論文 参考訳（メタデータ） (2020-12-15T16:29:49Z) - Learning while Respecting Privacy and Robustness to Distributional
Uncertainties and Adversarial Data [66.78671826743884]
分散ロバストな最適化フレームワークはパラメトリックモデルのトレーニングのために検討されている。
目的は、逆操作された入力データに対して頑健なトレーニングモデルを提供することである。
提案されたアルゴリズムは、オーバーヘッドがほとんどない堅牢性を提供する。
論文 参考訳（メタデータ） (2020-07-07T18:25:25Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。