論文の概要: Learning to Learn to Demodulate with Uncertainty Quantification via
Bayesian Meta-Learning
- arxiv url: http://arxiv.org/abs/2108.00785v1
- Date: Mon, 2 Aug 2021 11:07:46 GMT
- ステータス: 処理完了
- システム内更新日: 2021-08-03 14:58:34.822414
- Title: Learning to Learn to Demodulate with Uncertainty Quantification via
Bayesian Meta-Learning
- Title（参考訳）: ベイズメタラーニングによる不確実性定量化による復調学習
- Authors: Kfir M. Cohen, Sangwoo Park, Osvaldo Simeone, Shlomo Shamai (Shitz)
- Abstract要約: 本稿では, よく校正された数パイロット復調器の取得を目的とした変分推論によるベイズ的メタラーニングについて紹介する。
その結果得られたベイズアンサンブルは、復調のためにニューラルネットワークの複数のインスタンスを実行する計算コストにおいて、より良い校正されたソフトな決定を提供する。
- 参考スコア（独自算出の注目度）: 59.014197664747165
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Meta-learning, or learning to learn, offers a principled framework for
few-shot learning. It leverages data from multiple related learning tasks to
infer an inductive bias that enables fast adaptation on a new task. The
application of meta-learning was recently proposed for learning how to
demodulate from few pilots. The idea is to use pilots received and stored for
offline use from multiple devices in order to meta-learn an adaptation
procedure with the aim of speeding up online training on new devices. Standard
frequentist learning, which can yield relatively accurate "hard" classification
decisions, is known to be poorly calibrated, particularly in the small-data
regime. Poor calibration implies that the soft scores output by the demodulator
are inaccurate estimates of the true probability of correct demodulation. In
this work, we introduce the use of Bayesian meta-learning via variational
inference for the purpose of obtaining well-calibrated few-pilot demodulators.
In a Bayesian framework, each neural network weight is represented by a
distribution, capturing epistemic uncertainty. Bayesian meta-learning optimizes
over the prior distribution of the weights. The resulting Bayesian ensembles
offer better calibrated soft decisions, at the computational cost of running
multiple instances of the neural network for demodulation. Numerical results
for single-input single-output Rayleigh fading channels with transmitter's
non-linearities are provided that compare symbol error rate and expected
calibration error for both frequentist and Bayesian meta-learning, illustrating
how the latter is both more accurate and better-calibrated.
- Abstract（参考訳）: メタ学習(meta-learning)、あるいは学習する学習(learning to learning)は、最小限の学習のための原則付きフレームワークを提供する。
複数の関連する学習タスクからのデータを活用し、新しいタスクへの迅速な適応を可能にする帰納的バイアスを推測する。
メタラーニングの応用は、最近、少数のパイロットから復調する方法を学ぶために提案された。
アイデアは、複数のデバイスからオフラインで利用するために受信されたパイロットを使って、新しいデバイスでのオンライントレーニングをスピードアップするために適応手順をメタ学習する。
比較的正確な"ハード"な分類決定を得られる標準的頻度主義学習は、特に小規模データ体制において、校正が不十分であることが知られている。
不正確なキャリブレーションは、復調器が出力するソフトスコアが正確な復調確率の正確な推定値であることを示している。
本稿では,多変量推論によるベイズ的メタラーニングを,よく校正された数パイロット復調器を得るために導入する。
ベイジアンフレームワークでは、各ニューラルネットワークの重みは分布で表され、てんかんの不確実性を捉える。
ベイズメタラーニングは、重みの事前分布を最適化する。
その結果得られたベイズアンサンブルは、復調のためにニューラルネットワークの複数のインスタンスを実行する計算コストにおいて、より良い校正されたソフトな決定を提供する。
送信機の非線形性を持つ単入力単出力レイリーフェージングチャネルの数値結果は、頻繁なメタラーニングとベイズ的メタラーニングの両方においてシンボル誤り率と期待キャリブレーション誤差を比較し、後者がより正確でより良いキャリブレーションであることを示す。
関連論文リスト
- Gradient-free variational learning with conditional mixture networks [39.827869318925494]
条件付き混合ネットワーク(CMN)は、高速で勾配のない推論に適しており、複雑な分類タスクを解くことができる。
UCIレポジトリから標準ベンチマークで2層CMNをトレーニングすることで、このアプローチを検証する。
提案手法であるCAVI-CMNは,バックプロパゲーションを伴う最大推定値(MLE)と比較して,競合的かつしばしば優れた予測精度を実現する。
論文 参考訳（メタデータ） (2024-08-29T10:43:55Z) - Unsupervised Representation Learning to Aid Semi-Supervised Meta
Learning [16.534014215010757]
トレーニングサンプルの潜在表現を学習するために,一発の教師なしメタラーニングを提案する。
メタラーニングの内ループでは、温度スケールのクロスエントロピー損失を使用し、オーバーフィッティングを防止する。
提案手法はモデル非依存であり, どんなメタ学習モデルでも精度を向上させることができる。
論文 参考訳（メタデータ） (2023-10-19T18:25:22Z) - Calibration-Aware Bayesian Learning [37.82259435084825]
本稿では、キャリブレーション対応ベイズニューラルネットワーク(CA-BNN)と呼ばれる統合フレームワークを提案する。
ベイズ学習のように変分分布を最適化しながら、データ依存あるいはデータ非依存の正則化をそれぞれ適用する。
予測キャリブレーション誤差(ECE)と信頼性図を用いて,提案手法の利点を検証した。
論文 参考訳（メタデータ） (2023-05-12T14:19:15Z) - Bridging Precision and Confidence: A Train-Time Loss for Calibrating
Object Detection [58.789823426981044]
本稿では,境界ボックスのクラス信頼度を予測精度に合わせることを目的とした,新たな補助損失定式化を提案する。
その結果,列車の走行時間損失はキャリブレーション基準を超過し,キャリブレーション誤差を低減させることがわかった。
論文 参考訳（メタデータ） (2023-03-25T08:56:21Z) - Multi-Head Multi-Loss Model Calibration [13.841172927454204]
我々は,深層アンサンブルの訓練と推論に要する費用を省く,単純化されたアンサンブルの形式を導入する。
具体的には、各頭部は、重み付きクロスエントロピー損失を最小限に抑えるために訓練されるが、重みは異なる枝によって異なる。
その結果,2つの挑戦データセットにおいて精度を犠牲にすることなく,精度の高いキャリブレーションを達成できることが示唆された。
論文 参考訳（メタデータ） (2023-03-02T09:32:32Z) - CMW-Net: Learning a Class-Aware Sample Weighting Mapping for Robust Deep
Learning [55.733193075728096]
現代のディープニューラルネットワークは、破損したラベルやクラス不均衡を含むバイアス付きトレーニングデータに容易に適合する。
サンプル再重み付け手法は、このデータバイアス問題を緩和するために一般的に使用されている。
本稿では,データから直接明示的な重み付け方式を適応的に学習できるメタモデルを提案する。
論文 参考訳（メタデータ） (2022-02-11T13:49:51Z) - Distribution Mismatch Correction for Improved Robustness in Deep Neural
Networks [86.42889611784855]
正規化法は ノイズや入力の腐敗に関して 脆弱性を増大させる
本稿では,各層の活性化分布に適応する非教師なし非パラメトリック分布補正法を提案する。
実験により,提案手法は画像劣化の激しい影響を効果的に低減することを示した。
論文 参考訳（メタデータ） (2021-10-05T11:36:25Z) - Improving Calibration for Long-Tailed Recognition [68.32848696795519]
このようなシナリオにおけるキャリブレーションとパフォーマンスを改善する2つの方法を提案します。
異なるサンプルによるデータセットバイアスに対して,シフトバッチ正規化を提案する。
提案手法は,複数の長尾認識ベンチマークデータセットに新しいレコードをセットする。
論文 参考訳（メタデータ） (2021-04-01T13:55:21Z) - Robust Cell-Load Learning with a Small Sample Set [35.07023055409166]
無線アクセスネットワーク(RAN)におけるセルロードの学習は、短期間で行わなければなりません。
比較的小さなトレーニングサンプルセットに基づく学習の必要性から生じる不確実性に対して堅牢な学習フレームワークを提案する。
論文 参考訳（メタデータ） (2021-03-21T19:17:01Z) - Learning Neural Network Subspaces [74.44457651546728]
近年の観測は,ニューラルネットワーク最適化の展望の理解を深めている。
1つのモデルのトレーニングと同じ計算コストで、高精度ニューラルネットワークの線、曲線、単純軸を学習します。
1つのモデルのトレーニングと同じ計算コストで、高精度ニューラルネットワークの線、曲線、単純軸を学習します。
論文 参考訳（メタデータ） (2021-02-20T23:26:58Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。