論文の概要: Adaptive Parameter-Free Robust Learning using Latent Bernoulli Variables
- arxiv url: http://arxiv.org/abs/2312.00585v1
- Date: Fri, 1 Dec 2023 13:50:15 GMT
- ステータス: 処理完了
- システム内更新日: 2023-12-04 14:31:56.778008
- Title: Adaptive Parameter-Free Robust Learning using Latent Bernoulli Variables
- Title(参考訳): 潜在ベルヌーイ変数を用いた適応パラメータ自由ロバスト学習
- Authors: Aleksandr Karakulev (1), Dave Zachariah (2), Prashant Singh (1 and 3)
((1) Division of Scientific Computing, (2) Division of Systems and Control,
(3) Science for Life Laboratory, Department of Information Technology,
Uppsala University)
- Abstract要約: 劣化したトレーニングから統計的学習を行う上で,パラメータフリーな手法を提案する。
我々は,ラテントゥーリ変数を用いて,腐敗した試料と非崩壊した試料を同定した。
その結果、期待-最大化に基づく手法により、最適化問題を解く。
- 参考スコア(独自算出の注目度): 34.82692226532414
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: We present an efficient parameter-free approach for statistical learning from
corrupted training sets. We identify corrupted and non-corrupted samples using
latent Bernoulli variables, and therefore formulate the robust learning problem
as maximization of the likelihood where latent variables are marginalized out.
The resulting optimization problem is solved via variational inference using an
efficient Expectation-Maximization based method. The proposed approach improves
over the state-of-the-art by automatically inferring the corruption level and
identifying outliers, while adding minimal computational overhead. We
demonstrate our robust learning method on a wide variety of machine learning
tasks including online learning and deep learning where it exhibits ability to
adapt to different levels of noise and attain high prediction accuracy.
- Abstract(参考訳): 劣化した学習セットからの統計的学習に有効なパラメータフリーな手法を提案する。
潜在変数ベルヌーイ変数を用いて腐敗した非破壊サンプルを同定し,潜在変数が限界化される可能性の最大化として頑健な学習問題を定式化する。
得られた最適化問題は、効率的な期待-最大化法を用いて変分推論によって解決される。
提案手法は,汚職のレベルを自動的に推測し,異常値を特定しつつ,計算オーバーヘッドを最小にすることで,最先端よりも改善する。
オンライン学習やディープラーニングなど,さまざまな機械学習タスクにおいて,さまざまなノイズレベルに適応し,高い予測精度を達成するためのロバストな学習方法を示す。
関連論文リスト
- Variational Self-Supervised Contrastive Learning Using Beta Divergence
For Face Understanding [0.0]
本稿では,データノイズに対して頑健な自己教師付き学習手法を提案する。
顔理解領域における多ラベルデータセットを用いた線形評価と微調整シナリオを含む厳密な実験により,提案手法の有効性を実証する。
論文 参考訳(メタデータ) (2023-09-05T17:21:38Z) - Low-rank extended Kalman filtering for online learning of neural
networks from streaming data [71.97861600347959]
非定常データストリームから非線形関数のパラメータを推定するための効率的なオンライン近似ベイズ推定アルゴリズムを提案する。
この方法は拡張カルマンフィルタ (EKF) に基づいているが、新しい低ランク+斜角行列分解法を用いている。
変分推論に基づく手法とは対照的に,本手法は完全に決定論的であり,ステップサイズチューニングを必要としない。
論文 参考訳(メタデータ) (2023-05-31T03:48:49Z) - Robust Deep Reinforcement Learning Scheduling via Weight Anchoring [7.570246812206769]
我々は、重みアンカーを用いてニューラルネットワークの望ましい振る舞いを培養し、固定する。
ウェイトアンカーは、他の学習問題の解に近い学習問題の解を見つけるために用いられる。
その結果,シミュレーション環境を増強する技術に匹敵する性能が得られた。
論文 参考訳(メタデータ) (2023-04-20T09:30:23Z) - A Lagrangian Duality Approach to Active Learning [119.36233726867992]
トレーニングデータのサブセットのみをラベル付けするバッチアクティブな学習問題を考察する。
制約付き最適化を用いて学習問題を定式化し、各制約はラベル付きサンプルにモデルの性能を拘束する。
数値実験により,提案手法は最先端の能動学習法と同等かそれ以上に機能することを示した。
論文 参考訳(メタデータ) (2022-02-08T19:18:49Z) - Towards a Principled Learning Rate Adaptation for Natural Evolution
Strategies [0.0]
自然進化戦略(NES)の新しい学習率適応機構を提案する。
提案手法により,比較的容易に最適化できる問題に対して,高い学習率を設定することができる。
実験により, 探索状況に応じて, 提案機構が適切に機能することが実証された。
論文 参考訳(メタデータ) (2021-11-22T13:20:12Z) - A Boosting Approach to Reinforcement Learning [59.46285581748018]
複雑度が状態数に依存しない意思決定プロセスにおける強化学習のための効率的なアルゴリズムについて検討する。
このような弱い学習手法の精度を向上させることができる効率的なアルゴリズムを提供する。
論文 参考訳(メタデータ) (2021-08-22T16:00:45Z) - Adaptive Gradient Method with Resilience and Momentum [120.83046824742455]
レジリエンスとモメンタム(AdaRem)を用いた適応勾配法を提案する。
AdaRemは、過去の1つのパラメータの変化方向が現在の勾配の方向と一致しているかどうかに応じてパラメータワイズ学習率を調整する。
本手法は,学習速度とテスト誤差の観点から,従来の適応学習率に基づくアルゴリズムよりも優れていた。
論文 参考訳(メタデータ) (2020-10-21T14:49:00Z) - Truncated Inference for Latent Variable Optimization Problems:
Application to Robust Estimation and Learning [32.08441889054456]
我々は、潜伏変数を維持する必要をなくすために、公式に正当化された2つの方法を提案する。
これらの手法は、大規模ロバストな推定やラベル付きデータからのエネルギーベースモデルの学習に応用できる。
論文 参考訳(メタデータ) (2020-03-12T16:32:06Z) - Learning with Differentiable Perturbed Optimizers [54.351317101356614]
本稿では,操作を微分可能で局所的に一定ではない操作に変換する手法を提案する。
提案手法は摂動に依拠し,既存の解法とともに容易に利用することができる。
本稿では,この枠組みが,構造化予測において発達した損失の族とどのように結びつくかを示し,学習課題におけるそれらの使用に関する理論的保証を与える。
論文 参考訳(メタデータ) (2020-02-20T11:11:32Z) - Learnable Bernoulli Dropout for Bayesian Deep Learning [53.79615543862426]
Learnable Bernoulli Dropout (LBD) は、他のモデルパラメータと共に最適化されたパラメータとしてドロップアウト率を考慮する新しいモデルに依存しないドロップアウトスキームである。
LBDは画像分類とセマンティックセグメンテーションにおける精度と不確実性の推定を改善する。
論文 参考訳(メタデータ) (2020-02-12T18:57:14Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。