論文の概要: An Improved Algorithm for Learning Drifting Discrete Distributions
- arxiv url: http://arxiv.org/abs/2403.05446v1
- Date: Fri, 8 Mar 2024 16:54:27 GMT
- ステータス: 処理完了
- システム内更新日: 2024-03-11 13:09:20.698712
- Title: An Improved Algorithm for Learning Drifting Discrete Distributions
- Title(参考訳): 離散分布のドリフト学習のための改良アルゴリズム
- Authors: Alessio Mazzetto
- Abstract要約: 分散ドリフト下で離散分布を学習するための新しい適応アルゴリズムを提案する。
時間とともに変化する離散分布から独立したサンプルの列を観察し、その目標は現在の分布を推定することである。
より多くのサンプルを使用するには、過去にさらにサンプルに頼らなければならず、分布の変化によって生じるバイアスによりドリフトエラーが発生する。
ドリフトに関する事前の知識を必要とせずにこのトレードオフを解くことができる新しい適応アルゴリズムを提案する。
- 参考スコア(独自算出の注目度): 2.2191203337341525
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We present a new adaptive algorithm for learning discrete distributions under
distribution drift. In this setting, we observe a sequence of independent
samples from a discrete distribution that is changing over time, and the goal
is to estimate the current distribution. Since we have access to only a single
sample for each time step, a good estimation requires a careful choice of the
number of past samples to use. To use more samples, we must resort to samples
further in the past, and we incur a drift error due to the bias introduced by
the change in distribution. On the other hand, if we use a small number of past
samples, we incur a large statistical error as the estimation has a high
variance. We present a novel adaptive algorithm that can solve this trade-off
without any prior knowledge of the drift. Unlike previous adaptive results, our
algorithm characterizes the statistical error using data-dependent bounds. This
technicality enables us to overcome the limitations of the previous work that
require a fixed finite support whose size is known in advance and that cannot
change over time. Additionally, we can obtain tighter bounds depending on the
complexity of the drifting distribution, and also consider distributions with
infinite support.
- Abstract(参考訳): 分散ドリフト下で離散分布を学習するための適応アルゴリズムを提案する。
この設定では、時間とともに変化する離散分布から独立したサンプルの列を観察し、その目標は現在の分布を推定することである。
時間ステップ毎に単一のサンプルのみにアクセスできるので、適切な推定には、使用する過去のサンプル数を慎重に選択する必要があります。
より多くのサンプルを使用するには、過去にさらにサンプルに頼らなければならず、分布の変化によって生じるバイアスによりドリフトエラーが発生する。
一方、過去の少数のサンプルを用いると、推定値のばらつきが大きいため、大きな統計的誤差が発生する。
本稿では,ドリフトの事前知識を必要とせずに,このトレードオフを解く新しい適応アルゴリズムを提案する。
従来の適応結果とは異なり,本アルゴリズムはデータ依存境界を用いて統計誤差を特徴付ける。
この技術により、前もってサイズが知られ、時間とともに変化しない固定有限サポートを必要とする以前の作業の制限を克服することができる。
さらに、ドリフト分布の複雑さに応じてより厳密な境界を得ることができ、また無限に支持された分布も考慮できる。
関連論文リスト
- Probabilistic Contrastive Learning for Long-Tailed Visual Recognition [78.70453964041718]
細長い分布は、少数の少数派が限られた数のサンプルを含む実世界のデータにしばしば現れる。
近年の研究では、教師付きコントラスト学習がデータ不均衡を緩和する有望な可能性を示していることが明らかになっている。
本稿では,特徴空間の各クラスからのサンプルデータ分布を推定する確率論的コントラスト学習アルゴリズムを提案する。
論文 参考訳(メタデータ) (2024-03-11T13:44:49Z) - Favour: FAst Variance Operator for Uncertainty Rating [0.034530027457862]
機械学習予測を解釈するための重要なアプローチとしてベイズニューラルネットワーク(BNN)が登場した。
後部分布からサンプリングすることで、データサイエンティストは推論の不確実性を推定することができる。
以前の研究は、ネットワークを介して後部の第1モーメントと第2モーメントを伝播することを提案した。
この方法はサンプリングよりも遅いため、伝播分散を近似する必要がある。
私たちの貢献は、より原則化された分散伝播フレームワークです。
論文 参考訳(メタデータ) (2023-11-21T22:53:20Z) - Adaptive Annealed Importance Sampling with Constant Rate Progress [68.8204255655161]
Annealed Importance Smpling (AIS)は、抽出可能な分布から重み付けされたサンプルを合成する。
本稿では,alpha$-divergencesに対する定数レートAISアルゴリズムとその効率的な実装を提案する。
論文 参考訳(メタデータ) (2023-06-27T08:15:28Z) - Sequential Predictive Two-Sample and Independence Testing [114.4130718687858]
逐次的非パラメトリック2サンプルテストと独立テストの問題点について検討する。
私たちは賭けによる(非パラメトリックな)テストの原則に基づいています。
論文 参考訳(メタデータ) (2023-04-29T01:30:33Z) - Flow Away your Differences: Conditional Normalizing Flows as an
Improvement to Reweighting [0.0]
本稿では, 条件分布の所望の変化を考慮に入れた再重み付け手法の代替手法を提案する。
条件付き正規化フローを用いて、完全条件付き確率分布を学習する。
この例では、ソースとターゲットの分布を同一のサンプルサイズで再重み付けする手法よりも、統計精度が最大3倍に向上する。
論文 参考訳(メタデータ) (2023-04-28T16:33:50Z) - Nonparametric Density Estimation under Distribution Drift [6.599344783327055]
我々は離散的および連続的な滑らかな密度の両方に対して、厳密なミニマックスリスク境界を証明した。
本手法は,ドリフトモデルの幅広いクラスを扱い,ドリフト下での非依存学習に関する過去の結果を一般化する。
論文 参考訳(メタデータ) (2023-02-05T19:09:50Z) - Unrolling Particles: Unsupervised Learning of Sampling Distributions [102.72972137287728]
粒子フィルタリングは複素系の優れた非線形推定を計算するために用いられる。
粒子フィルタは様々なシナリオにおいて良好な推定値が得られることを示す。
論文 参考訳(メタデータ) (2021-10-06T16:58:34Z) - Predicting with Confidence on Unseen Distributions [90.68414180153897]
ドメイン適応と予測不確実性文学を結びつけて、挑戦的な未知分布のモデル精度を予測する。
分類器の予測における信頼度(DoC)の差は,様々な変化に対して,分類器の性能変化を推定することに成功した。
具体的には, 合成分布と自然分布の区別について検討し, その単純さにもかかわらず, DoCは分布差の定量化に優れることを示した。
論文 参考訳(メタデータ) (2021-07-07T15:50:18Z) - Free Lunch for Few-shot Learning: Distribution Calibration [10.474018806591397]
キャリブレーション分布から抽出した特徴を用いて学習した単純なロジスティック回帰分類器は、2つのデータセットにおける最先端の精度より優れていることを示す。
論文 参考訳(メタデータ) (2021-01-16T07:58:40Z) - Distributional Reinforcement Learning via Moment Matching [54.16108052278444]
ニューラルネットワークを用いて各戻り分布から統計量の有限集合を学習する手法を定式化する。
我々の手法は、戻り分布とベルマン目標の間のモーメントの全ての順序を暗黙的に一致させるものとして解釈できる。
Atariゲームスイートの実験により,本手法は標準分布RLベースラインよりも優れていることが示された。
論文 参考訳(メタデータ) (2020-07-24T05:18:17Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。