論文の概要: Tracking Changing Probabilities via Dynamic Learners

• arxiv url: http://arxiv.org/abs/2402.10142v2
• Date: Tue, 30 Apr 2024 04:15:24 GMT
• ステータス: 処理完了
• システム内更新日: 2024-05-01 19:18:28.779786
• Title: Tracking Changing Probabilities via Dynamic Learners
• Title（参考訳）: 動的学習者による確率変化の追跡
• Authors: Omid Madani,
• Abstract要約: 非定常性に応答するスパース・マルチクラス移動平均手法をタイムリーに開発する。 1つのテクニックは指数移動平均(EMA)に基づいており、もう1つは数個のスナップショットのキューに基づいている。
• 参考スコア（独自算出の注目度）: 0.18648070031379424
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Consider a predictor, a learner, whose input is a stream of discrete items. The predictor's task, at every time point, is probabilistic multiclass prediction, i.e., to predict which item may occur next by outputting zero or more candidate items, each with a probability, after which the actual item is revealed and the predictor learns from this observation. To output probabilities, the predictor keeps track of the proportions of the items it has seen. The stream is unbounded and the predictor has finite limited space and we seek efficient prediction and update techniques: the set of items is unknown to the predictor and their totality can also grow unbounded. Moreover, there is non-stationarity: the underlying frequencies of items may change, substantially, from time to time. For instance, new items may start appearing and a few recently frequent items may cease to occur again. The predictor, being space-bounded, need only provide probabilities for those items with (currently) sufficiently high frequency, i.e., the salient items. This problem is motivated in the setting of prediction games, a self-supervised learning regime where concepts serve as both the predictors and the predictands, and the set of concepts grows over time, resulting in non-stationarities as new concepts are generated and used. We develop sparse multiclass moving average techniques designed to respond to such non-stationarities in a timely manner. One technique is based on the exponentiated moving average (EMA) and another is based on queuing a few count snapshots. We show that the combination, and in particular supporting dynamic predictand-specific learning rates, offers advantages in terms of faster change detection and convergence.
• Abstract（参考訳）: 個別項目のストリームを入力とする予測子、学習者を考える。 予測者のタスクは、各時点において確率的多クラス予測であり、すなわち、0以上の候補項目を出力して次にどの項目が発生するかを予測し、その後、実際の項目が明らかにされ、予測者がこの観察から学習する。 確率を出力するために、予測器は見たアイテムの比率を追跡する。 ストリームは非有界であり、予測器は限られた空間しか持たず、効率的な予測と更新技術を求めている。 さらに、非定常性があり、アイテムの根底にある周波数は、時間によって大きく変化する可能性がある。 例えば、新しいアイテムが出現し始め、最近の頻繁なアイテムが再び発生しなくなる可能性がある。 空間有界な予測器は、これらの項目に対して十分に高い周波数(すなわち、有理な項目)でのみ確率を与える必要がある。 この問題は予測ゲームの設定において動機付けられており、概念が予測子と予測子の両方として機能し、概念の集合が時間とともに成長し、新しい概念が生成され、使用されるにつれて非定常性をもたらす自己教師型学習システムである。 我々は、そのような非定常性に対応するように設計されたスパース・マルチクラス移動平均手法をタイムリーに開発する。 1つのテクニックは指数移動平均(EMA)に基づいており、もう1つは数個のスナップショットのキューに基づいている。 この組み合わせ、特に動的予測と固有学習率のサポートは、変化の検出と収束の高速化という面で有利であることを示す。

関連論文リスト

• Existence Is Chaos: Enhancing 3D Human Motion Prediction with Uncertainty Consideration [27.28184416632815]
  トレーニングデータにおける記録された動きは、所定の結果ではなく、将来の可能性の観測である可能性が示唆された。 不確実性を考慮した計算効率の良いエンコーダデコーダモデルを提案する。
  論文  参考訳（メタデータ） (2024-03-21T03:34:18Z)
• SMURF-THP: Score Matching-based UnceRtainty quantiFication for Transformer Hawkes Process [76.98721879039559]
  SMURF-THPは,変圧器ホークス過程を学習し,予測の不確かさを定量化するスコアベース手法である。 具体的には、SMURF-THPは、スコアマッチング目標に基づいて、イベントの到着時刻のスコア関数を学習する。 我々は,イベントタイプ予測と到着時刻の不確実性定量化の両方において,広範な実験を行う。
  論文  参考訳（メタデータ） (2023-10-25T03:33:45Z)
• Performative Time-Series Forecasting [71.18553214204978]
  我々は,機械学習の観点から,パフォーマンス時系列予測(PeTS)を定式化する。 本稿では,予測分布シフトに対する遅延応答の概念を活用する新しい手法であるFeature Performative-Shifting(FPS)を提案する。 新型コロナウイルスの複数の時系列モデルと交通予報タスクを用いた総合的な実験を行った。
  論文  参考訳（メタデータ） (2023-10-09T18:34:29Z)
• Finding Islands of Predictability in Action Forecasting [7.215559809521136]
  将来のアクションシーケンスは1つの抽象化レベルではなく、変数でより正確にモデル化されていることを示す。 本稿では,ベイズニューラルネットワークと階層的畳み込みセグメンテーションモデルを組み合わせて,将来の行動を正確に予測し,抽象化レベルを最適に選択する手法を提案する。
  論文  参考訳（メタデータ） (2022-10-13T21:01:16Z)
• Probabilistic Gradient Boosting Machines for Large-Scale Probabilistic Regression [51.770998056563094]
  PGBM(Probabilistic Gradient Boosting Machines)は、確率的予測を生成する手法である。 既存の最先端手法と比較してPGBMの利点を実証的に示す。
  論文  参考訳（メタデータ） (2021-06-03T08:32:13Z)
• Set Prediction without Imposing Structure as Conditional Density Estimation [40.86881969839325]
  本研究では,学習を条件密度推定として見ることにより,設定損失による学習の代替を提案する。 本フレームワークは, 深部エネルギーモデルに適合し, 勾配誘導サンプリングによる難易度を近似する。 我々のアプローチは、標準ベンチマークの以前のセット予測モデルと競合する。
  論文  参考訳（メタデータ） (2020-10-08T16:49:16Z)
• Predicting MOOCs Dropout Using Only Two Easily Obtainable Features from the First Week's Activities [56.1344233010643]
  いくつかの特徴は、学習者の誘惑や興味の欠如に寄与すると考えられており、そのことが解脱や総減退につながる可能性がある。 この研究は、いくつかの機械学習アプローチを比較して、最初の1週間から早期のドロップアウトを予測することを目的としている。
  論文  参考訳（メタデータ） (2020-08-12T10:44:49Z)
• Predicting Temporal Sets with Deep Neural Networks [50.53727580527024]
  本稿では,時間集合予測のためのディープニューラルネットワークに基づく統合解を提案する。 ユニークな視点は、セットレベルの共起グラフを構築することで要素関係を学ぶことである。 我々は,要素や集合の時間依存性を適応的に学習するアテンションベースのモジュールを設計する。
  論文  参考訳（メタデータ） (2020-06-20T03:29:02Z)
• Ambiguity in Sequential Data: Predicting Uncertain Futures with Recurrent Models [110.82452096672182]
  逐次データによる曖昧な予測を扱うために,Multiple hypothesis Prediction(MHP)モデルの拡張を提案する。 また、不確実性を考慮するのに適した曖昧な問題に対する新しい尺度も導入する。
  論文  参考訳（メタデータ） (2020-03-10T09:15:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。