論文の概要: Tracking Changing Probabilities via Dynamic Learners

• arxiv url: http://arxiv.org/abs/2402.10142v3
• Date: Tue, 24 Dec 2024 04:56:07 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-25 15:53:19.568507
• Title: Tracking Changing Probabilities via Dynamic Learners
• Title（参考訳）: 動的学習者による確率変化の追跡
• Authors: Omid Madani,
• Abstract要約: 予測ゲームでは、概念は予測子と予測子の両方として機能し、概念の集合は時間とともに成長する。 我々は,タスクのための多くの予測器,スパース移動平均(SMA)を設計し,研究する。 動的予測と固有学習率をサポートするアイデアの組み合わせが,変化への適応の迅速化という面でのメリットを提供することを示す。
• 参考スコア（独自算出の注目度）: 0.18648070031379424
• License:
• Abstract: Consider a predictor, a learner, whose input is a stream of discrete items. The predictor's task, at every time point, is probabilistic multiclass prediction, i.e. to predict which item may occur next by outputting zero or more candidate items, each with a probability, after which the actual item is revealed and the predictor updates. To output probabilities, the predictor keeps track of the proportions of the items it has seen. The stream is unbounded (lifelong), and the predictor has finite limited space. The task is open-ended: the set of items is unknown to the predictor and their totality can also grow unbounded. Moreover, there is non-stationarity: the underlying frequencies of items may change, substantially, from time to time. For instance, new items may start appearing and a few recently frequent items may cease to occur again. The predictor, being space-bounded, need only provide probabilities for those items which, at the time of prediction, have sufficiently high frequency, i.e., the salient items. This problem is motivated in the setting of Prediction Games, a self-supervised learning regime where concepts serve as both the predictors and the predictands, and the set of concepts grows over time, resulting in non-stationarities as new concepts are generated and used. We design and study a number of predictors, sparse moving averages(SMAs), for the task. One SMA adapts the sparse exponentiated moving average and another is based on queuing a few counts, keeping dynamic per-item histories. Evaluating the predicted probabilities, under noise and non-stationarity, presents challenges, and we discuss and develop evaluation methods, one based on bounding log-loss. We show that a combination of ideas, supporting dynamic predictand-specific learning rates, offers advantages in terms of faster adaption to change (plasticity), while also supporting low variance (stability).
• Abstract（参考訳）: 個別項目のストリームを入力とする予測子、学習者を考える。 予測者のタスクは、各時点において確率的マルチクラス予測であり、すなわち、0以上の候補アイテムを出力して次にどのアイテムが発生するかを予測する。 確率を出力するために、予測器は見たアイテムの比率を追跡する。 ストリームは非有界(ライフロング)であり、予測子は有限空間を持つ。 タスクはオープンエンドであり、アイテムの集合は予測者に未知であり、その総数は無制限に成長する。 さらに、非定常性があり、アイテムの根底にある周波数は、時間によって大きく変化する可能性がある。 例えば、新しいアイテムが出現し始め、最近の頻繁なアイテムが再び発生しなくなる可能性がある。 予測器は、空間的に有界であるので、これらの項目に対してのみ確率を与える必要があり、予測時には十分高い周波数、すなわち有能な項目が与えられる。 この問題は予測ゲームの設定において動機付けられており、概念が予測子と予測子の両方として機能し、概念の集合が時間とともに成長し、新しい概念が生成され、使用されるにつれて非定常性をもたらす自己教師型学習システムである。 我々は,タスクのための多くの予測器,スパース移動平均(SMA)を設計し,研究する。 1つのSMAはスパース指数移動平均に適応し、もう1つのSMAは数個のカウントをキューし、動的単位の履歴を保持する。 騒音と非定常性の下で予測される確率を評価することは課題であり、我々は境界ログロスに基づく評価手法を検討・開発する。 動的予測と固有学習率をサポートするアイデアの組み合わせは,変化への適応の迅速化(塑性)と低分散(安定性)の両面での優位性を示す。

関連論文リスト

• Existence Is Chaos: Enhancing 3D Human Motion Prediction with Uncertainty Consideration [27.28184416632815]
  トレーニングデータにおける記録された動きは、所定の結果ではなく、将来の可能性の観測である可能性が示唆された。 不確実性を考慮した計算効率の良いエンコーダデコーダモデルを提案する。
  論文  参考訳（メタデータ） (2024-03-21T03:34:18Z)
• SMURF-THP: Score Matching-based UnceRtainty quantiFication for Transformer Hawkes Process [76.98721879039559]
  SMURF-THPは,変圧器ホークス過程を学習し,予測の不確かさを定量化するスコアベース手法である。 具体的には、SMURF-THPは、スコアマッチング目標に基づいて、イベントの到着時刻のスコア関数を学習する。 我々は,イベントタイプ予測と到着時刻の不確実性定量化の両方において,広範な実験を行う。
  論文  参考訳（メタデータ） (2023-10-25T03:33:45Z)
• Performative Time-Series Forecasting [71.18553214204978]
  我々は,機械学習の観点から,パフォーマンス時系列予測(PeTS)を定式化する。 本稿では,予測分布シフトに対する遅延応答の概念を活用する新しい手法であるFeature Performative-Shifting(FPS)を提案する。 新型コロナウイルスの複数の時系列モデルと交通予報タスクを用いた総合的な実験を行った。
  論文  参考訳（メタデータ） (2023-10-09T18:34:29Z)
• Finding Islands of Predictability in Action Forecasting [7.215559809521136]
  将来のアクションシーケンスは1つの抽象化レベルではなく、変数でより正確にモデル化されていることを示す。 本稿では,ベイズニューラルネットワークと階層的畳み込みセグメンテーションモデルを組み合わせて,将来の行動を正確に予測し,抽象化レベルを最適に選択する手法を提案する。
  論文  参考訳（メタデータ） (2022-10-13T21:01:16Z)
• Probabilistic Gradient Boosting Machines for Large-Scale Probabilistic Regression [51.770998056563094]
  PGBM(Probabilistic Gradient Boosting Machines)は、確率的予測を生成する手法である。 既存の最先端手法と比較してPGBMの利点を実証的に示す。
  論文  参考訳（メタデータ） (2021-06-03T08:32:13Z)
• Set Prediction without Imposing Structure as Conditional Density Estimation [40.86881969839325]
  本研究では,学習を条件密度推定として見ることにより,設定損失による学習の代替を提案する。 本フレームワークは, 深部エネルギーモデルに適合し, 勾配誘導サンプリングによる難易度を近似する。 我々のアプローチは、標準ベンチマークの以前のセット予測モデルと競合する。
  論文  参考訳（メタデータ） (2020-10-08T16:49:16Z)
• Predicting MOOCs Dropout Using Only Two Easily Obtainable Features from the First Week's Activities [56.1344233010643]
  いくつかの特徴は、学習者の誘惑や興味の欠如に寄与すると考えられており、そのことが解脱や総減退につながる可能性がある。 この研究は、いくつかの機械学習アプローチを比較して、最初の1週間から早期のドロップアウトを予測することを目的としている。
  論文  参考訳（メタデータ） (2020-08-12T10:44:49Z)
• Predicting Temporal Sets with Deep Neural Networks [50.53727580527024]
  本稿では,時間集合予測のためのディープニューラルネットワークに基づく統合解を提案する。 ユニークな視点は、セットレベルの共起グラフを構築することで要素関係を学ぶことである。 我々は,要素や集合の時間依存性を適応的に学習するアテンションベースのモジュールを設計する。
  論文  参考訳（メタデータ） (2020-06-20T03:29:02Z)
• Ambiguity in Sequential Data: Predicting Uncertain Futures with Recurrent Models [110.82452096672182]
  逐次データによる曖昧な予測を扱うために,Multiple hypothesis Prediction(MHP)モデルの拡張を提案する。 また、不確実性を考慮するのに適した曖昧な問題に対する新しい尺度も導入する。
  論文  参考訳（メタデータ） (2020-03-10T09:15:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。