論文の概要: Act Now: A Novel Online Forecasting Framework for Large-Scale Streaming Data

• arxiv url: http://arxiv.org/abs/2412.00108v1
• Date: Thu, 28 Nov 2024 01:39:45 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-04 15:43:39.125590
• Title: Act Now: A Novel Online Forecasting Framework for Large-Scale Streaming Data
• Title（参考訳）: Act Now: 大規模ストリーミングデータのための新しいオンライン予測フレームワーク
• Authors: Daojun Liang, Haixia Zhang, Jing Wang, Dongfeng Yuan, Minggao Zhang,
• Abstract要約: 既存のオンライン予測手法には次のような問題がある。 彼らはストリーミングデータの更新頻度を考慮していない。 情報漏洩の除去はコンセプトドリフトを悪化させる可能性がある。 既存のGPUデバイスは、大規模なストリーミングデータのオンライン学習をサポートできない。
• 参考スコア（独自算出の注目度）: 17.121851529311368
• License:
• Abstract: In this paper, we find that existing online forecasting methods have the following issues: 1) They do not consider the update frequency of streaming data and directly use labels (future signals) to update the model, leading to information leakage. 2) Eliminating information leakage can exacerbate concept drift and online parameter updates can damage prediction accuracy. 3) Leaving out a validation set cuts off the model's continued learning. 4) Existing GPU devices cannot support online learning of large-scale streaming data. To address the above issues, we propose a novel online learning framework, Act-Now, to improve the online prediction on large-scale streaming data. Firstly, we introduce a Random Subgraph Sampling (RSS) algorithm designed to enable efficient model training. Then, we design a Fast Stream Buffer (FSB) and a Slow Stream Buffer (SSB) to update the model online. FSB updates the model immediately with the consistent pseudo- and partial labels to avoid information leakage. SSB updates the model in parallel using complete labels from earlier times. Further, to address concept drift, we propose a Label Decomposition model (Lade) with statistical and normalization flows. Lade forecasts both the statistical variations and the normalized future values of the data, integrating them through a combiner to produce the final predictions. Finally, we propose to perform online updates on the validation set to ensure the consistency of model learning on streaming data. Extensive experiments demonstrate that the proposed Act-Now framework performs well on large-scale streaming data, with an average 28.4% and 19.5% performance improvement, respectively. Experiments can be reproduced via https://github.com/Anoise/Act-Now.
• Abstract（参考訳）: 本稿では,既存のオンライン予測手法の問題点について述べる。 1) ストリーミングデータの更新頻度を考慮せず, ラベル(将来の信号)を直接使用してモデルを更新し, 情報漏洩を引き起こす。 2)情報漏洩の除去はコンセプトドリフトを悪化させ,オンラインパラメータ更新は予測精度を損なう可能性がある。 3) 検証セットを手放すことで、モデルの継続的な学習を遮断します。 4)既存のGPUデバイスは、大規模なストリーミングデータのオンライン学習をサポートしない。 以上の課題に対処するため,大規模ストリーミングデータのオンライン予測を改善するために,新しいオンライン学習フレームワークである Act-Now を提案する。 まず,効率的なモデルトレーニングを実現するために,ランダムサブグラフサンプリング(RSS)アルゴリズムを提案する。 そこで我々は,Fast Stream Buffer (FSB) と Slow Stream Buffer (SSB) を設計し,モデルをオンラインで更新する。 FSBは、情報漏洩を避けるために、一貫した擬似ラベルと部分ラベルで即座にモデルを更新する。 SSBは、以前の完全なラベルを使用してモデルを並列に更新する。 さらに,概念のドリフトに対処するために,統計的および正規化フローを持つラベル分解モデル(ラーデ)を提案する。 Ladeはデータの統計的変動と正規化された将来の値の両方を予測し、それらを結合器を通じて統合して最終的な予測を生成する。 最後に,ストリーミングデータ上でのモデル学習の一貫性を確保するため,検証セットのオンライン更新を行う。 大規模な実験では、Act-Nowフレームワークが大規模ストリーミングデータに対してそれぞれ平均28.4%と19.5%のパフォーマンス改善を達成している。 実験はhttps://github.com/Anoise/Act-Nowで再現できる。

関連論文リスト

• Online-BLS: An Accurate and Efficient Online Broad Learning System for Data Stream Classification [52.251569042852815]
  オンライン更新毎にクローズドフォームソリューションを備えたオンライン広範学習システムフレームワークを導入する。 我々は,効果的な重み推定アルゴリズムと効率的なオンライン更新戦略を設計する。 我々のフレームワークは、コンセプトドリフトを伴うデータストリームシナリオに自然に拡張され、最先端のベースラインを超えます。
  論文  参考訳（メタデータ） (2025-01-28T13:21:59Z)
• Proactive Model Adaptation Against Concept Drift for Online Time Series Forecasting [23.50574069148193]
  本稿では,オンライン時系列予測のための新しいプロアクティブモデル適応フレームワークを提案する。 Proceedは最初に、最近使用したトレーニングサンプルと現在のテストサンプルの間のコンセプトドリフトを推定する。 次に、推定ドリフトをパラメータ調整に効率的に変換するために適応生成器を使用する。
  論文  参考訳（メタデータ） (2024-12-11T14:57:10Z)
• Addressing Concept Shift in Online Time Series Forecasting: Detect-then-Adapt [37.98336090671441]
  概念 textbfDrift textbfDetection antextbfD textbfAdaptation (D3A) まずドリフトの概念を検知し、次に急激な適応の検出の後、現在のモデルをドリフトされた概念に積極的に適応する。 これは、トレイン-テストのパフォーマンスの不整合に寄与する重要な要因であるデータ分散ギャップを軽減するのに役立ちます。
  論文  参考訳（メタデータ） (2024-03-22T04:44:43Z)
• OneNet: Enhancing Time Series Forecasting Models under Concept Drift by Online Ensembling [65.93805881841119]
  ドリフト問題に対処するため,textbfOnline textbfensembling textbfNetwork (OneNet)を提案する。 OneNet は State-Of-The-Art (SOTA) 法と比較してオンライン予測エラーを $mathbf50%$ 以上削減する。
  論文  参考訳（メタデータ） (2023-09-22T06:59:14Z)
• Semi-Autoregressive Streaming ASR With Label Context [70.76222767090638]
  本稿では,先行ブロックで出力されたラベルを付加コンテキストとして組み込んだストリーミング「半自己回帰型」ASRモデルを提案する。 実験の結果,既存のストリーミングNARモデルではTedlium2が19%,Librispeech-100が16%/8%,Switchboard(SWB)/Callhome(CH)テストセットが19%/8%であった。
  論文  参考訳（メタデータ） (2023-09-19T20:55:58Z)
• Sampling Streaming Data with Parallel Vector Quantization -- PVQ [0.0]
  本稿では,データストリームのクラス不均衡を大幅に低減するベクトル量子化に基づくサンプリング手法を提案する。 並列処理、バッチ処理、ランダムにサンプルを選択するモデルを構築しました。 本手法により,データストリームの事前処理により,分類モデルの精度が向上することを示す。
  論文  参考訳（メタデータ） (2022-10-04T17:59:44Z)
• StreamYOLO: Real-time Object Detection for Streaming Perception [84.2559631820007]
  将来を予測する能力を備えたモデルを提供し、ストリーミング知覚の結果を大幅に改善する。 本稿では,複数の速度を駆動するシーンについて考察し,VasAP(Velocity-Awared streaming AP)を提案する。 本手法は,Argoverse-HDデータセットの最先端性能を実現し,SAPとVsAPをそれぞれ4.7%,VsAPを8.2%改善する。
  論文  参考訳（メタデータ） (2022-07-21T12:03:02Z)
• Real-time Object Detection for Streaming Perception [84.2559631820007]
  ストリーミング知覚は,ビデオオンライン知覚の1つの指標として,レイテンシと精度を共同評価するために提案される。 ストリーミング知覚のためのシンプルで効果的なフレームワークを構築します。 提案手法はArgoverse-HDデータセット上での競合性能を実現し,強力なベースラインに比べてAPを4.9%向上させる。
  論文  参考訳（メタデータ） (2022-03-23T11:33:27Z)
• A Broad Ensemble Learning System for Drifting Stream Classification [3.087840197124265]
  本研究では,概念ドリフトを用いたストリーム分類のためのBroad Ensemble Learning System (BELS)を提案する。 BELSは、クラス内の最高のモデルの精度を大幅に向上させる新しい更新方法を使用している。 提案手法は,BLSに比べて平均44%改善し,他の競争基準に比べて29%改善した。
  論文  参考訳（メタデータ） (2021-10-07T15:01:33Z)
• Over-the-Air Federated Learning from Heterogeneous Data [107.05618009955094]
  フェデレートラーニング(Federated Learning、FL)は、集中型モデルの分散ラーニングのためのフレームワークである。 我々は,共通局所勾配勾配勾配(SGD)FLアルゴリズムを強化するコンバージェント OTA FL (COTAF) アルゴリズムを開発した。 我々は,COTAFにより誘導されるプリコーディングが,OTA FLを用いて訓練されたモデルの収束率と精度を顕著に向上させることを示す。
  論文  参考訳（メタデータ） (2020-09-27T08:28:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。