論文の概要: Decoupling Inference from State Updates in Low-Latency Feature Engines via Probabilistic Thinning

• arxiv url: http://arxiv.org/abs/2606.16981v1
• Date: Mon, 15 Jun 2026 17:18:05 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-16 18:36:05.096398
• Title: Decoupling Inference from State Updates in Low-Latency Feature Engines via Probabilistic Thinning
• Title（参考訳）: 確率的薄膜化による低レイテンシ特徴エンジンの状態更新からの推論の分離
• Authors: Augusto Peres, Iker Perez, Pedro Valdeira, Guilherme Jardim, Ana Sofia Gomes, Hugo Ferreira, Pedro Bizarro,
• Abstract要約: 確率的シンニングにより、ストリーミング機械学習パイプラインにおける状態永続性からの推論を分離する。 我々は、高頻度のインメモリ制御プレーンやクロスワーカーを使わずに、永続パス制御が実現可能であることを示す。 実験全体では、最大90%のイベントが保存中の永続化パスから除外され、場合によっては下流のユーティリティを改善している。
• 参考スコア（独自算出の注目度）: 6.081561157196023
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Streaming data systems increasingly underpin Machine Learning workflows that maintain large numbers of continuously updated aggregations. In production settings, each incoming event typically triggers read-modify-write operations to persistent storage, making high-frequency state updates a dominant source of latency, contention, and operational cost. In this work, we decouple inference from state persistence in streaming Machine Learning pipelines via probabilistic thinning: every event is scored, but durable state updates are selectively triggered by informative events. Unlike approaches that shed input or state, we show that persistence-path control is achievable without a high-frequency in-memory control plane or cross-worker coordination, relying exclusively on approximate statistics retrieved from disk-backed key-value stores. We model the resulting stochastic processes, derive bounds on filtering rates, and prove that common time-based aggregations remain unbiased under variance-aware formulations, preventing systemic error accumulation. We evaluate the approach in a controlled setting that isolates per-event costs, demonstrating substantial reductions in storage Input/Output and serialization overhead. Across experiments, up to 90% of events are excluded from the persistence path while preserving and in some cases improving downstream utility.
• Abstract（参考訳）: データシステムのストリーミングは、継続的に更新される多数のアグリゲーションを維持する機械学習ワークフローの基盤となっている。 プロダクション設定では、各イベントが通常、読み取り-修正-書き込み操作を永続的なストレージにトリガーし、レイテンシ、競合、運用コストの主要なソースとなる。 この作業では、予測をストリーミングのステート永続性から切り離し、確率的シンニング(probabilistic thinning)を通じて機械学習パイプラインを分離します。 入力や状態を隠蔽するアプローチとは異なり、ディスクバックのキーバリューストアから取得した近似統計にのみ依存して、高頻度のインメモリ制御プレーンやクロスワーカー調整なしで永続パス制御が実現可能であることを示す。 我々は、結果の確率過程をモデル化し、フィルタリング率のバウンダリを導出し、共通時間に基づく集約が分散を考慮した定式化の下でバイアスを受けないことを証明し、システム的エラーの蓄積を防止する。 本研究は,ストレージ入出力の大幅な削減とシリアライズオーバーヘッドを実証し,各コストを分離する制御環境でのアプローチを評価する。 実験全体では、最大90%のイベントが保存中の永続化パスから除外され、場合によっては下流のユーティリティを改善している。

関連論文リスト

• CINDI: Conditional Imputation and Noisy Data Integrity with Flows in Power Grid Data [0.6991281327290525]
  Conditional Imputation and Noisy Data Integrity (CINDI) は、複雑な時系列におけるデータの完全性を取り戻すために設計された教師なし確率的フレームワークである。 CINDIは、条件付き正規化フロー上に構築された単一エンドツーエンドシステムに異常検出と計算を統一する。 ノルウェーの電力配電事業者による実世界のグリッド損失データを用いて,本フレームワークの評価を行った。
  論文  参考訳（メタデータ） (2026-03-12T09:49:10Z)
• Causify DataFlow: A Framework For High-performance Machine Learning Stream Computing [0.0]
  我々は、無制限の時系列データ上に機械学習システムを構築し、テストし、デプロイするための計算フレームワークであるDataFlowを紹介する。 従来のデータサイエンスは有限データセットを前提としており、バッチプロトタイプからストリーミングプロダクションシステムに移行する際には、かなりの再実装が必要である。 DataFlowは、ポイント・イン・タイムの理想性を持つ非循環グラフに基づいて、これらの問題を統一された実行モデルで解決する。
  論文  参考訳（メタデータ） (2025-12-30T04:24:04Z)
• Explainable Anomaly Detection for Industrial IoT Data Streams [1.2722697496405462]
  産業のメンテナンスはモノのインターネットとエッジコンピューティングによって変化している。 本稿では,教師なし異常検出と対話型・人間-イン-ザ-ループ学習を統合し,メンテナンス決定を支援するフレームワークを提案する。
  論文  参考訳（メタデータ） (2025-12-09T18:20:35Z)
• STDiff: A State Transition Diffusion Framework for Time Series Imputation in Industrial Systems [2.3895981099137535]
  そこで本研究では,ある状態から次の状態へシステムがどのように進化するかを学ぶために,命令を書き換えるSTDiffを提案する。 STDiffは低いエラーを継続的に達成し、その利点は長いギャップで増大する。 これらの結果は、産業時系列の堅牢なアプローチとして、動的に認識され、明示的な条件付き計算をサポートする。
  論文  参考訳（メタデータ） (2025-08-26T13:14:53Z)
• Event Signal Filtering via Probability Flux Estimation [58.31652473933809]
  イベントは、非同期センシングを通じてシーンダイナミクスをキャプチャするための新しいパラダイムを提供するが、その固有のランダム性は、しばしば劣化した信号品質につながる。 したがって、イベント信号フィルタリングは、この内部ランダム性を低減し、多様な取得条件をまたいだ一貫した出力を確保することで、忠実性を高めるために不可欠である。 本稿ではイベント密度フローフィルタ(EDFilter)と呼ばれる生成オンラインフィルタリングフレームワークを紹介する。 実験では、イベントフィルタリング、スーパーレゾリューション、イベントベースの直接追跡といったタスクでEDFilterのパフォーマンスを検証する。
  論文  参考訳（メタデータ） (2025-04-10T07:03:08Z)
• Continual Low-Rank Scaled Dot-product Attention [67.11704350478475]
  我々は,連続的推論に適したNystr"om近似に基づくスケールド・プロダクツ・アテンションの新しい定式化を導入する。 オンライン音声分類およびオンライン行動検出タスクの実験において、提案した連続的スケールド・プロダクト・アテンションは、最大3桁の操作数を削減できる。
  論文  参考訳（メタデータ） (2024-12-04T11:05:01Z)
• Value function estimation using conditional diffusion models for control [62.27184818047923]
  拡散値関数(DVF)と呼ばれる単純なアルゴリズムを提案する。 拡散モデルを用いて環境-ロボット相互作用の連成多段階モデルを学ぶ。 本稿では,DVFを用いて複数のコントローラの状態を効率よく把握する方法を示す。
  論文  参考訳（メタデータ） (2023-06-09T18:40:55Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。