論文の概要: Real-time Event Joining in Practice With Kafka and Flink

• arxiv url: http://arxiv.org/abs/2410.15533v1
• Date: Sun, 20 Oct 2024 23:14:10 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-22 13:13:01.935291
• Title: Real-time Event Joining in Practice With Kafka and Flink
• Title（参考訳）: KafkaとFlinkによるリアルタイムイベントの実践
• Authors: Srijan Saket, Vivek Chandela, Md. Danish Kalim,
• Abstract要約: 本稿では,Apache KafkaとFlinkを使用した機械学習モデルのストリーミングパイプラインへの移行を特徴付ける。 イベント間の因果依存性の管理、イベント時間と処理時間のバランス、正確に1対1のデリバリ保証の保証といった課題に対処します。
• 参考スコア（独自算出の注目度）: 0.48748194765816943
• License:
• Abstract: Historically, machine learning training pipelines have predominantly relied on batch training models, retraining models every few hours. However, industrial practitioners have proved that real-time training can lead to a more adaptive and personalized user experience. The transition from batch to real-time is full of tradeoffs to get the benefits of accuracy and freshness while keeping the costs low and having a predictable, maintainable system. Our work characterizes migrating to a streaming pipeline for a machine learning model using Apache Kafka and Flink. We demonstrate how to transition from Google Pub/Sub to Kafka to handle incoming real-time events and leverage Flink for streaming joins using RocksDB and checkpointing. We also address challenges such as managing causal dependencies between events, balancing event time versus processing time, and ensuring exactly-once versus at-least-once delivery guarantees, among other issues. Furthermore, we showcase how we improved scalability by using topic partitioning in Kafka, reduced event throughput by \textbf{85\%} through the use of Avro schema and compression, decreased costs by \textbf{40\%}, and implemented a separate pipeline to ensure data correctness. Our findings provide valuable insights into the tradeoffs and complexities of real-time systems, enabling better-informed decisions tailored to specific requirements for building effective streaming systems that enhance user satisfaction.
• Abstract（参考訳）: 歴史的に、機械学習トレーニングパイプラインは主にバッチトレーニングモデルに依存しており、数時間毎にモデルを再トレーニングしている。 しかし、産業実践者は、リアルタイムトレーニングがより適応的でパーソナライズされたユーザーエクスペリエンスにつながることを証明している。 バッチからリアルタイムへの移行は、コストを低く保ち、予測可能なメンテナンス可能なシステムを持ちながら、正確さと新鮮さのメリットを得るためのトレードオフに満ちています。 当社の作業では,Apache KafkaとFlinkを使用したマシンラーニングモデルのストリーミングパイプラインへの移行を特徴付けています。 私たちは、Google Pub/SubからKafkaに移行して、着信するリアルタイムイベントを処理する方法を示し、RocksDBとチェックポイントを使用してストリーミングジョインにFlinkを活用する。 また、イベント間の因果依存性の管理、イベント時間と処理時間のバランス、正確に1対1のデリバリ保証を保証するといった課題にも対処しています。 さらに,Kafkaのトピックパーティショニングの利用によるスケーラビリティの向上,Avroスキーマと圧縮によるイベントスループットの削減,textbf{40\%}によるコストの削減,データの正確性を保証するためのパイプラインの分離などについても紹介する。 ユーザの満足度を高める効果的なストリーミングシステムを構築するための、具体的な要件に合わせて、より良いインフォームドな意思決定を可能にする。

関連論文リスト

• FedAST: Federated Asynchronous Simultaneous Training [27.492821176616815]
  フェデレートラーニング(FL)は、デバイスやクライアントがプライベートデータを共有せずに機械学習(ML)モデルを協調的にトレーニングすることを可能にする。 FLにおける既存の作業の多くは、1つのタスクのモデルを効率的に学習することに集中しています。 本稿では,共通データセットを用いた複数のFLモデルの同時学習を提案する。
  論文  参考訳（メタデータ） (2024-06-01T05:14:20Z)
• Prune at the Clients, Not the Server: Accelerated Sparse Training in Federated Learning [56.21666819468249]
  クライアントのリソース制約と通信コストは、フェデレートラーニングにおける大規模モデルのトレーニングに大きな問題を引き起こす。 Sparse-ProxSkipを導入し、スパース環境でのトレーニングとアクセラレーションを組み合わせた。 Sparse-ProxSkipの優れた性能を広範な実験で実証する。
  論文  参考訳（メタデータ） (2024-05-31T05:21:12Z)
• Efficient Asynchronous Federated Learning with Sparsification and Quantization [55.6801207905772]
  フェデレートラーニング(FL)は、生データを転送することなく、機械学習モデルを協調的にトレーニングするために、ますます注目を集めている。 FLは一般的に、モデルトレーニングの全プロセス中にパラメータサーバーと多数のエッジデバイスを利用する。 TEASQ-Fedは、エッジデバイスを利用して、タスクに積極的に適用することで、トレーニングプロセスに非同期に参加する。
  論文  参考訳（メタデータ） (2023-12-23T07:47:07Z)
• SOTASTREAM: A Streaming Approach to Machine Translation Training [13.39347756245191]
  多くの機械翻訳ツールキットは、生データをトレーナーが直接使用できるテンソル形式に変換するデータ準備ステップを利用する。 本稿では,そのデータ消費からデータ生成を分離する代替手法を提案する。 このアプローチでは、個別の事前処理ステップはなく、データ生成は生のトレーニングデータの置換の無限のストリームを生成する。
  論文  参考訳（メタデータ） (2023-08-14T22:47:19Z)
• FedFA: Federated Learning with Feature Anchors to Align Features and Classifiers for Heterogeneous Data [8.677832361022809]
  フェデレーション学習は、複数のクライアントがデータを交換することなく、協調的にモデルをトレーニングすることを可能にする。 一般的な解決策は、局所訓練中に体重のばらつきや特徴の不整合を規則化する補助的な損失を含む。 我々はFederated Learning with Feature Anchors (FedFA)という新しいフレームワークを提案する。
  論文  参考訳（メタデータ） (2022-11-17T02:27:44Z)
• FIRE: A Failure-Adaptive Reinforcement Learning Framework for Edge Computing Migrations [52.85536740465277]
  FIREは、エッジコンピューティングのディジタルツイン環境でRLポリシーをトレーニングすることで、まれなイベントに適応するフレームワークである。 ImREは重要なサンプリングに基づくQ-ラーニングアルゴリズムであり、希少事象をその値関数への影響に比例してサンプリングする。 FIREは故障時にバニラRLやグリーディベースラインと比較してコストを削減できることを示す。
  論文  参考訳（メタデータ） (2022-09-28T19:49:39Z)
• Acceleration of Federated Learning with Alleviated Forgetting in Local Training [61.231021417674235]
  フェデレートラーニング(FL)は、プライバシを保護しながら機械学習モデルの分散最適化を可能にする。 我々は,FedRegを提案する。FedRegは,局所的な訓練段階において,知識を忘れることなくFLを加速するアルゴリズムである。 我々の実験は、FedRegはFLの収束率を著しく改善するだけでなく、特にニューラルネットワークアーキテクチャが深い場合にも改善することを示した。
  論文  参考訳（メタデータ） (2022-03-05T02:31:32Z)
• Byzantine-robust Federated Learning through Spatial-temporal Analysis of Local Model Updates [6.758334200305236]
  フェデレートラーニング(FL)は、複数の分散クライアント(モバイルデバイスなど)が、クライアントにローカルにトレーニングデータを保持しながら、協調的に集中的なモデルをトレーニングすることを可能にする。 本稿では,これらの障害と攻撃を空間的・時間的観点から緩和することを提案する。 具体的には、パラメータ空間におけるそれらの幾何学的性質を活用することにより、不正な更新を検出し、排除するためにクラスタリングに基づく手法を用いる。
  論文  参考訳（メタデータ） (2021-07-03T18:48:11Z)
• Time-Series Imputation with Wasserstein Interpolation for Optimal Look-Ahead-Bias and Variance Tradeoff [66.59869239999459]
  ファイナンスでは、ポートフォリオ最適化モデルをトレーニングする前に、損失の計算を適用することができる。 インキュベーションのために全データセットを使用するルックアヘッドバイアスと、トレーニングデータのみを使用することによるインキュベーションの大きなばらつきとの間には、本質的にトレードオフがある。 提案手法は,提案法における差分とルックアヘッドバイアスのトレードオフを最適に制御するベイズ後部コンセンサス分布である。
  論文  参考訳（メタデータ） (2021-02-25T09:05:35Z)
• Lambda Learner: Fast Incremental Learning on Data Streams [5.543723668681475]
  本稿では,データストリームからのミニバッチに対するインクリメンタル更新によるモデルトレーニングのための新しいフレームワークを提案する。 提案するフレームワークのモデルでは,オフラインデータに基づいてトレーニングされた周期的に更新されたモデルを推定し,モデル更新が時間に敏感な場合,性能が向上することを示す。 我々は、大規模ソーシャルネットワークのためのスポンサー付きコンテンツプラットフォームに大規模な展開を提示する。
  論文  参考訳（メタデータ） (2020-10-11T04:00:34Z)
• Unshuffling Data for Improved Generalization [65.57124325257409]
  トレーニングディストリビューションを越えた一般化は、マシンラーニングにおける中核的な課題である。 本研究では,複数の学習環境として扱われる非d.d.サブセットにデータを分割することで,アウト・オブ・ディストリビューションの一般化を向上したモデル学習を導出できることを示す。
  論文  参考訳（メタデータ） (2020-02-27T03:07:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。