論文の概要: BlobShuffle: Cost-Effective Repartitioning in Stream Processing Systems via Object Storage Exemplified with Kafka Streams

• arxiv url: http://arxiv.org/abs/2606.03364v1
• Date: Tue, 02 Jun 2026 09:13:48 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-03 22:00:04.895946
• Title: BlobShuffle: Cost-Effective Repartitioning in Stream Processing Systems via Object Storage Exemplified with Kafka Streams
• Title（参考訳）: BlobShuffle: Kafkaストリームを実演したオブジェクトストレージによるストリーム処理システムにおけるコスト効果リパーティショニング
• Authors: Sören Henning, Otmar Ertl, Adriano Vogel,
• Abstract要約: 本稿では,BlobShuffleを提案する。BlobShuffleは,ストリーム処理システムのためのコスト効率の高いシャッフル手法である。 すべてのシャッフルレコードを直接送信する代わりに、BlobShuffleはレコードをバッチにグループ化し、これらのバッチをクラウドオブジェクトストレージに格納し、通知のみを転送する。 BlobShuffleは、95%のシャッフルレイテンシを2秒未満に保ちながら、ネイティブKafkaシャッフルと比較してシャッフルコストを40倍以上削減できることを示す。
• 参考スコア（独自算出の注目度）: 1.0705399532413615
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Shuffling or repartitioning data streams is an essential operation of state-of-the-art stream processing frameworks to support stateful workloads in a large-scale, distributed setting. In today's cloud deployments, however, shuffling can become a major cost driver due to substantial network traffic across multiple availability zones (AZs) as well as an operational burden when operating a high-throughput, strongly consistent messaging backbone at scale. We present BlobShuffle, a novel approach to cost-effective shuffling for stream processing systems that leverages cloud object storage as an intermediate exchange layer. Instead of sending all shuffled records directly, BlobShuffle groups records into batches, stores these batches in cloud object storage, and forwards only compact notifications. Downstream operators use these notifications to retrieve the relevant batches and extract the corresponding records. BlobShuffle balances cost efficiency and latency through configurable batching and a distributed caching mechanism. BlobShuffle is implemented as an add-on for Kafka Streams that requires only minimal code changes to existing applications, leaves Kafka and the underlying infrastructure unmodified, and preserves Kafka Streams' consistency and correctness guarantees. In a large-scale experimental evaluation on a Kubernetes-based AWS deployment, we show that BlobShuffle can reduce shuffling costs by more than 40x compared to native Kafka Streams shuffling while keeping the 95th percentile shuffle latency below 2 seconds. Moreover, it scales to processing more than 2 GiB/s without encountering a scalability limit in our experiments, indicating that BlobShuffle can economically support shuffle-intensive workloads at large scale.
• Abstract（参考訳）: データストリームのシャッフルや分割は、大規模で分散した環境でステートフルなワークロードをサポートする、最先端のストリーム処理フレームワークの不可欠な操作である。 しかし今日のクラウドデプロイメントでは、複数のアベイラビリティゾーン(AZ)にまたがるネットワークトラフィックと、大規模に高スループットで一貫性のあるメッセージングバックボーンを運用する場合の運用上の負担により、シャッフルが大きなコストドライバになる可能性がある。 本稿では,クラウドオブジェクトストレージを中間交換層として利用するストリーム処理システムにおいて,コスト効率の高いシャッフル手法であるBlobShuffleを提案する。 すべてのシャッフルレコードを直接送信する代わりに、BlobShuffleはレコードをバッチにグループ化し、これらのバッチをクラウドオブジェクトストレージに格納し、コンパクトな通知のみを転送する。 下流のオペレータはこれらの通知を使って関連するバッチを検索し、対応するレコードを抽出する。 BlobShuffleは、構成可能なバッチ処理と分散キャッシュ機構を通じて、コスト効率とレイテンシのバランスをとる。 BlobShuffleはKafka Streamsのアドオンとして実装されており、既存のアプリケーションに最小限のコード変更しか必要とせず、Kafkaと基盤となるインフラストラクチャを変更せずに、Kafka Streamsの一貫性と正確性を保証する。 KubernetesベースのAWSデプロイメントに関する大規模な実験的評価では、BlobShuffleがネイティブのKafka Streamsシャッフルと比較してシャッフルコストを40倍以上削減し、95%のシャッフルレイテンシを2秒以下に抑えることができることを示した。 さらに、我々の実験ではスケーラビリティの限界に遭遇することなく、2 GiB/s以上の処理にスケールし、BlobShuffleが大規模にシャッフル集約的なワークロードを経済的にサポートできることを示す。

関連論文リスト

• Out of the Memory Barrier: A Highly Memory Efficient Training System for LLMs with Million-Token Contexts [68.79341332280062]
  長いコンテキストでの大規模言語モデル(LLM)のトレーニングは、トレーニング時間ではなく、GPUメモリの異常なオーバーヘッドによって厳しく制限される。 この障壁に直面するメモリ効率の高いトレーニングシステムOOMBを紹介します。 本手法では,オンザフライアクティベーション・リコンピュテーションを備えたチャンク・リカレント・トレーニング・フレームワークを用いて,一定のアクティベーションメモリフットプリントを維持する。
  論文  参考訳（メタデータ） (2026-02-02T13:52:40Z)
• TokenLake: A Unified Segment-level Prefix Cache Pool for Fine-grained Elastic Long-Context LLM Serving [12.80179556886128]
  セグメントレベルのプレフィックス・キャッシュ・プールであるTokenLakeを提案する。 キャッシュインターフェースを使用して、リクエストのクエリテンソル、プレフィックス、キャッシュ対応操作を公開します。 TokenLakeはスループットを最大2.6$times$と2.0$times$に改善し、ヒット率を2.0$times$と2.1$times$に向上させることができる。
  論文  参考訳（メタデータ） (2025-08-24T05:45:16Z)
• SlimPipe: Memory-Thrifty and Efficient Pipeline Parallelism for Long-Context LLM Training [21.93724007255793]
  SlimPipeは、きめ細かいパイプライン並列化に対する新しいアプローチである。 蓄積した活性化をいくつかのマイクロバッチから1つに減らし、いくつかのスライスに分割する。 ほぼゼロのメモリオーバーヘッドを達成し、(2)パイプラインバブルを同時に最小化する。
  論文  参考訳（メタデータ） (2025-04-20T07:33:33Z)
• Efficient Token Compression for Vision Transformer with Spatial Information Preserved [59.79302182800274]
  トーケン圧縮は、トランスモデルの計算およびメモリ要求の低減に不可欠である。 本稿では,Prune と Merge という,効率的なハードウェア互換のトークン圧縮手法を提案する。
  論文  参考訳（メタデータ） (2025-03-30T14:23:18Z)
• ThinK: Thinner Key Cache by Query-Driven Pruning [63.13363917871414]
  大規模言語モデル(LLM)は自然言語処理の分野に革命をもたらし、様々なアプリケーションで前例のない性能を達成した。 本稿では,KVキャッシュのメモリ消費の非効率性に対処する長文シナリオに焦点を当てた。 我々は,最小のチャネルを選択的に切断しながら,注目重量損失を最小限に抑える新しいクエリ依存型KVキャッシュプルーニング手法であるThinKを提案する。
  論文  参考訳（メタデータ） (2024-07-30T17:59:08Z)
• DAGER: Exact Gradient Inversion for Large Language Models [10.998375857698496]
  フェデレーション学習は、複数のクライアントからローカルに計算された勾配を集約することで機能する。 これまでの研究では、いわゆるグラディエント・インバージョン・アタックを使用して、データをサーバによって実際に回収できることが示されていた。 入力テキストのバッチ全体を正確に復元する最初のアルゴリズムであるDAGERを提案する。
  論文  参考訳（メタデータ） (2024-05-24T14:14:24Z)
• Just One Byte (per gradient): A Note on Low-Bandwidth Decentralized Language Model Finetuning Using Shared Randomness [86.61582747039053]
  分散環境での言語モデルトレーニングは、交換の通信コストによって制限される。 分散微調整を低帯域幅で行うために,共有ランダムネスを用いた最近の作業を拡張した。
  論文  参考訳（メタデータ） (2023-06-16T17:59:51Z)
• Fast Conditional Network Compression Using Bayesian HyperNetworks [54.06346724244786]
  条件付き圧縮問題を導入し、それに取り組むための高速なフレームワークを提案する。 問題は、トレーニング済みの大規模ニューラルネットワークをターゲットコンテキストに応じて最適な小さなネットワークに素早く圧縮する方法である。 提案手法は, ベースライン方式よりもはるかに小型の圧縮ネットワークを高速に生成できる。
  論文  参考訳（メタデータ） (2022-05-13T00:28:35Z)
• ShuffleBlock: Shuffle to Regularize Deep Convolutional Neural Networks [35.67192058479252]
  本稿では,ディープ畳み込みネットワークにおける正規化手法としてのチャネルシャッフルの動作について検討する。 トレーニング中のチャネルのランダムシャッフルは性能を大幅に低下させるが、小さなパッチをランダムにシャッフルすると性能が大幅に向上することを示した。 ShuffleBlockモジュールは実装が容易で、CIFARとImageNetデータセットの画像分類タスクにおいて、いくつかのベースラインネットワークの性能を改善している。
  論文  参考訳（メタデータ） (2021-06-17T10:23:00Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。