論文の概要: MultiChain Blockchain Data Provenance for Deterministic Stream Processing with Kafka Streams: A Weather Data Case Study

• arxiv url: http://arxiv.org/abs/2601.18011v1
• Date: Sun, 25 Jan 2026 22:05:15 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-01-27 15:23:08.582247
• Title: MultiChain Blockchain Data Provenance for Deterministic Stream Processing with Kafka Streams: A Weather Data Case Study
• Title（参考訳）: Kafkaストリームを用いた決定論的ストリーム処理のためのマルチチェーンブロックチェーンデータ保護:気象データケーススタディ
• Authors: Niaz Mohammad Ramaki, Florian Schintke,
• Abstract要約: 監査性と証明性は、リアルタイムデータストリームパイプラインにとって依然として重要な課題である。 ストリーミングプラットフォーム(Kafka Streamsなど)用のブロックチェーンベースの前処理アーキテクチャを導入しています。 我々はベルリンの気象観測所からリアルタイムの気象データを使用した。
• 参考スコア（独自算出の注目度）: 0.17188280334580194
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Auditability and reproducibility still are critical challenges for real-time data streams pipelines. Streaming engines are highly dependent on runtime scheduling, window triggers, arrival orders, and uncertainties such as network jitters. These all derive the streaming pipeline platforms to throw non-determinist outputs. In this work, we introduce a blockchain-backed provenance architecture for streaming platform (e.g Kafka Streams) the publishes cryptographic data of a windowed data stream without publishing window payloads on-chain. We used real-time weather data from weather stations in Berlin. Weather records are canonicalized, deduplicated, and aggregated per window, then serialised deterministically. Furthermore, the Merkle root of the records within the window is computed and stored alongside with Kafka offsets boundaries to MultiChain blockchain streams as checkpoints. Our design can enable an independent auditor to verify: (1) the completeness of window payloads, (2) canonical serialization, and (3) correctness of derived analytics such as minimum/maximum/average temperatures. We evaluated our system using real data stream from two weather stations (Berlin-Brandenburg and Berlin-Tempelhof) and showed linear verification cost, deterministic reproducibility, and with a scalable off-chain storage with on-chain cryptographic anchoring. We also demonstrated that the blockchain can afford to be integrated with streaming platforms particularly with our system, and we get satisfactory transactions per second values.
• Abstract（参考訳）: 聴取性と再現性は、リアルタイムデータストリームパイプラインにとって依然として重要な課題である。 ストリーミングエンジンは実行時スケジューリング、ウィンドウトリガー、到着順序、ネットワークジッタなどの不確実性に大きく依存している。 これらはすべて、非決定論的アウトプットを投げるストリーミングパイプラインプラットフォームに由来する。 本研究では,ストリーミングプラットフォーム(例えばKafka Streams)用のブロックチェーンベースのプロファイランスアーキテクチャを導入し,ウィンドウペイロードをチェーン上に公開することなく,ウィンドウ化されたデータストリームの暗号化データをパブリッシュする。 我々はベルリンの気象観測所からリアルタイムの気象データを使用した。 気象記録は標準化され、重複し、ウィンドウごとに集約され、決定論的にシリアライズされる。 さらに、ウィンドウ内のレコードのMerkleルートは計算され、Kafkaのオフセット境界とともに、チェックポイントとしてMultiChainブロックチェーンストリームに格納される。 本設計では,(1)ウィンドウペイロードの完全性,(2)標準シリアライゼーション,(3)最小/最大/平均/平均温度などの導出解析の正確性など,独立した監査者による検証が可能となる。 我々は,2つの気象観測所(ベルリン・ブランデンブルク,ベルリン・テンペルホーフ)からの実データストリームを用いて,線形検証コスト,決定論的再現性,オンチェーン暗号アンカーを用いたスケーラブルなオフチェーンストレージを用いて評価を行った。 また、ブロックチェーンが特に当社のシステムとストリーミングプラットフォームに統合可能であることも実証しました。

関連論文リスト

• LinkXplore: A Framework for Affordable High-Quality Blockchain Data [1.3537117504260623]
  LinkXploreは、オンチェーンデータの収集と管理のための最初のオープンフレームワークである。 これにより、RPCクエリやストリームから直接生データを解析することで、コストのかかるブロックチェーンデータプロバイダをバイパスすることができる。 これにより、限られた予算を持つ研究者と開発者の両方にとって、現実的な代替手段となる。
  論文  参考訳（メタデータ） (2025-11-17T12:56:07Z)
• Efficient Query Verification for Blockchain Superlight Clients Using SNARKs [0.6149772262764599]
  本稿では,スーパーライトクライアントがクエリの計算をサーバにアウトソースし,信頼できる回答を得られるアーキテクチャを提案する。 我々のアーキテクチャはSNARKのパワーに依存しており、完全なノードとブロックチェーンエクスプローラーから得られたデータを使用して計算しやすくします。
  論文  参考訳（メタデータ） (2025-03-11T12:16:35Z)
• Zaptos: Towards Optimal Blockchain Latency [52.30047458198369]
  Zaptosは、エンドツーエンドのレイテンシを最小限に抑えるために設計された並列パイプラインアーキテクチャである。 Zaptosは秒単位のレイテンシで毎秒20,000トランザクションのスループットを実現している。
  論文  参考訳（メタデータ） (2025-01-18T00:22:22Z)
• Fast and Secure Decentralized Optimistic Rollups Using Setchain [1.1534313664323634]
  レイヤ2の楽観的なロールアップ(L2)は、スマートコントラクト開発とユーザインタラクションの面で同じインターフェースを提供する、より高速な代替手段です。 本稿では,集合の非分散化ビザンチン耐性実装であるSetchainに基づく分散L2楽観的なロールアップを提案する。
  論文  参考訳（メタデータ） (2024-06-04T13:45:12Z)
• MemFlow: Optical Flow Estimation and Prediction with Memory [54.22820729477756]
  本稿では,メモリを用いた光フロー推定と予測をリアルタイムに行うMemFlowを提案する。 本手法では,メモリの読み出しと更新を行うモジュールをリアルタイムに収集する。 われわれのアプローチは、過去の観測に基づいて、将来の光流の予測にシームレスに拡張する。
  論文  参考訳（メタデータ） (2024-04-07T04:56:58Z)
• Efficient Streaming Language Models with Attention Sinks [72.20260088848987]
  StreamingLLMは、大規模言語モデルが微調整なしで無限のシーケンス長に一般化できる効率的なフレームワークである。 StreamingLLMはLlama-2, MPT, Falcon, Pythiaを最大400万のトークンで安定かつ効率的な言語モデリングを実現できることを示す。
  論文  参考訳（メタデータ） (2023-09-29T17:59:56Z)
• TensAIR: Real-Time Training of Neural Networks from Data-streams [1.409180142531996]
  本稿では,ANNをリアルタイムにトレーニングする最初のOLシステムであるTensAIRについて述べる。 TensAIRは、分散化および非同期アーキテクチャを使用してANNモデルをトレーニングすることで、優れたパフォーマンスとスケーラビリティを実現する。 我々は、(1)ネットワークにデプロイされたワーカノードの数、(2)データバッチが到着するスループットの観点から、TensAIRがほぼ線形なスケールアウト性能を達成することを実証的に実証した。
  論文  参考訳（メタデータ） (2022-11-18T15:11:44Z)
• Assuring the Integrity of Videos from Wireless-based IoT Devices using Blockchain [0.0]
  この技術を利用して、IoTデバイスが捉えたビデオの真偽を、法医学的な調査目的で検証する。 提案されたアプローチは、IoTデバイスを離れる前にビデオフレームのハッシュを計算し、リモートベースステーションに転送する。 ハッシュは、許可されたブロックチェーンプラットフォーム上の複数のノードに格納される。 ビデオが修正された場合、ブロックチェーン上に予め格納されたハッシュを検査して、既存のフレームのハッシュと比較することで、その差が検出される。
  論文  参考訳（メタデータ） (2020-02-28T23:36:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。