論文の概要: An Open-Source, Event-Driven Pipeline for Cryptocurrency Market Data: Ingestion, Forecasting, and On-Chain Fraud Detection

• arxiv url: http://arxiv.org/abs/2608.29973v1
• Date: Sun, 30 Aug 2026 18:59:08 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-01 18:31:31.136756
• Title: An Open-Source, Event-Driven Pipeline for Cryptocurrency Market Data: Ingestion, Forecasting, and On-Chain Fraud Detection
• Title（参考訳）: 暗号化市場データのためのオープンソースのイベント駆動パイプライン - 取り込み、予測、オンチェーンフラッド検出
• Abstract要約: 本稿では,クラウドネイティブなイベント駆動システムの振る舞いを再現する,完全なオープンソースパイプラインについて述べる。 アーキテクチャ、モデリング手法、および結果のメトリクスについて報告する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Cryptocurrency markets generate high-frequency, multi-source data that is expensive to work with unless a team already has commercial-grade streaming and warehousing infrastructure in place. This paper describes a fully open-source pipeline that reproduces the behavior of a cloud-native, event-driven system -- file arrival triggering a message, a message triggering compute -- entirely on commodity hardware, using Apache Kafka and a filesystem-watching poller in place of managed cloud triggers. The pipeline partitions historical Gemini exchange data into hourly and minutely files, ingests them asynchronously through two independently grouped Kafka consumers (one for audit logging, one for Spark-triggered ETL), and lands cleaned output in a PostgreSQL warehouse with historical and aggregated schemas plus asset-specific data marts. We use the resulting Bitcoin data mart to compare a seasonal ARIMA model against a single-layer LSTM network for price forecasting, and separately apply Random Forest and Gradient Boosting classifiers, with additional engineered features, to the public Ethereum fraud detection benchmark introduced by Farrugia et al. We report the architecture, the modeling methodology, and the resulting metrics, and we are explicit about the limitations of comparing forecasts issued at different horizons and of evaluating fraud detection on a static, already-labeled dataset.
• Abstract（参考訳）: 暗号通貨市場は、商用グレードのストリーミングとウェアハウスのインフラがすでに存在しなければ、作業に費用がかかる高周波のマルチソースデータを生成する。 本稿では,クラウドネイティブなイベント駆動システム – メッセージトリガのファイル到着,メッセージトリガ計算 – を,すべてコモディティハードウェア上で,Apache Kafkaとファイルシステム監視ポーラを使用して,マネージドクラウドトリガの代わりに再現する,完全なオープンソースパイプラインについて説明する。 パイプラインは、歴史的なGemini交換データを時間単位と分単位のファイルに分割し、2つの独立したグループ化されたKafkaコンシューマ(監査ログ用、1つはSparkトリガETL用)を通じて非同期に取り込み、履歴と集約されたスキーマとアセット固有のデータマートを備えたPostgreSQLウェアハウスにクリーンな出力を配置する。 結果のBitcoinデータマートを使用して、季節ごとのARIMAモデルを、価格予測のために単一層LSTMネットワークと比較し、Random ForestとGradient Boostingの分類器を、Farrugiaらによって導入された公開Ethereum不正検出ベンチマークに別々に適用する。

関連論文リスト

• Sarus: Privacy-Preserving Multi-Vendor Perception Fusion via Homomorphic Encryption [0.20313422213594776]
  私たちは、ホモモルフィック暗号(HE)によるマルチベンダ認識融合のためのプライバシ保護フレームワークであるSarusを提示する。 各ベンダーは、共有空間格子上のコンパクトガウスモーメントベクトルとして検出を符号化し、暗号化されたペイロードを融合サーバに送信する。 融合した結果は復号され、クラスワイドのビンマージによって最終検出に再構成される。
  論文  参考訳（メタデータ） (2026-07-21T14:38:52Z)
• DataClaw0: Agentic Tailoring Multimodal Data from Raw Streams [48.434767119224375]
  本稿ではエージェントデータ処理へのパラダイムシフトを提案する。 このような高次の能力をトレーニングする際のデータ不足のボトルネックを克服するために、2段階のパイプラインを設計する。 $textDataClaw_0$-9B モデルは、グループ相対ポリシー最適化によるスーパービジョンファインチューニングをシナジする。
  論文  参考訳（メタデータ） (2026-06-19T11:31:43Z)
• ISOMORPH: A Supply Chain Digital Twin for Simulation, Dataset Generation, and Forecasting Benchmarks [6.803642669632622]
  マルチエケロンロジスティクスネットワークの最初のパブリックデジタルツインであるISOMORPHを紹介する。 シミュレータは、離散時間で有向ルーティンググラフを前進させる。 マルコフ連鎖に符号化された3つの保護法が検証ツールとして機能する。
  論文  参考訳（メタデータ） (2026-05-12T21:31:32Z)
• GO-GenZip: Goal-Oriented Generative Sampling and Hybrid Compression [50.76941829813458]
  現在のネットワークデータテレメトリパイプラインは、複数の分散ソースから中央アグリゲータへの、きめ細かいキーパフォーマンス指標(KPI)の巨大なストリームで構成されている。 本研究は、目標指向の観点からネットワークテレメトリを再設計する、ジェネレーティブAI(GenAI)駆動サンプリングとハイブリッド圧縮フレームワークを提案する。
  論文  参考訳（メタデータ） (2026-03-20T16:33:15Z)
• Causify DataFlow: A Framework For High-performance Machine Learning Stream Computing [0.0]
  我々は、無制限の時系列データ上に機械学習システムを構築し、テストし、デプロイするための計算フレームワークであるDataFlowを紹介する。 従来のデータサイエンスは有限データセットを前提としており、バッチプロトタイプからストリーミングプロダクションシステムに移行する際には、かなりの再実装が必要である。 DataFlowは、ポイント・イン・タイムの理想性を持つ非循環グラフに基づいて、これらの問題を統一された実行モデルで解決する。
  論文  参考訳（メタデータ） (2025-12-30T04:24:04Z)
• Advanced fraud detection using machine learning models: enhancing financial transaction security [0.3370543514515051]
  本研究では、現実世界のデータを用いて、クレジットカード取引異常や不正を検知するエンドツーエンドで機能豊富な機械学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2025-06-12T15:59:25Z)
• CBW: Towards Dataset Ownership Verification for Speaker Verification via Clustering-based Backdoor Watermarking [85.68235482145091]
  大規模音声データセットは貴重な知的財産となった。 本稿では,新しいデータセットのオーナシップ検証手法を提案する。 我々のアプローチはクラスタリングに基づくバックドア透かし(CBW)を導入している。 我々は,ベンチマークデータセットに対する広範な実験を行い,本手法の有効性とロバスト性を検証した。
  論文  参考訳（メタデータ） (2025-03-02T02:02:57Z)
• PeFAD: A Parameter-Efficient Federated Framework for Time Series Anomaly Detection [51.20479454379662]
  私たちはaを提案します。 フェデレートされた異常検出フレームワークであるPeFADは、プライバシーの懸念が高まっている。 我々は、4つの実際のデータセットに対して広範な評価を行い、PeFADは既存の最先端ベースラインを最大28.74%上回っている。
  論文  参考訳（メタデータ） (2024-06-04T13:51:08Z)
• Fact Checking Beyond Training Set [64.88575826304024]
  本稿では,レトリバーリーダが,あるドメインのラベル付きデータに基づいてトレーニングし,別のドメインで使用する場合,性能劣化に悩まされることを示す。 本稿では,レトリバー成分を分散シフトに対して頑健にするための逆アルゴリズムを提案する。 次に、これらのデータセットから8つの事実チェックシナリオを構築し、モデルと強力なベースラインモデルのセットを比較します。
  論文  参考訳（メタデータ） (2024-03-27T15:15:14Z)
• TensAIR: Real-Time Training of Neural Networks from Data-streams [1.409180142531996]
  本稿では,ANNをリアルタイムにトレーニングする最初のOLシステムであるTensAIRについて述べる。 TensAIRは、分散化および非同期アーキテクチャを使用してANNモデルをトレーニングすることで、優れたパフォーマンスとスケーラビリティを実現する。 我々は、(1)ネットワークにデプロイされたワーカノードの数、(2)データバッチが到着するスループットの観点から、TensAIRがほぼ線形なスケールアウト性能を達成することを実証的に実証した。
  論文  参考訳（メタデータ） (2022-11-18T15:11:44Z)
• Scalable Teacher Forcing Network for Semi-Supervised Large Scale Data Streams [16.171151152904617]
  本稿では,Weakly Supervised Scalable Teacher Forcing Network(WeScatterNet)を提案する。 WeScatterNetはApache Sparkの分散コンピューティングプラットフォームの下で開発されており、並列コンピューティングの段階以降のモデル圧縮のためのデータフリーモデル融合戦略を採用している。 WeScatterNetの性能は、ラベル比がわずか25%の6つの大規模データストリーム問題において数値的に評価される。
  論文  参考訳（メタデータ） (2021-06-26T03:37:40Z)
• CREPO: An Open Repository to Benchmark Credal Network Algorithms [78.79752265884109]
  クレダルネットワークは、確率質量関数の集合であるクレダルに基づく不正確な確率的グラフィカルモデルである。 CREMAと呼ばれるJavaライブラリが最近リリースされ、クレダルネットワークをモデル化し、処理し、クエリする。 我々は,これらのモデル上での推論タスクの正確な結果とともに,合成クレダルネットワークのオープンリポジトリであるcrrepoを提案する。
  論文  参考訳（メタデータ） (2021-05-10T07:31:59Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。