論文の概要: Data Dams: A Novel Framework for Regulating and Managing Data Flow in Large-Scale Systems

• arxiv url: http://arxiv.org/abs/2502.03218v1
• Date: Wed, 05 Feb 2025 14:34:44 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-06 14:26:25.438056
• Title: Data Dams: A Novel Framework for Regulating and Managing Data Flow in Large-Scale Systems
• Title（参考訳）: Data Dams: 大規模システムにおけるデータフローの制御と管理のための新しいフレームワーク
• Authors: Mohamed Aly Bouke, Azizol Abdullah, Korhan Cengiz, Nikola Ivković, Ivan Mihaljević, Mudathir Ahmed Mohamud, Ahmed Kowrina,
• Abstract要約: 本稿では,データインフロー,ストレージ,アウトフローを最適化する新しいフレームワークであるData Damsを紹介する。 物理的なダム機構にインスパイアされたこのフレームワークは、インテリジェントなスライスコントロールと予測分析を使用してデータフローを制御している。
• 参考スコア（独自算出の注目度）: 3.140270055912864
• License:
• Abstract: In the era of big data, managing dynamic data flows efficiently is crucial as traditional storage models struggle with real-time regulation and risk overflow. This paper introduces Data Dams, a novel framework designed to optimize data inflow, storage, and outflow by dynamically adjusting flow rates to prevent congestion while maximizing resource utilization. Inspired by physical dam mechanisms, the framework employs intelligent sluice controls and predictive analytics to regulate data flow based on system conditions such as bandwidth availability, processing capacity, and security constraints. Simulation results demonstrate that the Data Dam significantly reduces average storage levels (371.68 vs. 426.27 units) and increases total outflow (7999.99 vs. 7748.76 units) compared to static baseline models. By ensuring stable and adaptive outflow rates under fluctuating data loads, this approach enhances system efficiency, mitigates overflow risks, and outperforms existing static flow control strategies. The proposed framework presents a scalable solution for dynamic data management in large-scale distributed systems, paving the way for more resilient and efficient real-time processing architectures.
• Abstract（参考訳）: ビッグデータの時代において、従来のストレージモデルはリアルタイムの規制とリスクオーバーフローに苦しむため、動的データフローの効率的な管理が不可欠である。 本稿では,データインフロー,ストレージ,アウトフローを動的に調整し,資源利用を最大化しながら混雑を防止し,データインフロー,ストレージ,アウトフローを最適化する新しいフレームワークであるData Damsを紹介する。 物理的なダム機構にインスパイアされたこのフレームワークは、インテリジェントなスライス制御と予測分析を使用して、帯域幅の可用性、処理能力、セキュリティ制約といったシステム条件に基づいてデータフローを制御する。 シミュレーションの結果、Data Damは平均ストレージレベル(371.68対426.27対426.27対7999.99対7748.76対)を静的ベースラインモデルと比較して大幅に減少させ、総アウトフロー(7999.99対7748.76対)を増加させている。 データ負荷変動下での安定かつ適応的な流出速度を確保することにより、システム効率を高め、オーバーフローリスクを軽減し、既存の静的フロー制御戦略を上回る性能を発揮する。 提案するフレームワークは,大規模分散システムにおける動的データ管理のスケーラブルなソリューションを提供し,よりレジリエンスで効率的なリアルタイム処理アーキテクチャを実現する。

関連論文リスト

• A Scalable Approach to Covariate and Concept Drift Management via Adaptive Data Segmentation [0.562479170374811]
  多くの現実世界のアプリケーションでは、継続的機械学習(ML)システムは不可欠だが、データドリフトが困難である。 伝統的なドリフト適応法は典型的にはアンサンブル技術を用いてモデルを更新し、しばしばドリフトされた歴史データを破棄する。 ドリフトしたデータをモデルトレーニングプロセスに明示的に組み込むことは、モデルの精度と堅牢性を大幅に向上させる、と我々は主張する。
  論文  参考訳（メタデータ） (2024-11-23T17:35:23Z)
• FlowTS: Time Series Generation via Rectified Flow [67.41208519939626]
  FlowTSは、確率空間における直線輸送を伴う整流フローを利用するODEベースのモデルである。 非条件設定では、FlowTSは最先端のパフォーマンスを達成し、コンテキストFIDスコアはStockとETThデータセットで0.019と0.011である。 条件設定では、太陽予測において優れた性能を達成している。
  論文  参考訳（メタデータ） (2024-11-12T03:03:23Z)
• Adaptive Data Optimization: Dynamic Sample Selection with Scaling Laws [59.03420759554073]
  本稿では,オンライン手法でデータ分散を最適化するアルゴリズムであるAdaptive Data Optimization (ADO)を導入する。 ADOは外部の知識やプロキシモデル、モデル更新の変更を必要としない。 ADOは、ドメインごとのスケーリング法則を使用して、トレーニング中の各ドメインの学習ポテンシャルを推定し、データ混合を調整する。
  論文  参考訳（メタデータ） (2024-10-15T17:47:44Z)
• Physics-guided Active Sample Reweighting for Urban Flow Prediction [75.24539704456791]
  都市フロー予測は、バス、タクシー、ライド駆動モデルといった交通サービスのスループットを見積もる、微妙な時間的モデリングである。 最近の予測解は、物理学誘導機械学習(PGML)の概念による改善をもたらす。 我々は、PN(atized Physics-guided Network)を開発し、P-GASR(Physical-guided Active Sample Reweighting)を提案する。
  論文  参考訳（メタデータ） (2024-07-18T15:44:23Z)
• How more data can hurt: Instability and regularization in next-generation reservoir computing [0.0]
  我々は、この現象のより極端なバージョンが、力学系のデータ駆動モデルに現れることを示した。 トレーニングデータの多いフローマップの表現がより良くなったにもかかわらず、NGRCは不条件の積分器を採用でき、安定性を損なうことが判明した。
  論文  参考訳（メタデータ） (2024-07-11T16:22:13Z)
• Erasing Undesirable Influence in Diffusion Models [51.225365010401006]
  拡散モデルは高品質な画像を生成するのに非常に効果的であるが、NSFW(職場では安全ではない)コンテンツの意図しない生成のようなリスクを引き起こす。 本研究では,データに関連付けられた不要な情報を取り除き,保存データに対する拡散モデルの実用性を維持するために設計されたアルゴリズムであるEraseDiffを紹介する。
  論文  参考訳（メタデータ） (2024-01-11T09:30:36Z)
• Networked Online Learning for Control of Safety-Critical Resource-Constrained Systems based on Gaussian Processes [9.544146562919792]
  本稿では,ガウス過程の回帰に基づく新しいネットワーク型オンライン学習手法を提案する。 本稿では,送信チャネルの帯域制限と時間遅延を考慮した,ローカルシステムとクラウド間の効率的なデータ伝送方式を提案する。
  論文  参考訳（メタデータ） (2022-02-23T13:12:12Z)
• Control of a fly-mimicking flyer in complex flow using deep reinforcement learning [0.12891210250935145]
  複雑な流れにおけるフライスケールフレキシブル翼フライア制御のための計算流体構造力学(CFD-CSD)と深部強化学習(deep-RL)の統合フレームワークを開発した。 正確なデータを得るために、CFD-CSDを用いて力学を正確に予測する。 十分なデータを得るために、得られたデータを様々な状況で再現する新しいデータ再生方法が考案された。
  論文  参考訳（メタデータ） (2021-11-04T04:48:56Z)
• Short-Term Load Forecasting Using Time Pooling Deep Recurrent Neural Network [0.0]
  再生可能エネルギー源と電気自動車などの新興負荷をスマートグリッドに統合することは、配電系統管理に不確実性をもたらす。デマンドサイドマネジメント(DSM)は、不確実性を低減するためのアプローチの一つである。 Nonintrusive Load Monitoring (NILM) のようなアプリケーションは DSM をサポートすることができるが、高解像度データの正確な予測は必要である。 高いボラティリティのため、一戸建て住宅のような単一負荷の場合、これは難しい。
  論文  参考訳（メタデータ） (2021-09-26T05:20:48Z)
• DySMHO: Data-Driven Discovery of Governing Equations for Dynamical Systems via Moving Horizon Optimization [77.34726150561087]
  本稿では,スケーラブルな機械学習フレームワークである移動水平最適化(DySMHO)による動的システムの発見について紹介する。 DySMHOは、基底関数の大きな辞書から基礎となる支配方程式を逐次学習する。 標準非線形力学系の例は、DySMHOが規則を正確に回復できることを示すために用いられる。
  論文  参考訳（メタデータ） (2021-07-30T20:35:03Z)
• The Impact of Data on the Stability of Learning-Based Control- Extended Version [63.97366815968177]
  本稿では,Lyapunovをベースとした,認証制御性能に対するデータの影響の定量化手法を提案する。 ガウス過程を通じて未知系の力学をモデル化することにより、モデルの不確実性と安定性条件の満足度の間の相互関係を決定できる。
  論文  参考訳（メタデータ） (2020-11-20T19:10:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。