論文の概要: Effectiveness and predictability of in-network storage cache for scientific workflows

• arxiv url: http://arxiv.org/abs/2307.11069v1
• Date: Thu, 20 Jul 2023 17:52:19 GMT
• ステータス: 処理完了
• システム内更新日: 2023-07-21 11:49:58.221824
• Title: Effectiveness and predictability of in-network storage cache for scientific workflows
• Title（参考訳）: 科学ワークフローにおけるネットワーク内記憶キャッシュの有効性と予測可能性
• Authors: Caitlin Sim, Kesheng Wu, Alex Sim, Inder Monga, Chin Guok, Frank Wurthwein, Diego Davila, Harvey Newman, Justas Balcas
• Abstract要約: 大規模な科学的コラボレーションでは、複数の科学者が異なる分析をしながら同じファイルにアクセスしていることが多い。 これらのデータアクセスは、距離によって長いレイテンシを持ち、広域ネットワーク上で利用可能な帯域幅を占有する。 広域ネットワークトラフィックとデータアクセス遅延を低減するため、地域データストレージキャッシュがインストールされている。
• 参考スコア（独自算出の注目度）: 2.5854108621739664
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large scientific collaborations often have multiple scientists accessing the same set of files while doing different analyses, which create repeated accesses to the large amounts of shared data located far away. These data accesses have long latency due to distance and occupy the limited bandwidth available over the wide-area network. To reduce the wide-area network traffic and the data access latency, regional data storage caches have been installed as a new networking service. To study the effectiveness of such a cache system in scientific applications, we examine the Southern California Petabyte Scale Cache for a high-energy physics experiment. By examining about 3TB of operational logs, we show that this cache removed 67.6% of file requests from the wide-area network and reduced the traffic volume on wide-area network by 12.3TB (or 35.4%) an average day. The reduction in the traffic volume (35.4%) is less than the reduction in file counts (67.6%) because the larger files are less likely to be reused. Due to this difference in data access patterns, the cache system has implemented a policy to avoid evicting smaller files when processing larger files. We also build a machine learning model to study the predictability of the cache behavior. Tests show that this model is able to accurately predict the cache accesses, cache misses, and network throughput, making the model useful for future studies on resource provisioning and planning.
• Abstract（参考訳）: 大規模な科学的なコラボレーションでは、複数の科学者が同じファイルセットにアクセスし、異なる分析を行い、遠くにある大量の共有データに繰り返しアクセスする。 これらのデータアクセスは、距離による遅延が長く、広域ネットワーク上で利用可能な帯域幅が限られている。 広域ネットワークトラフィックとデータアクセス遅延を低減するため、新しいネットワークサービスとして地域データストレージキャッシュがインストールされている。 科学的応用におけるキャッシュシステムの有効性を検討するため,南カリフォルニアのペタバイトスケールキャッシュを用いて高エネルギー物理実験を行った。 約3TBの運用ログを調べることで、このキャッシュはワイドエリアネットワークから67.6%のファイルリクエストを削除し、ワイドエリアネットワーク上のトラフィック量を平均12.3TB(35.4%)削減した。 トラフィック量(35.4%)の削減は、より大きなファイルが再利用される可能性が低いため、ファイル数(67.6%)の削減よりも少ない。 このデータアクセスパターンの違いにより、キャッシュシステムは、より大きなファイルを処理する際に小さなファイルを削除しないようにポリシーを実装している。 また、キャッシュ動作の予測可能性を研究するための機械学習モデルを構築します。 テストの結果、このモデルはキャッシュアクセス、キャッシュミス、ネットワークスループットを正確に予測することができ、将来のリソースのプロビジョニングと計画に関する研究に役立ちます。

関連論文リスト

• Efficient Inference of Vision Instruction-Following Models with Elastic Cache [76.44955111634545]
  我々は,命令追従型大規模視覚言語モデルの効率的なデプロイのための新しい戦略であるElastic Cacheを紹介する。 本稿では,冗長キャッシュを具現化する重要なキャッシュマージ戦略を提案する。 命令符号化では,キャッシュの重要性を評価するために周波数を利用する。 様々なLVLMの結果は、Elastic Cacheが効率を向上するだけでなく、言語生成における既存のプルーニングメソッドよりも優れていることを示している。
  論文  参考訳（メタデータ） (2024-07-25T15:29:05Z)
• SCALM: Towards Semantic Caching for Automated Chat Services with Large Language Models [15.742472622602557]
  セマンティック分析を重視し,重要なキャッシュエントリやパターンを識別する新しいキャッシュアーキテクチャであるSCALMを提案する。 評価の結果,SCALMはキャッシュヒット率を増大させ,LLMChatサービスの運用コストを低減させることがわかった。
  論文  参考訳（メタデータ） (2024-05-24T08:16:22Z)
• Communication-Efficient Graph Neural Networks with Probabilistic Neighborhood Expansion Analysis and Caching [59.8522166385372]
  大規模グラフ上でのグラフニューラルネットワーク(GNN)のトレーニングと推論は、GNNの登場以来活発に研究されている。 本稿では,分散環境におけるノードワイドサンプリングを用いたGNNによるミニバッチ学習と推論について述べる。 分割された特徴データを扱うために,従来のSALIENTシステムを拡張したSALIENT++を提案する。
  論文  参考訳（メタデータ） (2023-05-04T21:04:01Z)
• Access Trends of In-network Cache for Scientific Data [7.6903106323063675]
  南カリフォルニア・ペタバイト・スケールキャッシュと呼ばれるフェデレーションストレージキャッシュのアクセストレースについて検討した。 この分散ストレージキャッシュは,研究期間の一部において,ネットワークトラフィック量を2.35倍に削減できることを示す。
  論文  参考訳（メタデータ） (2022-05-11T15:22:00Z)
• Accelerating Deep Learning Classification with Error-controlled Approximate-key Caching [72.50506500576746]
  我々は、近似キーキャッシングと名付けた新しいキャッシングパラダイムを提案する。 近似キャッシュはDL推論の負荷を軽減し、システムのスループットを向上するが、近似誤差を導入する。 我々は古典的なLRUと理想的なキャッシュのキャッシュシステム性能を解析的にモデル化し、期待される性能のトレース駆動評価を行い、提案手法の利点を最先端の類似キャッシュと比較した。
  論文  参考訳（メタデータ） (2021-12-13T13:49:11Z)
• Phoebe: Reuse-Aware Online Caching with Reinforcement Learning for Emerging Storage Models [8.932281655601495]
  Phoebeは、最適なオンラインキャッシュのための再利用対応強化学習フレームワークである。 実験の結果,PhoebeはLRUと最先端のオンライン学習ベースのキャッシュポリシとのキャッシュミス率のギャップを埋めることができた。
  論文  参考訳（メタデータ） (2020-11-13T22:55:15Z)
• Learning Forward Reuse Distance [1.8777512961936749]
  近年のディープラーニング技術の進歩は、新しいインテリジェントキャッシュ置換ポリシーの設計を可能にする。 LSTMに基づく強力なリカレントニューラルネットワークモデルにより,キャッシュトレースのみを入力として,高い予測精度が得られることがわかった。 その結果、新しいキャッシュポリシは、最先端の実用的なポリシを19.2%改善し、平均してOPTよりも2.3%高いミス比しか発生しないことが示された。
  論文  参考訳（メタデータ） (2020-07-31T05:57:50Z)
• HourNAS: Extremely Fast Neural Architecture Search Through an Hourglass Lens [125.39301622207674]
  ニューラルアーキテクチャサーチ(英: Neural Architecture Search、NAS)は、アーキテクチャを自動設計する手法である。 本稿では,この問題に対する時間ガラスインスパイアされたアプローチ (HourNAS) を提案する。 ImageNetの実験結果によると、1つのGPUで3時間(0.1日)しか使用できないため、HourNASは77.0%のTop-1精度を実現するアーキテクチャを検索できる。
  論文  参考訳（メタデータ） (2020-05-29T08:35:32Z)
• Reinforcement Learning for Caching with Space-Time Popularity Dynamics [61.55827760294755]
  キャッシングは次世代ネットワークにおいて重要な役割を果たすと想定されている。 コンテンツをインテリジェントにプリフェッチし、保存するためには、キャッシュノードは、何といつキャッシュするかを学ばなければならない。 本章では、近似キャッシングポリシー設計のための多目的強化学習に基づくアプローチを提案する。
  論文  参考訳（メタデータ） (2020-05-19T01:23:51Z)
• A Non-Stationary Bandit-Learning Approach to Energy-Efficient Femto-Caching with Rateless-Coded Transmission [98.47527781626161]
  小セルネットワークにおける共同キャッシュと送信のためのリソース割り当て問題について検討する。 次に、各放送ラウンドの送信電力レベルとともに、キャッシュからファイルを選択するという問題を定式化する。 最先端の研究とは対照的に、提案手法は時変統計特性を持つネットワークに特に適している。
  論文  参考訳（メタデータ） (2020-04-13T09:07:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。