Fugu-MT 論文翻訳(概要): Intelligent Replication Management for HDFS Using Reinforcement Learning

論文の概要: Intelligent Replication Management for HDFS Using Reinforcement Learning

arxiv url: http://arxiv.org/abs/2008.08665v1
Date: Wed, 19 Aug 2020 20:53:13 GMT
ステータス: 処理完了
システム内更新日: 2022-10-27 08:57:39.539764
Title: Intelligent Replication Management for HDFS Using Reinforcement Learning
Title（参考訳）: 強化学習を用いたHDFSのインテリジェントレプリケーション管理
Authors: Hyunsung Lee
Abstract要約: クラウドコンピューティングのためのストレージシステムは、多数のコモディティコンピュータを単一の大きなストレージプールにマージする。システムドメインへの強化学習の適用は、既存のものに対する優れた代替手段を提供する可能性がある。
参考スコア（独自算出の注目度）: 0.0
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Storage systems for cloud computing merge a large number of commodity computers into a single large storage pool. It provides high-performance storage over an unreliable, and dynamic network at a lower cost than purchasing and maintaining large mainframe. In this paper, we examine whether it is feasible to apply Reinforcement Learning(RL) to system domain problems. Our experiments show that the RL model is comparable, even outperform other heuristics for block management problem. However, our experiments are limited in terms of scalability and fidelity. Even though our formulation is not very practical,applying Reinforcement Learning to system domain could offer good alternatives to existing heuristics.
Abstract（参考訳）: クラウドコンピューティングのためのストレージシステムは、多数のコモディティコンピュータを単一の大きなストレージプールに統合する。信頼性の低い動的ネットワーク上で、大規模なメインフレームを購入し維持するよりも低コストで高性能なストレージを提供する。本稿では,システム領域問題に強化学習(RL)を適用することが可能かどうかを検討する。実験の結果,RLモデルはブロック管理問題に対する他のヒューリスティックよりも優れていることがわかった。しかし、我々の実験はスケーラビリティと忠実さの点で限られています。私たちの定式化はそれほど実用的ではないが、システムドメインへの強化学習の適用は、既存のヒューリスティックに優れた選択肢を提供する可能性がある。

関連論文リスト

Memory-Enhanced Neural Solvers for Efficient Adaptation in Combinatorial Optimization [6.713974813995327]
本稿では、メモリを活用してニューラルネットワークの適応性を向上させるアプローチであるMementOを提案する。我々は,大規模インスタンス上で全RL自動回帰解法をトレーニングし,MementOが拡張可能で,データ効率がよいことを示す。全体として、MementOは評価された12のタスクのうち11に最先端のタスクをプッシュすることができる。
論文参考訳（メタデータ） (2024-06-24T08:18:19Z)
Secure Federated Learning Across Heterogeneous Cloud and High-Performance Computing Resources -- A Case Study on Federated Fine-tuning of LLaMA 2 [0.7037008937757392]
フェデレートされた学習により、複数のデータ所有者は、大規模または機密性の高いローカルデータセットを転送することなく、堅牢な機械学習モデルを協調的にトレーニングすることができる。 APPFLフレームワークは、クラウドコンピューティング施設と高性能コンピューティングリソースにわたる、エンドツーエンドのセキュアで信頼性の高いフェデレーション学習実験を合理化する。複数のクラウドリソースとスーパーコンピュータを用いたLLaMA 2 7Bモデルの微調整におけるAPPFLの適用例を示す。
論文参考訳（メタデータ） (2024-02-19T16:34:59Z)
Controlling dynamical systems to complex target states using machine learning: next-generation vs. classical reservoir computing [68.8204255655161]
機械学習を用いた非線形力学系の制御は、システムを周期性のような単純な振る舞いに駆動するだけでなく、より複雑な任意の力学を駆動する。まず, 従来の貯水池計算が優れていることを示す。次のステップでは、これらの結果を異なるトレーニングデータに基づいて比較し、代わりに次世代貯水池コンピューティングを使用する別のセットアップと比較する。その結果、通常のトレーニングデータに対して同等のパフォーマンスを提供する一方で、次世代RCは、非常に限られたデータしか利用できない状況において、著しくパフォーマンスが向上していることがわかった。
論文参考訳（メタデータ） (2023-07-14T07:05:17Z)
Solving Large-scale Spatial Problems with Convolutional Neural Networks [88.31876586547848]
大規模空間問題に対する学習効率を向上させるために移動学習を用いる。畳み込みニューラルネットワーク (CNN) は, 信号の小さな窓で訓練できるが, 性能劣化の少ない任意の大信号で評価できる。
論文参考訳（メタデータ） (2023-06-14T01:24:42Z)
Multi-fidelity reinforcement learning framework for shape optimization [0.8258451067861933]
マルチファイダリティ・シミュレーション・セッティングを利用する制御型トランスファー学習フレームワークを提案する。我々の戦略は高レイノルズ数での翼形状最適化問題に対して展開される。本研究は,本フレームワークが他の科学的DRLシナリオに適用可能であることを示す。
論文参考訳（メタデータ） (2022-02-22T20:44:04Z)
Single-Shot Pruning for Offline Reinforcement Learning [47.886329599997474]
深層強化学習(Deep Reinforcement Learning, RL)は、複雑な現実世界の問題を解決するための強力なフレームワークである。この問題に対処するひとつの方法は、必要なパラメータだけを残したニューラルネットワークをプルークすることです。我々は,RLと単発プルーニングのギャップを埋め,オフラインRLに対する一般的なプルーニング手法を提案する。
論文参考訳（メタデータ） (2021-12-31T18:10:02Z)
Federated Learning with Unreliable Clients: Performance Analysis and Mechanism Design [76.29738151117583]
Federated Learning(FL)は、分散クライアント間で効果的な機械学習モデルをトレーニングするための有望なツールとなっている。しかし、低品質のモデルは信頼性の低いクライアントによってアグリゲータサーバにアップロードすることができ、劣化やトレーニングの崩壊につながる。クライアントの信頼できない振る舞いをモデル化し、このようなセキュリティリスクを軽減するための防御メカニズムを提案する。
論文参考訳（メタデータ） (2021-05-10T08:02:27Z)
Clairvoyant Prefetching for Distributed Machine Learning I/O [9.490118207943192]
I/Oは、特にクラウドやスーパーコンピュータのような分散環境において、機械学習トレーニングの大きなボトルネックとして現れています。我々は、新しい機械学習I/O、HDMLPを作成し、I/Oボトルネックに取り組む。 HDMLPは、最先端のアプローチよりも優れたパフォーマンスを提供する、使いやすい、柔軟でスケーラブルなソリューションを提供します。
論文参考訳（メタデータ） (2021-01-21T17:21:42Z)
ES-ENAS: Combining Evolution Strategies with Neural Architecture Search at No Extra Cost for Reinforcement Learning [46.4401207304477]
強化学習(RL)政策設計を目的とした単純なニューラルネットワーク探索(NAS)アルゴリズムES-ENASについて紹介する。複数のタスクに対する90%以上のネットワーク圧縮を実現し,ストレージと計算資源に制限のある移動ロボット工学に特に関心を持つ可能性がある。
論文参考訳（メタデータ） (2021-01-19T02:19:05Z)
SmartDeal: Re-Modeling Deep Network Weights for Efficient Inference and Training [82.35376405568975]
ディープニューラルネットワーク(DNN)は重いパラメータ化を伴い、ストレージ用の外部動的ランダムアクセスメモリ(DRAM)につながります。 We present SmartDeal (SD), a algorithm framework to trade high-cost memory storage/ access for lower-cost compute。 SDは貯蔵および訓練エネルギーの10.56xそして4.48x減少、最先端の訓練のベースラインと比較される無視可能な正確さの損失をもたらすことを示します。
論文参考訳（メタデータ） (2021-01-04T18:54:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。