論文の概要: ParaDRAM: A Cross-Language Toolbox for Parallel High-Performance Delayed-Rejection Adaptive Metropolis Markov Chain Monte Carlo Simulations

• arxiv url: http://arxiv.org/abs/2008.09589v1
• Date: Fri, 21 Aug 2020 17:29:24 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-26 22:21:40.337535
• Title: ParaDRAM: A Cross-Language Toolbox for Parallel High-Performance Delayed-Rejection Adaptive Metropolis Markov Chain Monte Carlo Simulations
• Title（参考訳）: ParaDRAM:Parallel High-Performance Delayed-Rejection Adaptive Metropolis Markov Chain Monte Carlo Simulationのためのクロスプラットフォームツールボックス
• Authors: Amir Shahmoradi, Fatemeh Bagheri
• Abstract要約: ParaDRAM (ParaDRAM) は、マルコフ・チェイン・メトロポリス・ソフトウェアである。 そこで我々はParaDRAMで実装されたいくつかの新しい技術について論じ,その良質な混合を自動的かつ動的に保証する。 そこで本研究では,ParaDRAMで使用されるデータ記憶方式の実装について論じる。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We present ParaDRAM, a high-performance Parallel Delayed-Rejection Adaptive Metropolis Markov Chain Monte Carlo software for optimization, sampling, and integration of mathematical objective functions encountered in scientific inference. ParaDRAM is currently accessible from several popular programming languages including C/C++, Fortran, MATLAB, Python and is part of the ParaMonte open-source project with the following principal design goals: 1. full automation of Monte Carlo simulations, 2. interoperability of the core library with as many programming languages as possible, thus, providing a unified Application Programming Interface and Monte Carlo simulation environment across all programming languages, 3. high-performance 4. parallelizability and scalability of simulations from personal laptops to supercomputers, 5. virtually zero-dependence on external libraries, 6. fully-deterministic reproducibility of simulations, 7. automatic comprehensive reporting and post-processing of the simulation results. We present and discuss several novel techniques implemented in ParaDRAM to automatically and dynamically ensure the good-mixing and the diminishing-adaptation of the resulting pseudo-Markov chains from ParaDRAM. We also discuss the implementation of an efficient data storage method used in ParaDRAM that reduces the average memory and storage requirements of the algorithm by, a factor of 4 for simple simulation problems, to an order of magnitude and more for sampling complex high-dimensional mathematical objective functions. Finally, we discuss how the design goals of ParaDRAM can help users readily and efficiently solve a variety of machine learning and scientific inference problems on a wide range of computing platforms.
• Abstract（参考訳）: 本研究では,並列遅延除去型適応メトロポリス・マルコフ連鎖モンテカルロソフトウェアparadramを提案し,科学的推論に遭遇する数学的目的関数の最適化,サンプリング,統合を行う。 ParaDRAMは現在、C/C++、Fortran、MATLAB、Pythonなどいくつかの人気のあるプログラミング言語からアクセスでき、ParaMonteオープンソースプロジェクトの一部であり、以下の設計目標がある。 1.モンテカルロシミュレーションの完全自動化 2. できるだけ多くのプログラミング言語とコアライブラリの相互運用性により、すべてのプログラミング言語に統一されたアプリケーションプログラミングインタフェースとモンテカルロシミュレーション環境を提供する。 3.高性能 4.パソコンからスーパーコンピュータへのシミュレーションの並列性とスケーラビリティ 5. 外部ライブラリの事実上ゼロ依存。 シミュレーションの完全決定論的再現性 7. シミュレーション結果の総合的な自動報告と後処理。 そこで我々はParaDRAMで実装されたいくつかの新しい手法について,ParaDRAMから得られる擬似マルコフ連鎖の良好な混合と適応の減少を自動的かつ動的に保証する手法について論じる。 また,paradramで使用される効率的なデータ記憶法の実装について,複雑な高次元数学的目的関数をサンプリングするために,単純なシミュレーション問題に対する4の係数を用いてアルゴリズムの平均記憶量と記憶量要件を1桁以上削減する。 最後に,ParaDRAMの設計目標が,幅広いコンピューティングプラットフォーム上でのさまざまな機械学習および科学的推論問題を,ユーザが迅速かつ効率的に解決する上で,どのように役立つかを論じる。

関連論文リスト

• AI Metropolis: Scaling Large Language Model-based Multi-Agent Simulation with Out-of-order Execution [15.596642151634319]
  AI Metropolisは、注文外実行スケジューリングを導入することで、LLMエージェントシミュレーションの効率を改善するシミュレーションエンジンである。 我々の評価では,グローバル同期を用いた標準並列シミュレーションにより,AI Metropolisは1.3倍から4.15倍の高速化を実現している。
  論文  参考訳（メタデータ） (2024-11-05T21:54:14Z)
• DeeR-VLA: Dynamic Inference of Multimodal Large Language Models for Efficient Robot Execution [114.61347672265076]
  実世界のロボットのためのMLLMの開発は、ロボットプラットフォームで利用可能な計算能力とメモリ容量が典型的に限られているため、難しい。 活性化MLLMのサイズを自動的に調整するロボットビジョンランゲージ・アクション・モデル(DeeR)の動的早期実行フレームワークを提案する。 DeeR は LLM の計算コストを 5.2-6.5x に削減し、GPU のメモリを 2-6x に削減した。
  論文  参考訳（メタデータ） (2024-11-04T18:26:08Z)
• Memory Is All You Need: An Overview of Compute-in-Memory Architectures for Accelerating Large Language Model Inference [2.9302211589186244]
  大規模言語モデル(LLM)は自然言語処理を変換し、機械が人間のようなテキストを生成し、意味のある会話を行うことを可能にする。 計算と記憶能力の発達はムーアの法則の廃止によってさらに悪化している。 コンピュート・イン・メモリ(CIM)技術は、メモリ内でアナログ計算を直接実行することにより、AI推論を加速するための有望なソリューションを提供する。
  論文  参考訳（メタデータ） (2024-06-12T16:57:58Z)
• Waymax: An Accelerated, Data-Driven Simulator for Large-Scale Autonomous Driving Research [76.93956925360638]
  Waymaxは、マルチエージェントシーンにおける自動運転のための新しいデータ駆動シミュレータである。 TPU/GPUなどのハードウェアアクセラレータで完全に動作し、トレーニング用のグラフ内シミュレーションをサポートする。 我々は、一般的な模倣と強化学習アルゴリズムのスイートをベンチマークし、異なる設計決定に関するアブレーション研究を行った。
  論文  参考訳（メタデータ） (2023-10-12T20:49:15Z)
• Scaling Studies for Efficient Parameter Search and Parallelism for Large Language Model Pre-training [2.875838666718042]
  並列および分散機械学習アルゴリズムの開発,特に5個のエンコーダデコーダLLMのデータの処理と事前学習の最適化に着目する。 我々は3つのMLメソッド間の関係を定量化するための詳細な研究を行い、特にMicrosoft DeepSpeed Zero Redundancyのステージを探索した。
  論文  参考訳（メタデータ） (2023-10-09T02:22:00Z)
• In Situ Framework for Coupling Simulation and Machine Learning with Application to CFD [51.04126395480625]
  近年、流体力学計算を容易にする機械学習(ML)の多くの成功例が報告されている。 シミュレーションが大きくなるにつれて、従来のオフライン学習のための新しいトレーニングデータセットの生成は、I/Oとストレージのボトルネックを生み出します。 この作業は、この結合を単純化し、異種クラスタでのその場トレーニングと推論を可能にするソリューションを提供する。
  論文  参考訳（メタデータ） (2023-06-22T14:07:54Z)
• Edge-MoE: Memory-Efficient Multi-Task Vision Transformer Architecture with Task-level Sparsity via Mixture-of-Experts [60.1586169973792]
  M$3$ViTは、Mix-of-experts (MoE)を導入した最新のマルチタスクViTモデルである。 MoEは精度の向上と80%以上の削減計算を実現しているが、FPGAに効率的なデプロイを行う上での課題は残されている。 Edge-MoEと呼ばれる私たちの研究は、アーキテクチャの革新の集合を伴って、マルチタスクのViTのための最初のエンドツーエンドFPGAアクセラレータを導入するという課題を解決します。
  論文  参考訳（メタデータ） (2023-05-30T02:24:03Z)
• Energy-efficient Task Adaptation for NLP Edge Inference Leveraging Heterogeneous Memory Architectures [68.91874045918112]
  Adapter-ALBERTは、様々なタスクにわたる最大データ再利用のための効率的なモデル最適化である。 検証されたNLPエッジアクセラレータ上でシミュレーションを行うことにより、モデルを不均一なオンチップメモリアーキテクチャにマッピングする利点を実証する。
  論文  参考訳（メタデータ） (2023-03-25T14:40:59Z)
• One-step regression and classification with crosspoint resistive memory arrays [62.997667081978825]
  高速で低エネルギーのコンピュータは、エッジでリアルタイム人工知能を実現するために要求されている。 ワンステップ学習は、ボストンの住宅のコスト予測と、MNIST桁認識のための2層ニューラルネットワークのトレーニングによって支援される。 結果は、クロスポイントアレイ内の物理計算、並列計算、アナログ計算のおかげで、1つの計算ステップで得られる。
  論文  参考訳（メタデータ） (2020-05-05T08:00:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。