論文の概要: Cost-Effective Methodology for Complex Tuning Searches in HPC: Navigating Interdependencies and Dimensionality

• arxiv url: http://arxiv.org/abs/2403.08131v1
• Date: Tue, 12 Mar 2024 23:39:43 GMT
• ステータス: 処理完了
• システム内更新日: 2024-03-14 16:22:45.128397
• Title: Cost-Effective Methodology for Complex Tuning Searches in HPC: Navigating Interdependencies and Dimensionality
• Title（参考訳）: HPCにおける複雑なチューニング探索のためのコスト効果手法 相互依存のナビゲーションと次元性
• Authors: Adrian Perez Dieguez, Min Choi, Mahmut Okyay, Mauro Del Ben, Bryan M. Wong, Khaled Z. Ibrahim
• Abstract要約: この複雑さは、ルーチン内のパラメータの微調整と、それら間の潜在的な相互依存性から生じる。 パラメータやルーチン間の相互依存を精査する代わりに、実践者はそれぞれのルーチンに対して独立したチューニングサーチを実行するというジレンマに直面します。 本手法は,実世界のシナリオにおける性能向上を最大化しながら,計算可能性を確保するために,これらの手法を適応・洗練する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Tuning searches are pivotal in High-Performance Computing (HPC), addressing complex optimization challenges in computational applications. The complexity arises not only from finely tuning parameters within routines but also potential interdependencies among them, rendering traditional optimization methods inefficient. Instead of scrutinizing interdependencies among parameters and routines, practitioners often face the dilemma of conducting independent tuning searches for each routine, thereby overlooking interdependence, or pursuing a more resource-intensive joint search for all routines. This decision is driven by the consideration that some interdependence analysis and high-dimensional decomposition techniques in literature may be prohibitively expensive in HPC tuning searches. Our methodology adapts and refines these methods to ensure computational feasibility while maximizing performance gains in real-world scenarios. Our methodology leverages a cost-effective interdependence analysis to decide whether to merge several tuning searches into a joint search or conduct orthogonal searches. Tested on synthetic functions with varying levels of parameter interdependence, our methodology efficiently explores the search space. In comparison to Bayesian-optimization-based full independent or fully joint searches, our methodology suggested an optimized breakdown of independent and merged searches that led to final configurations up to 8% more accurate, reducing the search time by up to 95%. When applied to GPU-offloaded Real-Time Time-Dependent Density Functional Theory (RT-TDDFT), an application in computational materials science that challenges modern HPC autotuners, our methodology achieved an effective tuning search. Its adaptability and efficiency extend beyond RT-TDDFT, making it valuable for related applications in HPC.
• Abstract（参考訳）: チューニング検索はハイパフォーマンスコンピューティング(HPC)において重要であり、計算アプリケーションにおける複雑な最適化課題に対処する。 この複雑さは、ルーチン内でパラメータを微調整するだけでなく、それら間の潜在的な相互依存から生じ、従来の最適化手法を非効率にする。 パラメータやルーチン間の相互依存を精査する代わりに、実践者は、それぞれのルーチンに対して独立したチューニングサーチを行うというジレンマに直面し、それによって相互依存を見落としたり、すべてのルーチンをよりリソース集約的な共同サーチを追求する。 この決定は、文献における相互依存解析や高次元分解技術は、HPCチューニング探索において違法に高価である可能性があるという考察から導かれる。 本手法は,実世界のシナリオにおける性能向上を最大化しながら,計算可能性を確保するために,これらの手法を適応・洗練する。 提案手法は,コスト効率の高い相互依存解析を利用して,複数の調律探索を共同探索にマージするか,直交探索を行えばよいかを決定する。 パラメータ相互依存性の異なる合成関数を用いて,本手法は探索空間を効率的に探索する。 ベイジアン最適化に基づく完全独立検索や完全共同検索と比較して,提案手法は独立検索と合併検索を最適化し,最終構成を最大8%精度良くし,検索時間を最大95%削減した。 現代のHPCオートチューナーに挑戦する計算材料科学の応用であるRT-TDDFT(Real-Outloaded Real-Time Time-Dependent Density Functional Theory)に適用した場合,本手法は効率的なチューニング検索を実現した。 その適応性と効率はRT-TDDFTを超えて拡張され、HPCの関連アプリケーションに価値がある。

関連論文リスト

• Deep Memory Search: A Metaheuristic Approach for Optimizing Heuristic Search [0.0]
  本稿では,メタヒューリスティック検索をメモリ駆動プロセスとしてモデル化するDeep Heuristic Search (DHS) という新しい手法を提案する。 DHSは複数の探索層とメモリベースの探索探索機構を用いて、大きな動的探索空間をナビゲートする。
  論文  参考訳（メタデータ） (2024-10-22T14:16:49Z)
• Switchable Decision: Dynamic Neural Generation Networks [98.61113699324429]
  本稿では,各データインスタンスのリソースを動的に割り当てることで,推論を高速化するスイッチブルな決定を提案する。 提案手法は, 同一の精度を維持しながら, 推論時のコスト低減に有効である。
  論文  参考訳（メタデータ） (2024-05-07T17:44:54Z)
• HomOpt: A Homotopy-Based Hyperparameter Optimization Method [10.11271414863925]
  一般化加法モデル(GAM)とホモトピー最適化を組み合わせたデータ駆動型手法であるHomOptを提案する。 本稿では,HomOptが任意のメソッドの性能と有効性を向上し,連続離散およびカテゴリー領域空間上での最適収束を高速化する方法について述べる。
  論文  参考訳（メタデータ） (2023-08-07T06:01:50Z)
• A Reinforcement Learning Approach for Scheduling Problems With Improved Generalization Through Order Swapping [0.0]
  JSSP は NP-hard COP のカテゴリに分類される。 近年,COPの解法にDRLを用いる研究が注目され,解の質や計算効率の面で有望な結果が示されている。 特に、制約されたジョブのディスパッチにおいてよく機能すると考えられるポリシ・グラディエントパラダイムを採用するPPOアルゴリズムを採用する。
  論文  参考訳（メタデータ） (2023-02-27T16:45:04Z)
• Pareto-aware Neural Architecture Generation for Diverse Computational Budgets [94.27982238384847]
  既存の手法は、しばしば各目標予算に対して独立したアーキテクチャ探索プロセスを実行する。 提案するニューラルアーキテクチャジェネレータ(PNAG)は,任意の予算に対して,推論によって最適なアーキテクチャを動的に生成する。 このような共同探索アルゴリズムは、全体の検索コストを大幅に削減するだけでなく、結果も改善する。
  論文  参考訳（メタデータ） (2022-10-14T08:30:59Z)
• Auto-FedRL: Federated Hyperparameter Optimization for Multi-institutional Medical Image Segmentation [48.821062916381685]
  Federated Learning(FL)は、明示的なデータ共有を避けながら協調的なモデルトレーニングを可能にする分散機械学習技術である。 本稿では,Auto-FedRLと呼ばれる,効率的な強化学習(RL)に基づくフェデレーションハイパーパラメータ最適化アルゴリズムを提案する。 提案手法の有効性は,CIFAR-10データセットと2つの実世界の医用画像セグメンテーションデータセットの不均一なデータ分割に対して検証される。
  論文  参考訳（メタデータ） (2022-03-12T04:11:42Z)
• $\beta$-DARTS: Beta-Decay Regularization for Differentiable Architecture Search [85.84110365657455]
  本研究では,DARTSに基づくNAS探索過程を正規化するために,ベータデカイと呼ばれるシンプルだが効率的な正規化手法を提案する。 NAS-Bench-201の実験結果から,提案手法は探索過程の安定化に有効であり,探索されたネットワークを異なるデータセット間で転送しやすくする。
  論文  参考訳（メタデータ） (2022-03-03T11:47:14Z)
• Automatic tuning of hyper-parameters of reinforcement learning algorithms using Bayesian optimization with behavioral cloning [0.0]
  強化学習(RL)では、学習エージェントが収集したデータの情報内容は多くのハイパーパラメータの設定に依存する。 本研究では,ベイズ最適化を用いた自律的ハイパーパラメータ設定手法を提案する。 実験は、他の手作業による調整や最適化ベースのアプローチと比較して、有望な結果を示している。
  論文  参考訳（メタデータ） (2021-12-15T13:10:44Z)
• DHA: End-to-End Joint Optimization of Data Augmentation Policy, Hyper-parameter and Architecture [81.82173855071312]
  本稿では,AutoMLコンポーネントを統合したエンドツーエンドソリューションを提案する。 Dhaは、様々なデータセット、特にセルベースの検索空間を持つImageNetの77.4%の精度で、最先端(SOTA)結果を達成する。
  論文  参考訳（メタデータ） (2021-09-13T08:12:50Z)
• Policy Information Capacity: Information-Theoretic Measure for Task Complexity in Deep Reinforcement Learning [83.66080019570461]
  課題の難易度について,環境にとらわれない,アルゴリズムにとらわれない2つの定量的指標を提案する。 これらの指標は、様々な代替案よりも、正規化タスク可解性スコアとの相関が高いことを示す。 これらのメトリクスは、鍵設計パラメータの高速かつ計算効率の良い最適化にも使用できる。
  論文  参考訳（メタデータ） (2021-03-23T17:49:50Z)
• Anytime Behavior of Inexact TSP Solvers and Perspectives for Automated Algorithm Selection [0.0]
  トラベリング・サレスパーソン・プロブレム(TSP)は、最もよく知られたNPハード最適化問題の1つである。 我々は、不正確なTSPソルバの任意の動作に対処することで、既存のベンチマーク研究を拡張した。 その結果、解法の性能ランキングは、集中した近似品質に大きく依存していることが判明した。
  論文  参考訳（メタデータ） (2020-05-27T11:36:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。