論文の概要: Celeritas: Fast Optimizer for Large Dataflow Graphs

• arxiv url: http://arxiv.org/abs/2208.00184v1
• Date: Sat, 30 Jul 2022 10:50:14 GMT
• ステータス: 処理完了
• システム内更新日: 2022-08-02 14:23:52.058266
• Title: Celeritas: Fast Optimizer for Large Dataflow Graphs
• Title（参考訳）: Celeritas: 大規模データフローグラフの高速最適化
• Authors: Hengwei Xu, Yong Liao, Haiyong Xie, Pengyuan Zhou
• Abstract要約: 大規模モデルのデバイス配置を最適化するフレームワークであるCereritasを提案する。 我々は多数の大規模モデル上でCereritasをデプロイし、評価する実験を行う。 その結果、セレリタスは配置ポリシーの生成時間を26.4%削減するだけでなく、ほとんどの先進的な手法と比較して34.2%改善することがわかった。
• 参考スコア（独自算出の注目度）: 4.955616834570854
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The rapidly enlarging neural network models are becoming increasingly challenging to run on a single device. Hence model parallelism over multiple devices is critical to guarantee the efficiency of training large models. Recent proposals fall short either in long processing time or poor performance. Therefore, we propose Celeritas, a fast framework for optimizing device placement for large models. Celeritas employs a simple but efficient model parallelization strategy in the Standard Evaluation, and generates placement policies through a series of scheduling algorithms. We conduct experiments to deploy and evaluate Celeritas on numerous large models. The results show that Celeritas not only reduces the placement policy generation time by 26.4\% but also improves the model running time by 34.2\% compared to most advanced methods.
• Abstract（参考訳）: 急速に拡大するニューラルネットワークモデルは、単一のデバイスで実行するのがますます難しくなっている。 したがって、複数のデバイス上のモデル並列性は、大規模モデルのトレーニングの効率を保証するために重要である。 最近の提案は、処理時間が長いかパフォーマンスが悪いかのいずれかで不足している。 そこで我々は,大規模モデルのデバイス配置を最適化するための高速なフレームワークであるCereritasを提案する。 Celeritasは、標準評価において単純だが効率的なモデル並列化戦略を採用し、一連のスケジューリングアルゴリズムを通じて配置ポリシーを生成する。 我々はCereritasを多数の大規模モデル上で展開および評価する実験を行う。 その結果、celeritasは配置ポリシー生成時間を26.4\%削減するだけでなく、他の先進的な手法と比較してモデル実行時間を34.2\%向上させることがわかった。

関連論文リスト

• Get more for less: Principled Data Selection for Warming Up Fine-Tuning in LLMs [18.242110417706]
  この研究は、膨大なラベルのないオープンデータから事前訓練された言語モデルへの活用と選択に焦点を当てている。 特定の条件下での微調整タスクに対するこのアプローチの最適性を示す。 提案手法は既存の手法よりもはるかに高速で,GPU時間内に数百万のサンプルにスケールアップする。
  論文  参考訳（メタデータ） (2024-05-05T00:08:00Z)
• A Two-Phase Recall-and-Select Framework for Fast Model Selection [13.385915962994806]
  本稿では,2相モデル選択フレームワークを提案する。 これは、ベンチマークデータセット上でモデルのトレーニングパフォーマンスを活用することにより、堅牢なモデルを選択する効率を高めることを目的としている。 提案手法は,従来のベースライン法に比べて約3倍の速度でハイパフォーマンスモデルの選択を容易にすることが実証された。
  論文  参考訳（メタデータ） (2024-03-28T14:44:44Z)
• Majority Kernels: An Approach to Leverage Big Model Dynamics for Efficient Small Model Training [32.154166415680066]
  蒸留、圧縮、量子化といった手法は、高性能な大きなモデルを利用してより小さな性能のモデルを誘導するのに役立つ。 本稿では、単一トレーニングランが同時に、より大きなパフォーマンスモデルをトレーニングし、より小さなデプロイメントモデルを導出できるという仮説を考察する。
  論文  参考訳（メタデータ） (2024-02-07T17:07:41Z)
• Refined Coreset Selection: Towards Minimal Coreset Size under Model Performance Constraints [69.27190330994635]
  コアセットの選択は、計算コストの削減とディープラーニングアルゴリズムのデータ処理の高速化に強力である。 本稿では,モデル性能とコアセットサイズに対する最適化優先順序を維持する革新的な手法を提案する。 実験的に、広範な実験によりその優位性が確認され、しばしばより小さなコアセットサイズでモデル性能が向上する。
  論文  参考訳（メタデータ） (2023-11-15T03:43:04Z)
• Improved Distribution Matching for Dataset Condensation [91.55972945798531]
  本稿では,分布マッチングに基づく新しいデータセット凝縮法を提案する。 提案手法は,計算資源の少ない従来の最適化指向手法よりも優れている。
  論文  参考訳（メタデータ） (2023-07-19T04:07:33Z)
• Speculative Decoding with Big Little Decoder [108.95187338417541]
  Big Little Decoder (BiLD) は、幅広いテキスト生成アプリケーションの推論効率と遅延を改善するフレームワークである。 NVIDIA T4 GPUでは、当社のフレームワークは最大2.12倍の高速化を実現し、生成品質の最小化を実現している。 私たちのフレームワークは完全にプラグアンドプレイで、トレーニングプロセスやモデルアーキテクチャの変更なしに適用できます。
  論文  参考訳（メタデータ） (2023-02-15T18:55:29Z)
• How to train your draGAN: A task oriented solution to imbalanced classification [15.893327571516016]
  本稿では,新しいアーキテクチャであるdraGANを用いた,ユニークでパフォーマンスを重視したデータ生成戦略を提案する。 サンプルは、実際のデータと類似性ではなく、分類モデルの性能を最適化する目的で生成される。 経験的に、draGANの優位性を示すと同時に、いくつかの欠点も強調する。
  論文  参考訳（メタデータ） (2022-11-18T07:37:34Z)
• Data Summarization via Bilevel Optimization [48.89977988203108]
  シンプルだが強力なアプローチは、小さなサブセットのデータを操作することだ。 本研究では,コアセット選択を基数制約付き双レベル最適化問題として定式化する汎用コアセットフレームワークを提案する。
  論文  参考訳（メタデータ） (2021-09-26T09:08:38Z)
• Conservative Objective Models for Effective Offline Model-Based Optimization [78.19085445065845]
  計算設計の問題は、合成生物学からコンピュータアーキテクチャまで、様々な場面で発生している。 本研究では,分布外入力に対する接地的目標の実際の値を低くする目的関数のモデルを学習する手法を提案する。 COMは、様々なMBO問題に対して、既存のメソッドの実装と性能の面では単純である。
  論文  参考訳（メタデータ） (2021-07-14T17:55:28Z)
• Top-KAST: Top-K Always Sparse Training [50.05611544535801]
  トレーニングを通して一定間隔を保存するTop-KASTを提案する。 確立したImageNetベンチマークのトレーニングモデルでは,従来の作業と同等かそれ以上に動作可能であることを示す。 ImageNetの結果に加えて、言語モデリングの分野においても、我々のアプローチを実証しています。
  論文  参考訳（メタデータ） (2021-06-07T11:13:05Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。