Fugu-MT 論文翻訳(概要): Accelerating AI Performance using Anderson Extrapolation on GPUs

論文の概要: Accelerating AI Performance using Anderson Extrapolation on GPUs

arxiv url: http://arxiv.org/abs/2410.19460v1
Date: Fri, 25 Oct 2024 10:45:17 GMT
ステータス: 翻訳完了
システム内更新日: 2024-10-28 13:37:08.993880
Title: Accelerating AI Performance using Anderson Extrapolation on GPUs
Title（参考訳）: Anderson外挿によるGPU上でのAIパフォーマンスの高速化
Authors: Saleem Abdul Fattah Ahmed Al Dajani, David E. Keyes,
Abstract要約: Anderson外挿を利用したAI性能向上のための新しい手法を提案する。混合ペナルティが生じるクロスオーバー点を特定することにより、反復を収束に還元することに焦点を当てる。高速コンピューティングの領域におけるスケーラビリティと効率性の拡張を動機とした,トレーニングと推論の両面での大幅な改善を示す。
参考スコア（独自算出の注目度）: 2.114333871769023
License:
Abstract: We present a novel approach for accelerating AI performance by leveraging Anderson extrapolation, a vector-to-vector mapping technique based on a window of historical iterations. By identifying the crossover point where a mixing penalty is incurred, the method focuses on reducing iterations to convergence, with fewer more compute-intensive but generally cacheable iterations, balancing speed and memory usage with accuracy and algorithmic stability, respectively. We demonstrate significant improvements, in both training and inference, motivated by scalability and efficiency extensions to the realm of high-performance computing (HPC).
Abstract（参考訳）: 本稿では,ベクター・ツー・ベクターマッピング手法であるアンダーソン補間を利用して,AIの性能向上のための新しい手法を提案する。混合ペナルティが生じるクロスオーバーポイントを特定することで、より計算集約的だが一般的にキャッシュ可能なイテレーションを減らし、スピードとメモリ使用率をそれぞれ精度とアルゴリズム安定性のバランスをとることに集中する。我々は,ハイパフォーマンスコンピューティング(HPC)の領域に拡張されたスケーラビリティと効率性によって動機付けられた,トレーニングと推論の両方において,大幅な改善を示す。

関連論文リスト

Faster WIND: Accelerating Iterative Best-of-$N$ Distillation for LLM Alignment [81.84950252537618]
本稿では,反復的BONDと自己プレイアライメントの統一的なゲーム理論接続を明らかにする。 WINレート支配(WIN rate Dominance, WIND)という新しいフレームワークを構築し, 正規化利率支配最適化のためのアルゴリズムを多数提案する。
論文参考訳（メタデータ） (2024-10-28T04:47:39Z)
Sparser is Faster and Less is More: Efficient Sparse Attention for Long-Range Transformers [58.5711048151424]
SPARSEK Attention(SPARSEK Attention)は、計算およびメモリ障害を克服するために設計された、新しいスパースアテンション機構である。提案手法では,各クエリに対して一定数のKVペアを選択するために,スコアリングネットワークと差別化可能なトップkマスク演算子であるSPARSEKを統合する。実験結果から,SPARSEK注意は従来のスパースアテンション法よりも優れていた。
論文参考訳（メタデータ） (2024-06-24T15:55:59Z)
Adaptive Federated Learning Over the Air [108.62635460744109]
オーバー・ザ・エア・モデル・トレーニングの枠組みの中で,適応勾配法,特にAdaGradとAdamの連合バージョンを提案する。解析の結果,AdaGrad に基づくトレーニングアルゴリズムは $mathcalO(ln(T) / T 1 - frac1alpha の速度で定常点に収束することがわかった。
論文参考訳（メタデータ） (2024-03-11T09:10:37Z)
Ordering for Non-Replacement SGD [7.11967773739707]
我々は,アルゴリズムの非置換形式に対する収束率を改善する順序付けを求める。我々は,強い凸関数と凸関数のステップサイズを一定かつ小さくするための最適順序付けを開発する。さらに、注文とミニバッチを組み合わせることで、より複雑なニューラルネットワークにも適用できます。
論文参考訳（メタデータ） (2023-06-28T00:46:58Z)
Performance Embeddings: A Similarity-based Approach to Automatic Performance Optimization [71.69092462147292]
パフォーマンス埋め込みは、アプリケーション間でパフォーマンスチューニングの知識伝達を可能にする。本研究では, 深層ニューラルネットワーク, 密度およびスパース線形代数合成, および数値風速予測ステンシルのケーススタディにおいて, この伝達チューニング手法を実証する。
論文参考訳（メタデータ） (2023-03-14T15:51:35Z)
Accelerating Real-Time Coupled Cluster Methods with Single-Precision Arithmetic and Adaptive Numerical Integration [3.469636229370366]
単精度算術は,実時間シミュレーションの記憶コストと乗算コストを約2倍に削減することを示した。水クラスターの試験シミュレーションにおいて, 最大14因子のさらなる高速化は, 素直な実装によって得られる。
論文参考訳（メタデータ） (2022-05-10T21:21:49Z)
Accelerated Componentwise Gradient Boosting using Efficient Data Representation and Momentum-based Optimization [1.3159777131162964]
コンポーネントワイズ強化(CWB)は、解釈可能性を保証するためのベースラーナーとして追加モデルを構築する。 CWBの欠点の1つは、メモリと実行時の計算複雑性である。本稿では,CWBの特性を損なうことなく,これらの問題を克服する2つの手法を提案する。
論文参考訳（メタデータ） (2021-10-07T14:49:52Z)
Nesterov Accelerated ADMM for Fast Diffeomorphic Image Registration [63.15453821022452]
ディープラーニングに基づくアプローチの最近の発展は、DiffIRのサブ秒間実行を実現している。本稿では,中間定常速度場を機能的に構成する簡易な反復スキームを提案する。次に、任意の順序の正規化項を用いて、これらの速度場に滑らかさを課す凸最適化モデルを提案する。
論文参考訳（メタデータ） (2021-09-26T19:56:45Z)
Fast and Robust Iterative Closest Point [32.42799285301607]
イテレーティブ・クローズト・ポイント(ICP)は、2つの点集合間の剛性登録のための基本技術である。 Sparse ICPのような最近の研究は、計算速度を犠牲にしてスパース性最適化によって堅牢性を達成する。本稿では,古典的な点対点ICPを最大化最小化(MM)アルゴリズムとして扱えることを示す。
論文参考訳（メタデータ） (2020-07-15T11:32:53Z)
Efficient Learning of Generative Models via Finite-Difference Score Matching [111.55998083406134]
有限差分で任意の順序方向微分を効率的に近似する汎用戦略を提案する。我々の近似は関数評価にのみ関係しており、これは並列で実行でき、勾配計算は行わない。
論文参考訳（メタデータ） (2020-07-07T10:05:01Z)
Differentiable Adaptive Computation Time for Visual Reasoning [4.7518908453572]
本稿では,DACTと呼ばれる適応計算を実現するための新しいアテンションベースアルゴリズムを提案する。特に,広く知られているMACアーキテクチャへの応用について検討する。 CLEVRデータセットにおいて、使用するステップの最大数を増やすことで、最高の非適応MACであっても精度を上回ることを示す。
論文参考訳（メタデータ） (2020-04-27T13:20:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。