論文の概要: Performance Optimization and Comparative Analysis of Generative AI Models on Advanced Accelerators
- arxiv url: http://arxiv.org/abs/2607.05400v1
- Date: Tue, 05 May 2026 07:42:25 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-07-27 00:46:12.98472
- Title: Performance Optimization and Comparative Analysis of Generative AI Models on Advanced Accelerators
- Title(参考訳): 高性能加速器を用いた生成AIモデルの性能最適化と比較解析
- Abstract要約: LLM(Large Language Models)や拡散モデルなどの生成AIモデルは、幅広いタスクにわたって印象的なパフォーマンスを示している。
これらの進歩にもかかわらず、メモリ要求の大幅な増加、推論遅延の延長、計算要求の大幅な増加、ハードウェアコストの高騰により、デプロイメントは依然として困難である。
本稿では,様々な下流タスクを対象とした複数の生成AIモデルの性能最適化と比較分析に焦点をあてた系統的研究を行う。
- 参考スコア(独自算出の注目度): 4.567639212657573
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Generative AI models, such as Large Language Models (LLMs) and diffusion models, have demonstrated impressive performance across a wide range of tasks. Despite these advances, deployment remains challenging due to substantial memory requirements, extended inference latency, significant computational demands, and high hardware costs. These issues are further complicated when evaluating models across heterogeneous platforms, where differences in numerical formats, memory bandwidths, and software stacks interact with model architecture and workload characteristics in complex ways. To address these challenges, we present a systematic study focused on performance optimization and comparative analysis of several Generative AI models across diverse downstream tasks. This work introduces a novel mixed-precision post-training quantization evaluation, examines fine-tuning strategies, and assesses performance across modern high-performance computing (HPC) systems and advanced accelerators.
- Abstract(参考訳): LLM(Large Language Models)や拡散モデルなどの生成AIモデルは、幅広いタスクにわたって印象的なパフォーマンスを示している。
これらの進歩にもかかわらず、メモリ要求の大幅な増加、推論遅延の延長、計算要求の大幅な増加、ハードウェアコストの高騰により、デプロイメントは依然として困難である。
これらの問題は、数値形式、メモリ帯域幅、ソフトウェアスタックの違いが複雑な方法でモデルアーキテクチャやワークロード特性と相互作用する不均一なプラットフォームでモデルを評価する際にさらに複雑になる。
これらの課題に対処するために、さまざまな下流タスクを対象としたパフォーマンス最適化とジェネレーティブAIモデルの比較分析に焦点を当てた体系的研究を提案する。
本研究は、新しい混合精度ポストトレーニング量子化評価を導入し、微調整戦略を検証し、現代のハイパフォーマンスコンピューティング(HPC)システムと先進アクセラレータのパフォーマンスを評価する。
関連論文リスト
- A Surrogate-based Approach for Fast Multi-objective Architectural Refactoring Optimization [0.9430947207126281]
我々は回帰手法に基づく代理モデルを構築し,解析ツールの出力を計算コストを大幅に削減した。
実験結果から,サロゲートモデルにより最大30%の節約が可能であることが示唆された。
全体として、サロゲートモデルは、多目的アーキテクチャ最適化をより大きな空間や複雑なアーキテクチャモデルに拡張するための有望なアプローチである。
論文 参考訳(メタデータ) (2026-09-07T12:03:10Z) - AlignMamba-2: Enhancing Multimodal Fusion and Sentiment Analysis with Modality-Aware Mamba [56.52470564147458]
マルチモーダル融合と感情分析のための効率的かつ効率的なフレームワークである textbfAlignMamba-2 を提案する。
提案手法では, 最適輸送距離と最大平均離散度の両方を用いてモデルを正規化する2つのアライメント戦略を導入する。
さらに重要なことは、モダリティに特有かつモダリティに偏ったエキスパートによるMixture-of-Expertsアーキテクチャを採用したModality-Aware Mamba層を設計することです。
論文 参考訳(メタデータ) (2026-03-19T03:47:21Z) - Modèles de Substitution pour les Modèles à base d'Agents : Enjeux, Méthodes et Applications [0.0]
エージェントベースモデル(ABM)は、局所的な相互作用から生じる創発的な現象を研究するために広く用いられている。
ABMの複雑さは、リアルタイム意思決定と大規模シナリオ分析の可能性を制限する。
これらの制限に対処するため、サロゲートモデルはスパースシミュレーションデータから近似を学習することで効率的な代替手段を提供する。
論文 参考訳(メタデータ) (2025-05-17T08:55:33Z) - Understanding and Optimizing Multi-Stage AI Inference Pipelines [11.254219071373319]
HERMESは不均一な多段LPM推論実行シミュレータである。
HERMESは、以前のフレームワークとは異なり、複数のモデルを同時に実行する異種クライアントをサポートする。
我々は、推論ステージがエンドツーエンドのレイテンシ、ハイブリッドパイプラインの最適戦略、リモートKVキャッシュ検索のアーキテクチャ的影響について検討する。
論文 参考訳(メタデータ) (2025-04-14T00:29:49Z) - Exploring Training and Inference Scaling Laws in Generative Retrieval [50.82554729023865]
生成検索は、検索を自己回帰生成タスクとして再構成し、大きな言語モデルがクエリから直接ターゲット文書を生成する。
生成的検索におけるトレーニングと推論のスケーリング法則を体系的に検討し,モデルのサイズ,トレーニングデータスケール,推論時間計算が協調的に性能に与える影響について検討した。
論文 参考訳(メタデータ) (2025-03-24T17:59:03Z) - A Survey on Inference Optimization Techniques for Mixture of Experts Models [50.40325411764262]
大規模Mixture of Experts(MoE)モデルは、条件計算によるモデル容量と計算効率の向上を提供する。
これらのモデル上で推論をデプロイし実行することは、計算資源、レイテンシ、エネルギー効率において大きな課題を示す。
本調査では,システムスタック全体にわたるMoEモデルの最適化手法について分析する。
論文 参考訳(メタデータ) (2024-12-18T14:11:15Z) - Inference Optimization of Foundation Models on AI Accelerators [68.24450520773688]
トランスフォーマーアーキテクチャを備えた大規模言語モデル(LLM)を含む強力な基礎モデルは、ジェネレーティブAIの新たな時代を支えている。
モデルパラメータの数が数十億に達すると、実際のシナリオにおける推論コストと高いレイテンシーが排除される。
このチュートリアルでは、AIアクセラレータを用いた補完推論最適化テクニックに関する包括的な議論を行っている。
論文 参考訳(メタデータ) (2024-07-12T09:24:34Z) - Majority Kernels: An Approach to Leverage Big Model Dynamics for Efficient Small Model Training [32.154166415680066]
蒸留、圧縮、量子化といった手法は、高性能な大きなモデルを利用してより小さな性能のモデルを誘導するのに役立つ。
本稿では、単一トレーニングランが同時に、より大きなパフォーマンスモデルをトレーニングし、より小さなデプロイメントモデルを導出できるという仮説を考察する。
論文 参考訳(メタデータ) (2024-02-07T17:07:41Z) - A Comprehensive Performance Study of Large Language Models on Novel AI
Accelerators [2.88634411143577]
大規模言語モデル(LLM)は、いくつかの課題に対処するための有望なアプローチと考えられている。
専門のAIアクセラレータハードウェアシステムは、最近、AIアプリケーションの高速化に利用できるようになった。
論文 参考訳(メタデータ) (2023-10-06T21:55:57Z) - Scaling Vision-Language Models with Sparse Mixture of Experts [128.0882767889029]
提案手法は, 等価計算コストの高密度モデルに対して, 様々なベンチマークにおいて, 最先端性能を実現することができることを示す。
我々の研究は、MoEモデルのトレーニングの安定化、モデル解釈可能性に対するMoEの影響の理解、ビジョン言語モデルをスケールする際の計算性能間のトレードオフのバランスに関する貴重な洞察を提供する。
論文 参考訳(メタデータ) (2023-03-13T16:00:31Z) - Interpretable Hyperspectral AI: When Non-Convex Modeling meets
Hyperspectral Remote Sensing [57.52865154829273]
ハイパースペクトルイメージング、別名画像分光法は、地球科学リモートセンシング(RS)におけるランドマーク技術です。
過去10年間で、主に熟練した専門家によってこれらのハイパースペクトル(HS)製品を分析するための取り組みが行われています。
このため、さまざまなHS RSアプリケーションのためのよりインテリジェントで自動的なアプローチを開発することが急務です。
論文 参考訳(メタデータ) (2021-03-02T03:32:10Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。