論文の概要: Training and Serving System of Foundation Models: A Comprehensive Survey
- arxiv url: http://arxiv.org/abs/2401.02643v1
- Date: Fri, 5 Jan 2024 05:27:15 GMT
- ステータス: 処理完了
- システム内更新日: 2024-01-08 16:08:47.190340
- Title: Training and Serving System of Foundation Models: A Comprehensive Survey
- Title（参考訳）: 基礎モデルの訓練・実行システム:総合的な調査
- Authors: Jiahang Zhou, Yanyu Chen, Zicong Hong, Wuhui Chen, Yue Yu, Tao Zhang,
Hui Wang, Chuanfu Zhang, Zibin Zheng
- Abstract要約: 本稿では,様々な観点から基礎モデルを訓練・提供するための手法を幅広く検討する。
ネットワーク、コンピューティング、ストレージといったより詳細な側面を含む、最先端の手法の詳細な分類を提供する。
- 参考スコア（独自算出の注目度）: 32.0115390377174
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Foundation models (e.g., ChatGPT, DALL-E, PengCheng Mind, PanGu-$\Sigma$)
have demonstrated extraordinary performance in key technological areas, such as
natural language processing and visual recognition, and have become the
mainstream trend of artificial general intelligence. This has led more and more
major technology giants to dedicate significant human and financial resources
to actively develop their foundation model systems, which drives continuous
growth of these models' parameters. As a result, the training and serving of
these models have posed significant challenges, including substantial computing
power, memory consumption, bandwidth demands, etc. Therefore, employing
efficient training and serving strategies becomes particularly crucial. Many
researchers have actively explored and proposed effective methods. So, a
comprehensive survey of them is essential for system developers and
researchers. This paper extensively explores the methods employed in training
and serving foundation models from various perspectives. It provides a detailed
categorization of these state-of-the-art methods, including finer aspects such
as network, computing, and storage. Additionally, the paper summarizes the
challenges and presents a perspective on the future development direction of
foundation model systems. Through comprehensive discussion and analysis, it
hopes to provide a solid theoretical basis and practical guidance for future
research and applications, promoting continuous innovation and development in
foundation model systems.
- Abstract（参考訳）: 基礎モデル(例えば、chatgpt、dall-e、pengcheng mind、pangu-$\sigma$)は、自然言語処理や視覚認識といった重要な技術分野において異常な性能を示しており、人工知能の主流となっている。
これにより、多くの大手テクノロジー企業が、これらのモデルのパラメータの継続的な成長を促進する基盤モデルシステムの開発に、重要な人的および財政的資源を注力するようになった。
その結果、これらのモデルのトレーニングと提供は、かなりの計算能力、メモリ消費、帯域幅要求など、重大な課題を提起した。
そのため、効果的な訓練とサービス戦略が特に重要となる。
多くの研究者が効果的手法を積極的に研究し提案している。
したがって、システム開発者や研究者にとって、包括的な調査が不可欠である。
本稿では,様々な観点から基礎モデルを訓練・提供するための手法を幅広く検討する。
ネットワーク、コンピューティング、ストレージといったより細かい側面を含む、これらの最先端のメソッドの詳細な分類を提供する。
さらに,本稿では,その課題を要約し,基礎モデルシステムの今後の展開方向に関する展望を示す。
総合的な議論と分析を通じて、基礎モデルシステムにおける継続的な革新と開発を推進し、将来の研究と応用のための確かな理論的基礎と実践的なガイダンスを提供したいと考えている。
関連論文リスト
- AI Foundation Models in Remote Sensing: A Survey [6.036426846159163]
本稿では,リモートセンシング領域における基礎モデルの包括的調査を行う。
コンピュータビジョンおよびドメイン固有タスクにおけるそれらの応用に基づいて、これらのモデルを分類する。
これらの基盤モデルによって達成された、新しいトレンドと大きな進歩を強調します。
論文 参考訳（メタデータ） (2024-08-06T22:39:34Z) - The Responsible Foundation Model Development Cheatsheet: A Review of Tools & Resources [100.23208165760114]
ファンデーションモデル開発は、急速に成長するコントリビュータ、科学者、アプリケーションを引き付けている。
責任ある開発プラクティスを形成するために、我々はFoundation Model Development Cheatsheetを紹介します。
論文 参考訳（メタデータ） (2024-06-24T15:55:49Z) - A Survey of Latent Factor Models in Recommender Systems [0.0]
本調査は,リコメンデータシステムにおける潜在因子モデルについて系統的にレビューする。
文献は、学習データ、モデルアーキテクチャ、学習戦略、最適化技術をカバーする構造化されたフレームワークを通して検証される。
論文 参考訳（メタデータ） (2024-05-28T11:28:59Z) - A Survey of Resource-efficient LLM and Multimodal Foundation Models [22.23967603206849]
大規模言語モデル(LLM)、ビジョントランスフォーマー(ViT)、拡散、マルチモーダルモデルを含む大規模な基盤モデルは、機械学習ライフサイクル全体に革命をもたらしている。
しかしながら、これらのモデルが提供する汎用性と性能の大幅な進歩は、ハードウェアリソースの面でかなりのコストがかかる。
この調査は、アルゴリズム的側面とシステム的側面の両方を調べることで、そのような研究の重要さを掘り下げるものである。
論文 参考訳（メタデータ） (2024-01-16T03:35:26Z) - Beyond Efficiency: A Systematic Survey of Resource-Efficient Large Language Models [33.50873478562128]
LLM(Large Language Models)は、計算、メモリ、エネルギー、金融資源の高消費に課題をもたらす。
本調査は, LLMの資源効率向上を目的とした多種多様な手法を概観することにより, これらの課題を体系的に解決することを目的としている。
論文 参考訳（メタデータ） (2024-01-01T01:12:42Z) - A Survey of Reasoning with Foundation Models [235.7288855108172]
推論は、交渉、医療診断、刑事捜査など、様々な現実世界の環境において重要な役割を担っている。
本稿では,推論に適応する基礎モデルを提案する。
次に、基礎モデルにおける推論能力の出現の背後にある潜在的な将来方向を掘り下げる。
論文 参考訳（メタデータ） (2023-12-17T15:16:13Z) - On Efficient Training of Large-Scale Deep Learning Models: A Literature
Review [90.87691246153612]
ディープラーニングの分野は特にコンピュータビジョン(CV)、自然言語処理(NLP)、音声などにおいて大きな進歩を遂げている。
大量のデータに基づいてトレーニングされた大規模なモデルを使用することは、実用的なアプリケーションにとって大きな可能性を秘めている。
計算能力の需要が増大する中で、ディープラーニングモデルの訓練の加速技術に関する包括的な要約が期待されている。
論文 参考訳（メタデータ） (2023-04-07T11:13:23Z) - Foundation Models for Decision Making: Problems, Methods, and
Opportunities [124.79381732197649]
大規模に多様なデータに基づいて事前訓練された基礎モデルは、幅広いビジョンと言語タスクにおいて異常な能力を示してきた。
ファンデーションモデルをトレーニングし、他のエージェントと対話し、長期的な推論を行うための新しいパラダイムが生まれている。
基礎モデルと意思決定の交わりにおける研究は、強力な新しいシステムを作るための大きな約束である。
論文 参考訳（メタデータ） (2023-03-07T18:44:07Z) - Causal Reasoning Meets Visual Representation Learning: A Prospective
Study [117.08431221482638]
解釈可能性の欠如、堅牢性、分布外一般化が、既存の視覚モデルの課題となっている。
人間レベルのエージェントの強い推論能力にインスパイアされた近年では、因果推論パラダイムの開発に多大な努力が注がれている。
本稿では,この新興分野を包括的に概観し,注目し,議論を奨励し,新たな因果推論手法の開発の急激さを先導することを目的とする。
論文 参考訳（メタデータ） (2022-04-26T02:22:28Z) - On the Opportunities and Risks of Foundation Models [256.61956234436553]
これらのモデルの基礎モデルは、批判的に中心的だが不完全な性格を根底から立証するものです。
本報告では,基礎モデルの可能性とリスクについて概説する。
これらの疑問に対処するためには、基礎モデルに関する重要な研究の多くは、深い学際的なコラボレーションが必要であると信じている。
論文 参考訳（メタデータ） (2021-08-16T17:50:08Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。