論文の概要: Reducing the Barriers to Entry for Foundation Model Training

• arxiv url: http://arxiv.org/abs/2404.08811v2
• Date: Mon, 14 Oct 2024 17:03:06 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-15 15:03:42.869373
• Title: Reducing the Barriers to Entry for Foundation Model Training
• Title（参考訳）: 基礎モデルトレーニングへの導入障壁の削減
• Authors: Paolo Faraboschi, Ellis Giles, Justin Hotard, Konstanty Owczarek, Andrew Wheeler,
• Abstract要約: 最近、世界は機械学習と人工知能のアプリケーションに対する需要が前例のない加速を目撃した。 この需要の急増は、サプライチェーンの基盤技術スタックに多大な負担を課している。 技術エコシステム全体にわたるAIトレーニング基盤の根本的な変更を提案する。
• 参考スコア（独自算出の注目度）: 0.28756346738878485
• License:
• Abstract: The world has recently witnessed an unprecedented acceleration in demands for Machine Learning and Artificial Intelligence applications. This spike in demand has imposed tremendous strain on the underlying technology stack in supply chain, GPU-accelerated hardware, software, datacenter power density, and energy consumption. If left on the current technological trajectory, future demands show insurmountable spending trends, further limiting market players, stifling innovation, and widening the technology gap. To address these challenges, we propose a fundamental change in the AI training infrastructure throughout the technology ecosystem. The changes require advancements in supercomputing and novel AI training approaches, from high-end software to low-level hardware, microprocessor, and chip design, while advancing the energy efficiency required by a sustainable infrastructure. This paper presents the analytical framework that quantitatively highlights the challenges and points to the opportunities to reduce the barriers to entry for training large language models.
• Abstract（参考訳）: 最近、世界は機械学習と人工知能のアプリケーションに対する需要が前例のない加速を目撃した。 この需要の急増は、サプライチェーン、GPUが加速するハードウェア、ソフトウェア、データセンターの電力密度、エネルギー消費の基盤技術スタックに大きな負担をかけている。 現在の技術軌道に留まれば、将来の需要は、過剰な支出傾向を示し、市場プレーヤをさらに制限し、イノベーションを緩和し、テクノロジーのギャップを広げる。 これらの課題に対処するため、テクノロジーエコシステム全体にわたってAIトレーニングインフラストラクチャーの根本的な変更を提案する。 この変更は、高性能ソフトウェアから低レベルのハードウェア、マイクロプロセッサ、チップ設計まで、持続可能なインフラに必要なエネルギー効率を向上しながら、スーパーコンピュータと新しいAIトレーニングアプローチの進歩を必要とする。 本稿では,大規模言語モデルの学習における参入障壁を減らし,課題を定量的に強調する分析フレームワークを提案する。

関連論文リスト

• AI-Driven Innovations in Modern Cloud Computing [2.3931689873603594]
  本稿では,AIとクラウドコンピューティングがアプリケーションモダナイズのためのトランスフォーメーション機能を実現するためにどのように相互作用するかを考察する。 AIとクラウドの両技術の組み合わせによって、テクノロジプロバイダはインテリジェントなリソース管理、予測分析、自動デプロイメントとスケーリングを活用できるようになった。
  論文  参考訳（メタデータ） (2024-10-21T12:45:10Z)
• From Cloud to Edge: Rethinking Generative AI for Low-Resource Design Challenges [7.1341189275030645]
  私たちは、エッジで設計するための生成AIの可能性、課題、そして有望なアプローチを検討します。 目的は、設計問題に対する目覚ましいソリューションを作成する際に、生成AIのパワーを活用することである。
  論文  参考訳（メタデータ） (2024-02-20T03:59:27Z)
• Causal Reasoning: Charting a Revolutionary Course for Next-Generation AI-Native Wireless Networks [63.246437631458356]
  次世代無線ネットワーク(例:6G)は人工知能(AI)ネイティブである。 本稿では、新たな因果推論分野を基盤として、AIネイティブな無線ネットワークを構築するための新しいフレームワークを紹介する。 因果発見と表現によって対処できる無線ネットワークの課題をいくつか挙げる。
  論文  参考訳（メタデータ） (2023-09-23T00:05:39Z)
• A new solution and concrete implementation steps for Artificial General Intelligence [4.320142895840622]
  介護、家計、農業生産、自動車運転、試行錯誤など、実際の環境と対話する必要がある分野は高価である。 本稿では,大規模モデルの技術的経路の限界を解析し,これらの制限に対処し,解決策を提案する。
  論文  参考訳（メタデータ） (2023-08-12T13:31:02Z)
• AI Maintenance: A Robustness Perspective [91.28724422822003]
  我々は、AIライフサイクルにおけるロバストネスの課題を強調し、自動車のメンテナンスに類似させることで、AIのメンテナンスを動機付ける。 本稿では,ロバストネスリスクの検出と軽減を目的としたAIモデル検査フレームワークを提案する。 我々のAIメンテナンスの提案は、AIライフサイクル全体を通して堅牢性評価、状態追跡、リスクスキャン、モデル硬化、規制を促進する。
  論文  参考訳（メタデータ） (2023-01-08T15:02:38Z)
• Vision Paper: Causal Inference for Interpretable and Robust Machine Learning in Mobility Analysis [71.2468615993246]
  インテリジェントな輸送システムを構築するには、人工知能とモビリティ分析の複雑な組み合わせが必要である。 ここ数年、高度なディープニューラルネットワークを使った輸送アプリケーションの開発が急速に進んでいる。 このビジョンペーパーは、解釈可能性と堅牢性を必要とするディープラーニングに基づくモビリティ分析における研究課題を強調する。
  論文  参考訳（メタデータ） (2022-10-18T17:28:58Z)
• Future Computer Systems and Networking Research in the Netherlands: A Manifesto [137.47124933818066]
  我々はICTの重要部分としてCompSysに注目している。 オランダ経済のトップセクター、国家研究アジェンダの各ルート、国連持続可能な開発目標の各ルートは、コンプシーズの進歩なしには対処できない課題を提起する。
  論文  参考訳（メタデータ） (2022-05-26T11:02:29Z)
• INTERN: A New Learning Paradigm Towards General Vision [117.3343347061931]
  我々はInterNという新しい学習パラダイムを開発した。 複数の段階の複数のソースからの監視信号を用いて学習することにより、トレーニング対象のモデルは強力な一般化性を生み出す。 ほとんどの場合、ターゲットドメインのトレーニングデータの10%しか適応していないモデルが、完全なデータセットでトレーニングされたトレーニングデータよりも優れています。
  論文  参考訳（メタデータ） (2021-11-16T18:42:50Z)
• Artificial Intelligence at the Edge [25.451110446336276]
  5Gモバイル通信ネットワークは通信容量を増やし、伝送遅延とエラーを低減し、省エネする。 将来の6Gテクノロジーは、可視光通信など、より多くの技術を統合します。 多くのアプリケーションは、アプリケーションのエンドポイントに近い計算と分析を必要とします。つまり、中央集権型クラウドではなく、ネットワークの端にあります。
  論文  参考訳（メタデータ） (2020-12-10T02:08:47Z)
• Qlib: An AI-oriented Quantitative Investment Platform [86.8580406876954]
  AI技術は、量的投資システムに新たな課題を提起した。 Qlibは、その可能性の実現、研究の強化、定量的投資におけるAIテクノロジの価値の創造を目的とする。
  論文  参考訳（メタデータ） (2020-09-22T12:57:10Z)
• Convergence of Artificial Intelligence and High Performance Computing on NSF-supported Cyberinfrastructure [3.4291439418246177]
  人工知能(AI)アプリケーションは、産業や技術におけるビッグデータの課題に対して、トランスフォーメーションソリューションを推進している。 AIは、統計的および数学的厳密性を備えたコンピューティングパラダイムへと進化し続けており、トレーニング、検証、テストのためのシングルGPUソリューションがもはや不十分であることが明らかになっている。 この実現により、AIとハイパフォーマンスコンピューティングの融合が加速し、監視時間の短縮が図られている。
  論文  参考訳（メタデータ） (2020-03-18T18:00:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。