論文の概要: Survey and Evaluation of Converging Architecture in LLMs based on Footsteps of Operations

• arxiv url: http://arxiv.org/abs/2410.11381v1
• Date: Tue, 15 Oct 2024 08:19:24 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-16 14:01:36.865501
• Title: Survey and Evaluation of Converging Architecture in LLMs based on Footsteps of Operations
• Title（参考訳）: 運用の歩みに基づくLLMの収束構造調査と評価
• Authors: Seongho Kim, Jihyun Moon, Juntaek Oh, Insu Choi, Joon-Sung Yang,
• Abstract要約: 現在の最先端のLSMは非常に大きく、パラメータは約700億である。 モデルのサイズが大きくなるにつれて、かなりのストレージと計算能力の需要が増大する。 本稿では,レイヤ構成,運用機構,モデルサイズの観点から,これらの収束アーキテクチャがどのように機能するかを解析する。
• 参考スコア（独自算出の注目度）: 3.355436702348694
• License:
• Abstract: The advent of the Attention mechanism and Transformer architecture enables contextually natural text generation and compresses the burden of processing entire source information into singular vectors. Based on these two main ideas, model sizes gradually increases to accommodate more precise and comprehensive information, leading to the current state-of-the-art LLMs being very large, with parameters around 70 billion. As the model sizes are growing, the demand for substantial storage and computational capacity increases. This leads to the development of high-bandwidth memory and accelerators, as well as a variety of model architectures designed to meet these requirements. We note that LLM architectures have increasingly converged. This paper analyzes how these converged architectures perform in terms of layer configurations, operational mechanisms, and model sizes, considering various hyperparameter settings. In this paper, we conduct a concise survey of the history of LLMs by tracing the evolution of their operational improvements. Furthermore, we summarize the performance trends of LLMs under various hyperparameter settings using the RTX 6000, which features the state-of-the-art Ada Lovelace architecture. We conclude that even the same model can exhibit different behaviors depending on the hyperparameters or whether it is deployed in server or edge environments.
• Abstract（参考訳）: アテンション機構とトランスフォーマーアーキテクチャの出現は、文脈的に自然なテキスト生成を可能にし、ソース情報全体を特異ベクトルに処理する負担を圧縮する。 これら2つの主要なアイデアに基づいて、モデルのサイズは徐々に増加し、より正確で包括的な情報に対応し、現在の最先端のLCMは非常に大きく、パラメータは約700億である。 モデルのサイズが大きくなるにつれて、かなりのストレージと計算能力の需要が増大する。 これにより、高帯域メモリとアクセラレータの開発や、これらの要求を満たすように設計された様々なモデルアーキテクチャの開発につながります。 LLMアーキテクチャはますます収束している。 本稿では,レイヤ構成,運用機構,モデルサイズの観点から,これらの収束アーキテクチャがどのように機能するかを,様々なハイパーパラメータ設定を考慮して分析する。 本稿では,LLMの運用改善の進展を追究し,LLMの歴史を簡潔に調査する。 さらに,最先端のAda Lovelaceアーキテクチャを特徴とするRTX 6000を用いて,様々なハイパーパラメータ設定下でのLCMの性能動向を要約する。 我々は、同じモデルであっても、ハイパーパラメータや、サーバやエッジ環境にデプロイされているかによって異なる振る舞いを示すことができると結論付けている。

関連論文リスト

• Reference Trustable Decoding: A Training-Free Augmentation Paradigm for Large Language Models [79.41139393080736]
  大規模言語モデル(LLM)は急速に進歩し、印象的な機能を示している。 我々は、モデルが微調整なしで新しいタスクに迅速に適応できるパラダイムである参照信頼復号(RTD)を提案する。
  論文  参考訳（メタデータ） (2024-09-30T10:48:20Z)
• Contemporary Model Compression on Large Language Models Inference [7.307436175842646]
  大規模言語モデル(LLM)は、様々なタスクで最先端の結果を達成することによって、自然言語処理に革命をもたらした。 LLM推論の計算要求は、高いメモリ消費と遅い処理速度を含み、現実世界のアプリケーションにとって大きな課題となっている。 本研究では, LLMのサイズと計算量を削減することにより, これらの課題に対処するモデル圧縮技術について検討する。
  論文  参考訳（メタデータ） (2024-09-03T15:35:01Z)
• Inference Optimization of Foundation Models on AI Accelerators [68.24450520773688]
  トランスフォーマーアーキテクチャを備えた大規模言語モデル(LLM)を含む強力な基礎モデルは、ジェネレーティブAIの新たな時代を支えている。 モデルパラメータの数が数十億に達すると、実際のシナリオにおける推論コストと高いレイテンシーが排除される。 このチュートリアルでは、AIアクセラレータを用いた補完推論最適化テクニックに関する包括的な議論を行っている。
  論文  参考訳（メタデータ） (2024-07-12T09:24:34Z)
• Demystifying Platform Requirements for Diverse LLM Inference Use Cases [7.233203254714951]
  本稿では,大規模言語モデル推論性能とプラットフォーム設計パラメータの関係を明らかにするための分析ツールGenZを提案する。 LLaMA や GPT-4 のような SOTA LLM モデルをサポートするためのプラットフォーム要件を,多様なサービス設定下で定量化する。 結局のところ、この研究は、幅広いアプリケーションにまたがる大きな言語モデルの潜在能力を最大限に活用するためのプラットフォーム設計の考察に光を当てている。
  論文  参考訳（メタデータ） (2024-06-03T18:00:50Z)
• Mechanistic Design and Scaling of Hybrid Architectures [114.3129802943915]
  我々は、様々な計算プリミティブから構築された新しいハイブリッドアーキテクチャを特定し、テストする。 本研究では,大規模計算最適法則と新しい状態最適スケーリング法則解析を用いて,結果のアーキテクチャを実験的に検証する。 我々は,MAD合成法と計算-最適パープレキシティを相関させ,新しいアーキテクチャの正確な評価を可能にする。
  論文  参考訳（メタデータ） (2024-03-26T16:33:12Z)
• Advancing Transformer Architecture in Long-Context Large Language Models: A Comprehensive Survey [18.930417261395906]
  トランスフォーマーベースの大規模言語モデル(LLM)は、知識ベース、ヒューマンインタフェース、動的エージェントなど様々な分野に適用されている。 本稿では,トランスフォーマーをベースとしたLLMアーキテクチャの最近の進歩について,LLMの長期的コンテキスト能力の向上を目的とした調査を行う。
  論文  参考訳（メタデータ） (2023-11-21T04:59:17Z)
• Serving Deep Learning Model in Relational Databases [70.53282490832189]
  リレーショナルデータ上での深層学習(DL)モデルの実現は、様々な商業分野や科学分野において重要な要件となっている。 最先端のDL中心アーキテクチャは、DL計算を専用のDLフレームワークにオフロードします。 UDF中心アーキテクチャの可能性は、リレーショナルデータベース管理システム(RDBMS)内の1つ以上のテンソル計算をユーザ定義関数(UDF)にカプセル化する。
  論文  参考訳（メタデータ） (2023-10-07T06:01:35Z)
• Scaling Pre-trained Language Models to Deeper via Parameter-efficient Architecture [68.13678918660872]
  行列積演算子(MPO)に基づくより有能なパラメータ共有アーキテクチャを設計する。 MPO分解はパラメータ行列の情報を再編成し、2つの部分に分解することができる。 私たちのアーキテクチャは、モデルのサイズを減らすために、すべてのレイヤで中央テンソルを共有しています。
  論文  参考訳（メタデータ） (2023-03-27T02:34:09Z)
• Systems for Parallel and Distributed Large-Model Deep Learning Training [7.106986689736828]
  最近のTransformerモデルは、数十億の学習可能なパラメータにまたがっている。 これらの設計はDL空間に新たなスケール駆動システム課題をもたらした。 この調査では、大規模なモデルトレーニングシステムの展望を探求し、主要な課題とそれに対応する様々なテクニックを強調します。
  論文  参考訳（メタデータ） (2023-01-06T19:17:29Z)
• Multi-Agent Reinforcement Learning for Microprocessor Design Space Exploration [71.95914457415624]
  マイクロプロセッサアーキテクトは、高性能でエネルギー効率の追求において、ドメイン固有のカスタマイズにますます頼っている。 この問題に対処するために,Multi-Agent RL (MARL) を利用した別の定式化を提案する。 評価の結果,MARLの定式化は単エージェントRLのベースラインよりも一貫して優れていた。
  論文  参考訳（メタデータ） (2022-11-29T17:10:24Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。