論文の概要: Systems and Algorithms for Convolutional Multi-Hybrid Language Models at Scale

• arxiv url: http://arxiv.org/abs/2503.01868v1
• Date: Tue, 25 Feb 2025 19:47:20 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-09 03:20:31.635695
• Title: Systems and Algorithms for Convolutional Multi-Hybrid Language Models at Scale
• Title（参考訳）: 大規模な畳み込み多言語モデルのためのシステムとアルゴリズム
• Authors: Jerome Ku, Eric Nguyen, David W. Romero, Garyk Brixi, Brandon Yang, Anton Vorontsov, Ali Taghibakhshi, Amy X. Lu, Dave P. Burke, Greg Brockman, Stefano Massaroli, Christopher Ré, Patrick D. Hsu, Brian L. Hie, Stefano Ermon, Michael Poli,
• Abstract要約: 本稿では,2つの簡単な観測に基づいて,畳み込み型マルチハイブリッドアーキテクチャを提案する。 ハイブリッドモデルのオペレータは、インコンテキストリコール、マルチトークンリコール、圧縮などのトークン操作タスクにカスタマイズできる。 我々は、最適化されたトランスフォーマーの1.2倍から2.9倍、以前の世代のハイブリッドの1.1倍から1.4倍の速さでエンドツーエンドを訓練する。
• 参考スコア（独自算出の注目度）: 68.6602625868888
• License:
• Abstract: We introduce convolutional multi-hybrid architectures, with a design grounded on two simple observations. First, operators in hybrid models can be tailored to token manipulation tasks such as in-context recall, multi-token recall, and compression, with input-dependent convolutions and attention offering complementary performance. Second, co-designing convolution operators and hardware-aware algorithms enables efficiency gains in regimes where previous alternative architectures struggle to surpass Transformers. At the 40 billion parameter scale, we train end-to-end 1.2 to 2.9 times faster than optimized Transformers, and 1.1 to 1.4 times faster than previous generation hybrids. On H100 GPUs and model width 4096, individual operators in the proposed multi-hybrid StripedHyena 2 architecture achieve two-fold throughput improvement over linear attention and state-space models. Multi-hybrids excel at sequence modeling over byte-tokenized data, as demonstrated by the Evo 2 line of models. We discuss the foundations that enable these results, including architecture design, overlap-add blocked kernels for tensor cores, and dedicated all-to-all and point-to-point context parallelism strategies.
• Abstract（参考訳）: 本稿では,2つの簡単な観測に基づいて,畳み込み型マルチハイブリッドアーキテクチャを提案する。 第一に、ハイブリッドモデルのオペレータは、入力依存の畳み込みと補完的なパフォーマンスを提供する注意力を備えた、コンテキスト内リコール、マルチトークンリコール、圧縮などのトークン操作タスクに調整することができる。 第二に、共設計の畳み込み演算子とハードウェア対応アルゴリズムは、従来の代替アーキテクチャがTransformerを超えるのに苦労するレジームにおける効率向上を可能にする。 400億のパラメータスケールで、最適化されたトランスフォーマーの1.2倍から2.9倍、前世代のハイブリッドの1.1倍から1.4倍の速さで、エンドツーエンドの1.2倍から2.9倍の速度でトレーニングします。 H100 GPUとモデル幅4096では、線形アテンションと状態空間モデルよりも2倍のスループット向上を実現したマルチハイブリッドStripedHyena 2アーキテクチャが提案されている。 マルチハイブリッドは、Evo 2のモデルで示されるように、バイトトークン化されたデータによるシーケンスモデリングにおいて優れている。 本稿では,アーキテクチャ設計,テンソルコア用ブロックカーネルの重複付加,オール・ツー・オール・ポイント・ツー・ポイント・コンテクストの並列化戦略など,これらの結果を実現する基盤について論じる。

関連論文リスト

• JAX-Fluids 2.0: Towards HPC for Differentiable CFD of Compressible Two-phase Flows [0.0]
  JAX-Fluidsは、圧縮可能な単相および二相フロー用に設計されたPythonベースの完全微分可能CFDソルバである。 我々は、GPU(NVIDIA A100グラフィックスカード最大512)とTPU(最大1024 TPU v3コア)のHPCシステム上で効率よくスケールするJAXプリミティブ演算を利用した並列化戦略を導入する。 新しいコードバージョンは、強化された2相フローモデリング機能を提供する。
  論文  参考訳（メタデータ） (2024-02-07T19:05:27Z)
• Laughing Hyena Distillery: Extracting Compact Recurrences From Convolutions [101.08706223326928]
  近年のアテンションフリーシーケンスモデルの発展は、トランスフォーマーのコアにあるアテンション演算子の代替として、畳み込みに依存している。 本稿では,事前学習した長大な畳み込みアーキテクチャにおいて,トークン当たりの計算コストとメモリコストを$mathcal O(1)$にすることを提案する。
  論文  参考訳（メタデータ） (2023-10-28T18:40:03Z)
• Boosting the effective performance of massively parallel tensor network state algorithms on hybrid CPU-GPU based architectures via non-Abelian symmetries [0.0]
  Wigner-Eckhart定理に基づく非アベリア対称性関連テンソル代数は、従来のテンソルネットワーク層から完全に分離されている。 我々は、計算複雑性の観点からarXiv:2305.05581で報告された結果に対し、桁違いの性能向上を達成した。 提案手法の有効性能は250-500TFLOPSと推定される。
  論文  参考訳（メタデータ） (2023-09-23T07:49:53Z)
• A 4D Hybrid Algorithm to Scale Parallel Training to Thousands of GPUs [1.7481226034111275]
  本稿では,並列訓練における通信を最適化するための4次元(4次元)アプローチを提案する。 AxoNNは最先端のフレームワークであるMegatron-LMを26%上回っている。 理論上のピークFLOP/sの57%、合計182 PFLOP/sを達成している。
  論文  参考訳（メタデータ） (2023-05-22T22:41:49Z)
• AMT: All-Pairs Multi-Field Transforms for Efficient Frame Interpolation [80.33846577924363]
  ビデオフレームギスブのための新しいネットワークアーキテクチャであるAMT(All-Pairs Multi-Field Transforms)を提案する。 まず、すべての画素に対して双方向のボリュームを構築し、予測された両側フローを用いて相関関係を検索する。 第2に、入力フレーム上で逆向きのワープを行うために、一対の更新された粗い流れから細粒度の流れ場の複数のグループを導出する。
  論文  参考訳（メタデータ） (2023-04-19T16:18:47Z)
• Hyena Hierarchy: Towards Larger Convolutional Language Models [115.82857881546089]
  ハイエナは、暗黙的にパラメトリケートされた長い畳み込みとデータ制御ゲーティングをインターリーブすることによって構築された注意のための準四分法的なドロップイン置換である。 数千から数十万のトークン列のリコールおよび推論タスクにおいて、ハイエナは状態空間やその他の暗黙的かつ明示的なメソッドに依存する演算子よりも50ポイント以上精度を向上させる。
  論文  参考訳（メタデータ） (2023-02-21T18:29:25Z)
• On Optimizing the Communication of Model Parallelism [74.15423270435949]
  大規模モデル並列ディープラーニング(DL)における新しい重要なコミュニケーションパターンについて検討する。 クロスメッシュリシャーディングでは、シャードテンソルをソースデバイスメッシュから宛先デバイスメッシュに送信する必要がある。 本稿では、効率的な放送ベースの通信システムと「重複しやすい」パイプラインスケジュールという、クロスメシュ・リシャーディングに対処するための2つのコントリビューションを提案する。
  論文  参考訳（メタデータ） (2022-11-10T03:56:48Z)
• X-volution: On the unification of convolution and self-attention [52.80459687846842]
  本稿では,畳み込み操作と自己注意操作の両方からなるマルチブランチ基本モジュールを提案する。 提案したX-進化は、非常に競争力のある視覚的理解の改善を実現する。
  論文  参考訳（メタデータ） (2021-06-04T04:32:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。