論文の概要: Radial Networks: Dynamic Layer Routing for High-Performance Large Language Models

• arxiv url: http://arxiv.org/abs/2404.04900v1
• Date: Sun, 7 Apr 2024 09:52:31 GMT
• ステータス: 処理完了
• システム内更新日: 2024-04-09 19:01:21.931289
• Title: Radial Networks: Dynamic Layer Routing for High-Performance Large Language Models
• Title（参考訳）: Radial Networks: 高性能大言語モデルのための動的レイヤルーティング
• Authors: Jordan Dotzel, Yash Akhauri, Ahmed S. AbouElhamayed, Carly Jiang, Mohamed Abdelfattah, Zhiru Zhang,
• Abstract要約: 大規模言語モデル(LLM)は、しばしば厳しいメモリ、レイテンシ、電力需要に悩まされる。 インプット・バイ・インプット・ベースで計算を削減できる様々なダイナミック・スパシティーが提案されている。 トレーニングされたルータモジュールによってガイドされる層間のトークンレベルのルーティングを行うRadar Networksを提案する。
• 参考スコア（独自算出の注目度）: 9.637088945386227
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large language models (LLMs) often struggle with strict memory, latency, and power demands. To meet these demands, various forms of dynamic sparsity have been proposed that reduce compute on an input-by-input basis. These methods improve over static methods by exploiting the variance across individual inputs, which has steadily grown with the exponential increase in training data. Yet, the increasing depth within modern models, currently with hundreds of layers, has opened opportunities for dynamic layer sparsity, which skips the computation for entire layers. In this work, we explore the practicality of layer sparsity by profiling residual connections and establish the relationship between model depth and layer sparsity. For example, the residual blocks in the OPT-66B model have a median contribution of 5% to its output. We then take advantage of this dynamic sparsity and propose Radial Networks, which perform token-level routing between layers guided by a trained router module. These networks can be used in a post-training distillation from sequential networks or trained from scratch to co-learn the router and layer weights. They enable scaling to larger model sizes by decoupling the number of layers from the dynamic depth of the network, and their design allows for layer reuse. By varying the compute token by token, they reduce the overall resources needed for generating entire sequences. Overall, this leads to larger capacity networks with significantly lower compute and serving costs for large language models.
• Abstract（参考訳）: 大規模言語モデル(LLM)は、しばしば厳しいメモリ、レイテンシ、電力需要に悩まされる。 これらの要求を満たすため、インプット・バイ・インプット・ベースでの計算を削減できる様々なダイナミック・スパシティーが提案されている。 これらの手法は、トレーニングデータの指数的な増加とともに着実に成長している個々の入力間のばらつきを利用して、静的な手法よりも改善されている。 しかし、現在の数百のレイヤを持つモダンモデルにおける深度の増加は、動的レイヤのスパーシリティの機会を開放し、レイヤ全体の計算を省略している。 本研究では,残差接続をプロファイリングし,モデル深さと層間隔の関係を確立することによって,層間隔の実用性を検討する。 例えば、OPT-66Bモデルの残留ブロックは、その出力に対して5%の中央値の寄与がある。 次に、この動的疎度を利用して、トレーニングされたルータモジュールによってガイドされる層間のトークンレベルのルーティングを実行するRadar Networksを提案する。 これらのネットワークは、シーケンシャルネットワークからの訓練後の蒸留や、ルータと層重みを共に学習するためのスクラッチから訓練に使用することができる。 ネットワークのダイナミックな深さからレイヤ数を分離することで、より大きなモデルサイズへのスケーリングを可能にし、それらの設計はレイヤの再利用を可能にします。 トークンごとに計算トークンを変更すれば、シーケンス全体を生成するのに必要なリソース全体の削減が可能になる。 全体として、これは大きな言語モデルの計算コストとサービスコストを大幅に削減する、より大きなキャパシティネットワークにつながる。

関連論文リスト

• Layer-wise Linear Mode Connectivity [52.6945036534469]
  ニューラルネットワークパラメータの平均化は、2つの独立したモデルの知識の直感的な方法である。 フェデレートラーニングにおいて最も顕著に用いられている。 私たちは、単一グループやグループを平均化するモデルの性能を分析します。
  論文  参考訳（メタデータ） (2023-07-13T09:39:10Z)
• ReLU Neural Networks with Linear Layers are Biased Towards Single- and Multi-Index Models [9.96121040675476]
  この原稿は、2層以上の深さのニューラルネットワークによって学習された関数の性質が予測にどのように影響するかを考察している。 我々のフレームワークは、すべて同じキャパシティを持つが表現コストが異なる、様々な深さのネットワーク群を考慮に入れている。
  論文  参考訳（メタデータ） (2023-05-24T22:10:12Z)
• The Underlying Correlated Dynamics in Neural Training [6.385006149689549]
  ニューラルネットワークのトレーニングは、計算集約的なタスクである。 本稿では,パラメータのダイナミクスの相関に基づくモデルを提案する。 この表現は、基礎となるトレーニングダイナミクスの理解を深め、より良い加速技術を設計するための道を開くことができる。
  論文  参考訳（メタデータ） (2022-12-18T08:34:11Z)
• PRANC: Pseudo RAndom Networks for Compacting deep models [22.793523211040682]
  PRANCはディープモデルの大幅なコンパクト化を可能にする。 本研究では,PRANCを用いて画像分類モデルを構築し,関連する暗黙的ニューラルネットワークをコンパクト化することで画像の圧縮を行う。
  論文  参考訳（メタデータ） (2022-06-16T22:03:35Z)
• Dynamic Graph: Learning Instance-aware Connectivity for Neural Networks [78.65792427542672]
  動的グラフネットワーク(DG-Net)は完全な有向非巡回グラフであり、ノードは畳み込みブロックを表し、エッジは接続経路を表す。 ネットワークの同じパスを使用する代わりに、DG-Netは各ノードの機能を動的に集約する。
  論文  参考訳（メタデータ） (2020-10-02T16:50:26Z)
• Fully Dynamic Inference with Deep Neural Networks [19.833242253397206]
  Layer-Net(L-Net)とChannel-Net(C-Net)と呼ばれる2つのコンパクトネットワークは、どのレイヤやフィルタ/チャネルが冗長であるかをインスタンス毎に予測する。 CIFAR-10データセットでは、LC-Netは11.9$times$ less floating-point Operations (FLOPs) となり、他の動的推論手法と比較して最大3.3%精度が向上する。 ImageNetデータセットでは、LC-Netは最大1.4$times$ FLOPsを減らし、Top-1の精度は他の方法よりも4.6%高い。
  論文  参考訳（メタデータ） (2020-07-29T23:17:48Z)
• DHP: Differentiable Meta Pruning via HyperNetworks [158.69345612783198]
  本稿では,ネットワークの自動プルーニングのためのハイパーネットによる識別可能なプルーニング手法を提案する。 遅延ベクトルは、バックボーンネットワーク内の畳み込み層の出力チャネルを制御し、レイヤのプルーニングのハンドルとして機能する。 画像分類、単一画像超解像、復調のための様々なネットワークで実験が行われた。
  論文  参考訳（メタデータ） (2020-03-30T17:59:18Z)
• Belief Propagation Reloaded: Learning BP-Layers for Labeling Problems [83.98774574197613]
  最も単純な推論手法の1つとして、切り詰められた最大積のBelief伝播を取り上げ、それをディープラーニングモデルの適切なコンポーネントにするために必要となるものを加えます。 このBP-Layerは畳み込みニューラルネットワーク(CNN)の最終ブロックまたは中間ブロックとして使用できる このモデルは様々な密集予測問題に適用可能であり、パラメータ効率が高く、ステレオ、光フロー、セマンティックセグメンテーションにおける堅牢な解を提供する。
  論文  参考訳（メタデータ） (2020-03-13T13:11:35Z)
• Large-Scale Gradient-Free Deep Learning with Recursive Local Representation Alignment [84.57874289554839]
  大規模データセット上でディープニューラルネットワークをトレーニングするには、重要なハードウェアリソースが必要である。 これらのネットワークをトレーニングするためのワークホースであるバックプロパゲーションは、本質的に並列化が難しいシーケンシャルなプロセスである。 本稿では、深層ネットワークのトレーニングに使用できるバックプロップに代わる、神経生物学的に有望な代替手段を提案する。
  論文  参考訳（メタデータ） (2020-02-10T16:20:02Z)
• Convolutional Networks with Dense Connectivity [59.30634544498946]
  Dense Convolutional Network (DenseNet)を導入し、フィードフォワード方式で各レイヤを他のすべてのレイヤに接続する。 各レイヤについて、先行するすべてのレイヤのフィーチャーマップをインプットとして使用し、それ自身のフィーチャーマップをその後のすべてのレイヤへのインプットとして使用します。 提案したアーキテクチャを、4つの高度に競争力のあるオブジェクト認識ベンチマークタスクで評価する。
  論文  参考訳（メタデータ） (2020-01-08T06:54:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。