論文の概要: Compute Better Spent: Replacing Dense Layers with Structured Matrices

• arxiv url: http://arxiv.org/abs/2406.06248v1
• Date: Mon, 10 Jun 2024 13:25:43 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-11 13:58:00.139289
• Title: Compute Better Spent: Replacing Dense Layers with Structured Matrices
• Title（参考訳）: Compute Better Spent: 構造化マトリクスで高密度層をリプレース
• Authors: Shikai Qiu, Andres Potapczynski, Marc Finzi, Micah Goldblum, Andrew Gordon Wilson,
• Abstract要約: 画像領域における畳み込みネットワークの成功が示すように、高密度行列に対するより効率的な代替手段を同定する。 異なる構造は、しばしばパフォーマンスに不可欠な、非常に異なる初期化尺度と学習率を必要とする。 本稿では,モナール行列を含む新しい行列族Block-Trainを提案する。
• 参考スコア（独自算出の注目度）: 77.61728033234233
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Dense linear layers are the dominant computational bottleneck in foundation models. Identifying more efficient alternatives to dense matrices has enormous potential for building more compute-efficient models, as exemplified by the success of convolutional networks in the image domain. In this work, we systematically explore structured matrices as replacements for dense matrices. We show that different structures often require drastically different initialization scales and learning rates, which are crucial to performance, especially as models scale. Using insights from the Maximal Update Parameterization, we determine the optimal scaling for initialization and learning rates of these unconventional layers. Finally, we measure the scaling laws of different structures to compare how quickly their performance improves with compute. We propose a novel matrix family containing Monarch matrices, the Block Tensor-Train (BTT), which we show performs better than dense matrices for the same compute on multiple tasks. On CIFAR-10/100 with augmentation, BTT achieves exponentially lower training loss than dense when training MLPs and ViTs. BTT matches dense ViT-S/32 performance on ImageNet-1k with 3.8 times less compute and is more efficient than dense for training small GPT-2 language models.
• Abstract（参考訳）: 密度線形層は基礎モデルにおいて支配的な計算ボトルネックである。 より効率的な高密度行列の代替を同定することは、画像領域における畳み込みネットワークの成功によって実証されるように、より計算効率の良いモデルを構築する大きな可能性を秘めている。 本研究では,高密度行列の代替として構造化行列を体系的に探索する。 異なる構造は、特にモデルスケールにおいて、パフォーマンスに不可欠な、非常に異なる初期化尺度と学習率を必要とすることがよく示される。 最大更新パラメーター化からの洞察を用いて、これらの非伝統的なレイヤの初期化と学習率の最適スケーリングを決定する。 最後に、異なる構造のスケーリング法則を測定し、それらの性能が計算によってどれだけ早く向上するかを比較する。 本稿では,モナール行列を含む新しい行列族BTT(Block Tensor-Train)を提案する。 拡張したCIFAR-10/100では、BTTは、MLPとViTのトレーニングにおいて、密度よりも指数関数的に低いトレーニング損失を達成する。 BTTはImageNet-1kの高密度なViT-S/32性能と3.8倍の計算量で一致し、小さなGPT-2言語モデルのトレーニングに高効率である。

関連論文リスト

• BLAST: Block-Level Adaptive Structured Matrices for Efficient Deep Neural Network Inference [15.519068157865023]
  本稿では,Block-Level Adaptive STructured (BLAST) 行列を導入し,ディープラーニングモデルにおける線形層の重み行列に代表される効率的な構造を学習・活用する。 言語と視覚の両方のタスクを圧縮するために行列を用いることの効率を実証する。
  論文  参考訳（メタデータ） (2024-10-28T17:56:18Z)
• Searching for Efficient Linear Layers over a Continuous Space of Structured Matrices [88.33936714942996]
  アインシュタイン和を通じて表現可能なすべての線形作用素の探索を可能にする統一フレームワークを提案する。 計算-最適スケーリング法則の違いは主に少数の変数によって支配されていることを示す。 そこで,Mixture-of-Experts (MoE) は,注目ブロックの投影を含む,モデルのすべての線形層におけるMoEを学習する。
  論文  参考訳（メタデータ） (2024-10-03T00:44:50Z)
• Two Sparse Matrices are Better than One: Sparsifying Neural Networks with Double Sparse Factorization [0.0]
  重み行列を2つのスパース行列に分解するDouble Sparse Factorization(DSF)を提案する。 提案手法は最先端の結果を達成し,従来のニューラルネットワークのスペーサー化を可能にした。
  論文  参考訳（メタデータ） (2024-09-27T15:48:39Z)
• Building on Efficient Foundations: Effectively Training LLMs with Structured Feedforward Layers [16.253898272659242]
  大規模言語モデル(LLM)における最先端の結果は、しばしばスケールに依存し、計算コストがかかる。 本研究は,計算集約型フィードフォワードネットワーク(FFN)を対象とするトランスフォーマーベースLLMに着目した。 広範かつ構造化されたネットワークは、最適なトレードオフにおいて、パラメータが少なく、高密度モデルよりも損失が少ないFLOPをより効率的に活用できることを示す。
  論文  参考訳（メタデータ） (2024-06-24T08:43:21Z)
• An Efficient Algorithm for Clustered Multi-Task Compressive Sensing [60.70532293880842]
  クラスタ化マルチタスク圧縮センシングは、複数の圧縮センシングタスクを解決する階層モデルである。 このモデルに対する既存の推論アルゴリズムは計算コストが高く、高次元ではうまくスケールしない。 本稿では,これらの共分散行列を明示的に計算する必要をなくし,モデル推論を大幅に高速化するアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2023-09-30T15:57:14Z)
• Monarch: Expressive Structured Matrices for Efficient and Accurate Training [64.6871423399431]
  大規模なニューラルネットワークは多くのドメインで優れているが、トレーニングや微調整は高価である。 計算やメモリ要件を減らすための一般的なアプローチは、重み付け行列を構造化行列に置き換えることである。 ハードウェア効率のよい行列(Monarch)のクラスを提案する。
  論文  参考訳（メタデータ） (2022-04-01T17:37:29Z)
• Effective Model Sparsification by Scheduled Grow-and-Prune Methods [73.03533268740605]
  本稿では,高密度モデルの事前学習を伴わない新規なGrow-and-prune(GaP)手法を提案する。 実験により、そのようなモデルは様々なタスクにおいて80%の間隔で高度に最適化された高密度モデルの品質に適合または打ち勝つことができることが示された。
  論文  参考訳（メタデータ） (2021-06-18T01:03:13Z)
• Structured Convolutions for Efficient Neural Network Design [65.36569572213027]
  畳み込みニューラルネットワーク構築ブロックのテクスト単純構造における冗長性を利用してモデル効率に取り組む。 この分解が2Dカーネルや3Dカーネルだけでなく、完全に接続されたレイヤにも適用可能であることを示す。
  論文  参考訳（メタデータ） (2020-08-06T04:38:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。