論文の概要: Scaling Laws for Linear Complexity Language Models

• arxiv url: http://arxiv.org/abs/2406.16690v1
• Date: Mon, 24 Jun 2024 14:51:31 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-25 14:25:06.456625
• Title: Scaling Laws for Linear Complexity Language Models
• Title（参考訳）: 線形複素言語モデルのスケーリング法則
• Authors: Xuyang Shen, Dong Li, Ruitao Leng, Zhen Qin, Weigao Sun, Yiran Zhong,
• Abstract要約: 線形複雑性言語モデルのスケーリング法則を提示し、その拡張性の基礎を確立する。 この研究は、既存の線形複雑性言語モデルが従来のトランスフォーマーベースモデルと同様のスケーリング能力を示すことを示した。
• 参考スコア（独自算出の注目度）: 18.787664489713332
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The interest in linear complexity models for large language models is on the rise, although their scaling capacity remains uncertain. In this study, we present the scaling laws for linear complexity language models to establish a foundation for their scalability. Specifically, we examine the scaling behaviors of three efficient linear architectures. These include TNL, a linear attention model with data-independent decay; HGRN2, a linear RNN with data-dependent decay; and cosFormer2, a linear attention model without decay. We also include LLaMA as a baseline architecture for softmax attention for comparison. These models were trained with six variants, ranging from 70M to 7B parameters on a 300B-token corpus, and evaluated with a total of 1,376 intermediate checkpoints on various downstream tasks. These tasks include validation loss, commonsense reasoning, and information retrieval and generation. The study reveals that existing linear complexity language models exhibit similar scaling capabilities as conventional transformer-based models while also demonstrating superior linguistic proficiency and knowledge retention.
• Abstract（参考訳）: 大規模言語モデルの線形複雑性モデルへの関心は高まっているが、そのスケーリング能力は未だ不明である。 本研究では,線形複雑性言語モデルのスケーリング法則について述べる。 具体的には、3つの効率的な線形アーキテクチャのスケーリング挙動について検討する。 これには、データ非依存の線形アテンションモデルであるTNL、データ非依存のリニアRNNであるHGRN2、崩壊のないリニアアテンションモデルであるcosFormer2が含まれる。 また,LLaMAをソフトマックスアテンションのためのベースラインアーキテクチャとして含めている。 これらのモデルは、300Bコーパスの70Mから7Bパラメータの6つの変種で訓練され、様々な下流タスクで合計1,376の中間チェックポイントで評価された。 これらのタスクには、検証損失、常識推論、情報検索と生成が含まれる。 既存の線形複雑言語モデルは従来のトランスフォーマーモデルと同様のスケーリング能力を示しつつ、優れた言語能力と知識保持を示す。

関連論文リスト

• Weight-based Decomposition: A Case for Bilinear MLPs [0.0]
  GLU(Gated Linear Units)は、現代の基礎モデルにおいて一般的なビルディングブロックとなっている。 Bilinear 層は "gate" の非線形性を低下させるが、他の GLU に匹敵する性能を持つ。 双線型テンソルを相互作用する固有ベクトルの集合に分解する手法を開発する。
  論文  参考訳（メタデータ） (2024-06-06T10:46:51Z)
• Observational Scaling Laws and the Predictability of Language Model Performance [51.2336010244645]
  モデルトレーニングを回避し、80の公開モデルからスケーリング法則を構築する観察的アプローチを提案する。 いくつかの創発現象が滑らかでシグモダルな挙動を辿り、小さなモデルから予測可能であることを示す。 言語モデル機能の改善が進むにつれて、Chain-of-ThoughtやSelf-Consistencyといったポストトレーニング介入の影響を予測する方法を示す。
  論文  参考訳（メタデータ） (2024-05-17T17:49:44Z)
• In-Context Language Learning: Architectures and Algorithms [73.93205821154605]
  我々は、文脈言語学習(ICLL)において、私たちが用語する新しいモデル問題群(英語版)のレンズを通してICLを研究する。 我々は,通常のICLLタスクにおいて,多種多様なニューラルシーケンスモデルを評価する。
  論文  参考訳（メタデータ） (2024-01-23T18:59:21Z)
• The Languini Kitchen: Enabling Language Modelling Research at Different Scales of Compute [66.84421705029624]
  本稿では,アクセル時間で測定された等価計算に基づくモデル比較を可能にする実験的プロトコルを提案する。 私たちは、既存の学術的ベンチマークを上回り、品質、多様性、文書の長さで上回る、大規模で多様で高品質な書籍データセットを前処理します。 この研究は、GPT-2アーキテクチャから派生したフィードフォワードモデルと、10倍のスループットを持つ新しいLSTMの形式でのリカレントモデルという2つのベースラインモデルも提供する。
  論文  参考訳（メタデータ） (2023-09-20T10:31:17Z)
• A Solvable Model of Neural Scaling Laws [72.8349503901712]
  大量のパラメータを持つ大規模な言語モデルは、インターネットに近い数のトークンで訓練されると、ニューラルネットワークのスケーリング法則に従うことが実証的に示されている。 我々は,このニューラルスケーリング現象を捉える統計モデル(共同生成データモデルとランダム特徴モデル)を提案する。 主な発見は、自然データセットの統計に現れる電力法則が非線形ランダムな特徴写像によって拡張される方法である。
  論文  参考訳（メタデータ） (2022-10-30T15:13:18Z)
• Neural Basis Models for Interpretability [33.51591891812176]
  一般化加法モデル(GAMs)は本質的に解釈可能なモデルのクラスである。 形状関数の基底分解を利用するGAMの全く新しいサブファミリーを提案する。 少数の基底関数はすべての機能で共有され、与えられたタスクに対して共同で学習される。
  論文  参考訳（メタデータ） (2022-05-27T17:31:19Z)
• Dynamically-Scaled Deep Canonical Correlation Analysis [77.34726150561087]
  カノニカル相関解析 (CCA) は, 2つのビューの特徴抽出手法である。 本稿では,入力依存の正準相関モデルをトレーニングするための新しい動的スケーリング手法を提案する。
  論文  参考訳（メタデータ） (2022-03-23T12:52:49Z)
• Low-Rank Constraints for Fast Inference in Structured Models [110.38427965904266]
  この研究は、大規模構造化モデルの計算とメモリの複雑さを低減するための単純なアプローチを示す。 言語モデリング,ポリフォニック・ミュージック・モデリング,教師なし文法帰納法,ビデオ・モデリングのためのニューラルパラメータ構造モデルを用いた実験により,我々の手法は大規模状態空間における標準モデルの精度と一致することを示した。
  論文  参考訳（メタデータ） (2022-01-08T00:47:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。