論文の概要: Composable Function-preserving Expansions for Transformer Architectures

• arxiv url: http://arxiv.org/abs/2308.06103v1
• Date: Fri, 11 Aug 2023 12:27:22 GMT
• ステータス: 処理完了
• システム内更新日: 2023-08-14 14:05:10.146444
• Title: Composable Function-preserving Expansions for Transformer Architectures
• Title（参考訳）: 変換器アーキテクチャのための構成可能な関数保存拡張
• Authors: Andrea Gesmundo and Kaitlin Maile
• Abstract要約: 最先端のニューラルネットワークのトレーニングには、計算と時間の面で高いコストが必要となる。 本稿では,変圧器ベースニューラルネットワークのサイズを漸進的に増加させるために,構成可能な6つの変換を提案する。
• 参考スコア（独自算出の注目度）: 2.579908688646812
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Training state-of-the-art neural networks requires a high cost in terms of compute and time. Model scale is recognized to be a critical factor to achieve and improve the state-of-the-art. Increasing the scale of a neural network normally requires restarting from scratch by randomly initializing all the parameters of the model, as this implies a change of architecture's parameters that does not allow for a straightforward transfer of knowledge from smaller size models. In this work, we propose six composable transformations to incrementally increase the size of transformer-based neural networks while preserving functionality, allowing to expand the capacity of the model as needed. We provide proof of exact function preservation under minimal initialization constraints for each transformation. The proposed methods may enable efficient training pipelines for larger and more powerful models by progressively expanding the architecture throughout training.
• Abstract（参考訳）: 最先端ニューラルネットワークのトレーニングには、計算と時間の観点から高いコストを必要とする。 モデルスケールは最先端を達成し、改善するための重要な要素であると認識されている。 ニューラルネットワークのスケールを増大させるには、小さなモデルから簡単に知識を移すことができないアーキテクチャのパラメータの変更を暗示するため、モデルの全パラメータをランダムに初期化することで、スクラッチから再起動する必要がある。 本研究では,機能を維持しつつトランスフォーマーベースのニューラルネットワークを段階的に増やすための6つの構成可能な変換を提案し,必要に応じてモデルの容量を拡大する。 各変換に対する最小初期化制約の下での厳密な関数保存の証明を提供する。 提案手法は,トレーニング全体を通じてアーキテクチャを段階的に拡張することにより,大規模で強力なモデルの効率的なトレーニングパイプラインを可能にする。

関連論文リスト

• Autoregressive + Chain of Thought = Recurrent: Recurrence's Role in Language Models' Computability and a Revisit of Recurrent Transformer [29.970200877158764]
  ニューラルモデルにおけるリカレント構造が推論能力と計算可能性に与える影響について検討する。 我々は、CoTアプローチが繰り返し計算を模倣し、自己回帰と再発の間のブリッジとして機能する方法について光を当てた。
  論文  参考訳（メタデータ） (2024-09-14T00:30:57Z)
• Principled Architecture-aware Scaling of Hyperparameters [69.98414153320894]
  高品質のディープニューラルネットワークをトレーニングするには、非自明で高価なプロセスである適切なハイパーパラメータを選択する必要がある。 本研究では,ネットワークアーキテクチャにおける初期化と最大学習率の依存性を正確に評価する。 ネットワークランキングは、ベンチマークのトレーニングネットワークにより容易に変更可能であることを実証する。
  論文  参考訳（メタデータ） (2024-02-27T11:52:49Z)
• Symplectic Autoencoders for Model Reduction of Hamiltonian Systems [0.0]
  長期の数値安定性を確保するためには,システムに関連するシンプレクティックな構造を維持することが重要である。 本稿では,次元削減のための確立されたツールであるオートエンコーダの精神の中で,新しいニューラルネットワークアーキテクチャを提案する。 ネットワークのトレーニングには,非標準勾配降下法を適用した。
  論文  参考訳（メタデータ） (2023-12-15T18:20:25Z)
• RWKV: Reinventing RNNs for the Transformer Era [54.716108899349614]
  本稿では,変換器の効率的な並列化学習とRNNの効率的な推論を組み合わせた新しいモデルアーキテクチャを提案する。 モデルを最大14億のパラメータにスケールし、トレーニングされたRNNの中では最大で、同じサイズのTransformerと同等のRWKVのパフォーマンスを実現しています。
  論文  参考訳（メタデータ） (2023-05-22T13:57:41Z)
• Scaling Pre-trained Language Models to Deeper via Parameter-efficient Architecture [68.13678918660872]
  行列積演算子(MPO)に基づくより有能なパラメータ共有アーキテクチャを設計する。 MPO分解はパラメータ行列の情報を再編成し、2つの部分に分解することができる。 私たちのアーキテクチャは、モデルのサイズを減らすために、すべてのレイヤで中央テンソルを共有しています。
  論文  参考訳（メタデータ） (2023-03-27T02:34:09Z)
• PDSketch: Integrated Planning Domain Programming and Learning [86.07442931141637]
  我々は PDSketch という新しいドメイン定義言語を提案する。 これにより、ユーザーはトランジションモデルで柔軟にハイレベルな構造を定義できる。 移行モデルの詳細は、トレーニング可能なニューラルネットワークによって満たされる。
  論文  参考訳（メタデータ） (2023-03-09T18:54:12Z)
• Learning to Grow Pretrained Models for Efficient Transformer Training [72.20676008625641]
  そこでは、より小さなモデルのパラメータを線形にマッピングして、より大きなモデルを初期化する。 言語と視覚のトランスフォーマーをまたいだ実験では、学習した線形成長演算子(LiGO)が、スクラッチから最大50%の計算コストを節約できることが示されています。
  論文  参考訳（メタデータ） (2023-03-02T05:21:18Z)
• NAR-Former: Neural Architecture Representation Learning towards Holistic Attributes Prediction [37.357949900603295]
  本稿では,属性の全体的推定に使用できるニューラルネットワーク表現モデルを提案する。 実験の結果,提案するフレームワークは,セルアーキテクチャとディープニューラルネットワーク全体の遅延特性と精度特性を予測できることがわかった。
  論文  参考訳（メタデータ） (2022-11-15T10:15:21Z)
• GradMax: Growing Neural Networks using Gradient Information [22.986063120002353]
  本稿では,学習中に学習内容に影響を与えることなく新たなニューロンを付加し,トレーニングのダイナミクスを改良する手法を提案する。 この手法をGradMax(GradMax)と呼び、様々な視覚タスクやアーキテクチャにおいてその効果を実証する。
  論文  参考訳（メタデータ） (2022-01-13T18:30:18Z)
• GradInit: Learning to Initialize Neural Networks for Stable and Efficient Training [59.160154997555956]
  ニューラルネットワークを初期化するための自動化およびアーキテクチャ手法であるgradinitを提案する。 各ネットワーク層の分散は、SGDまたはAdamの単一ステップが最小の損失値をもたらすように調整される。 また、学習率のウォームアップを伴わずに、オリジナルのPost-LN Transformerを機械翻訳用にトレーニングすることもできる。
  論文  参考訳（メタデータ） (2021-02-16T11:45:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。