論文の概要: PaPaformer: Language Model from Pre-trained Parallel Paths

• arxiv url: http://arxiv.org/abs/2508.00544v2
• Date: Fri, 08 Aug 2025 06:55:08 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-08-11 12:11:10.854121
• Title: PaPaformer: Language Model from Pre-trained Parallel Paths
• Title（参考訳）: PaPaformer: 事前訓練された並列パスからの言語モデル
• Authors: Joonas Tapaninaho, Mourad Oussala,
• Abstract要約: 本稿では,デコーダのみのトランスフォーマーに基づく言語モデルを,日/週ではなく数時間で学習し,評価する方法について検討する。 我々は、デコーダのみのトランスフォーマーアーキテクチャの変種であるtextitPaPaformerを導入し、低次元の並列パスをより大きなモデルに組み合わせた。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The training of modern large-language models requires an increasingly amount of computation power and time. Even smaller variants, such as small-language models (SLMs), take several days to train in the best-case scenarios, often requiring multiple GPUs. This paper explores methods to train and evaluate decoder-only transformer-based language models in hours instead of days/weeks. We introduces \textit{PaPaformer}, a decoder-only transformer architecture variant, whose lower-dimensional parallel paths are combined into larger model. The paper shows that these lower-dimensional paths can be trained individually with different types of training data and then combined into one larger model. This method gives the option to reduce the total number of model parameters and the training time with increasing performance. Moreover, the use of parallel path structure opens interesting possibilities to customize paths to accommodate specific task requirements.
• Abstract（参考訳）: 現代の大規模言語モデルのトレーニングには、ますます多くの計算能力と時間を必要とする。 小さな言語モデル(SLM)のような小さなバリエーションでさえ、ベストケースシナリオでトレーニングするのに数日を要し、しばしば複数のGPUを必要とする。 本稿では,デコーダのみのトランスフォーマーに基づく言語モデルを,日/週ではなく数時間で学習し,評価する方法について検討する。 我々は、デコーダのみのトランスフォーマーアーキテクチャの変種である \textit{PaPaformer} を導入し、低次元の並列パスをより大きなモデルに組み合わせた。 本稿は、これらの低次元パスを、異なる種類のトレーニングデータを用いて個別に訓練し、1つの大きなモデルに組み込むことができることを示す。 本手法では,モデルパラメータの総数と,性能向上に伴うトレーニング時間を削減できる。 さらに、並列パス構造を使用することで、特定のタスク要求を満たすためにパスをカスタマイズする興味深い可能性が開ける。

関連論文リスト

• Cross-model Control: Improving Multiple Large Language Models in One-time Training [34.98931804630706]
  クロスモデル制御(CMC)は、1回トレーニングで複数の大規模言語モデルを改善する手法である。 この知見に基づいて、最小数のパラメータを持つ小さな言語モデルを組み込む。 本稿では,PM-Mined という新しいトークンマッピング手法を提案する。
  論文  参考訳（メタデータ） (2024-10-23T06:52:09Z)
• DiPaCo: Distributed Path Composition [31.686642863608558]
  本稿では,機械学習モデルのためのモジュールアーキテクチャとトレーニングアプローチを提案する。 トレーニング中、DiPaCoは共有モジュールのセットを通じてパスで配布する。 推論時には、モデル圧縮を必要とせずに、各入力に対して1つのパスだけを実行する必要がある。
  論文  参考訳（メタデータ） (2024-03-15T18:26:51Z)
• $\Delta$-Patching: A Framework for Rapid Adaptation of Pre-trained Convolutional Networks without Base Performance Loss [71.46601663956521]
  大規模なデータセットで事前トレーニングされたモデルはしばしば、時間とともにやってくる新しいタスクやデータセットをサポートするように微調整される。 モデルコピーを格納することなく、効率よく微調整ニューラルネットワークモデルに$Delta$-Patchingを提案する。 我々の実験によると、$Delta$-Networksは、トレーニングされるパラメータのごく一部しか必要とせず、初期のモデルパッチ作業より優れています。
  論文  参考訳（メタデータ） (2023-03-26T16:39:44Z)
• Contrastive Alignment of Vision to Language Through Parameter-Efficient Transfer Learning [60.26952378997713]
  コントラスト的視覚言語モデル(例えばCLIP)は、コントラスト的トレーニングを通じて視覚モデルと言語モデルの全てのパラメータを更新することによって作成される。 パラメータ更新の最小セット($7%)が、フルモデルトレーニングと同じパフォーマンスを実現可能であることを示す。 既存の知識がパラメータ効率のトレーニングにおいてより強く保存されていることを示す。
  論文  参考訳（メタデータ） (2023-03-21T14:12:08Z)
• eP-ALM: Efficient Perceptual Augmentation of Language Models [70.47962271121389]
  本稿では,既存モデルの適応性を向上するための直接的な取り組みを提案し,認識を伴う言語モデルの拡張を提案する。 視覚言語タスクに事前訓練されたモデルを適用するための既存のアプローチは、その効率を妨げているいくつかの重要なコンポーネントに依存している。 総パラメータの99%以上を凍結し,1つの直線射影層のみをトレーニングし,1つのトレーニング可能なトークンのみを予測することにより,我々のアプローチ(eP-ALM)は,VQAとCaptioningの他のベースラインよりも有意に優れていることを示す。
  論文  参考訳（メタデータ） (2023-03-20T19:20:34Z)
• Does compressing activations help model parallel training? [64.59298055364336]
  モデル並列性に対する圧縮法の有効性に関する実験的検討を行った。 圧縮アルゴリズムの3つの共通クラスを実装し,評価する。 我々は160以上の設定と8つの一般的なデータセットでこれらの手法を評価した。
  論文  参考訳（メタデータ） (2023-01-06T18:58:09Z)
• Lego-MT: Learning Detachable Models for Massively Multilingual Machine Translation [48.37939354609931]
  そこで我々は,Lego-MTを効果的に分離可能なモデルとして構築する,新しい効率的なトレーニングレシピを提案する。 実験の結果、1.2BパラメータのLego-MTでは平均3.2spBLEUが得られた。 提案したトレーニングレシピは、従来のマルチウェイトレーニング方法よりも28.2$times$のスピードアップを提供する。
  論文  参考訳（メタデータ） (2022-12-20T18:54:08Z)
• ViViT: A Video Vision Transformer [75.74690759089529]
  ビデオ分類にpure-transformerベースのモデルを提案する。 本モデルでは,入力ビデオから時間トークンを抽出し,一連のトランスフォーマー層で符号化する。 トレーニング中にモデルを効果的に正規化し、トレーニング済みの画像モデルを利用して比較的小さなデータセットでトレーニングできることを示します。
  論文  参考訳（メタデータ） (2021-03-29T15:27:17Z)
• TeraPipe: Token-Level Pipeline Parallelism for Training Large-Scale Language Models [60.23234205219347]
  TeraPipeは、Transformerベースの言語モデルの同期モデル並列トレーニングのための高性能トークンレベルのパイプライン並列アルゴリズムです。 TeraPipeは、AWSクラスタ上で1750億のパラメータを持つ最大のGPT-3モデルのトレーニングを5.0倍高速化できることを示す。
  論文  参考訳（メタデータ） (2021-02-16T07:34:32Z)
• Automatic Cross-Replica Sharding of Weight Update in Data-Parallel Training [12.36664837965624]
  本稿では,レプリカ間で自動的に重み更新を行う手法を提案する。 本手法は,クラウドTPU上での典型的な画像モデルと言語モデルにおいて,大幅な高速化を実現する。
  論文  参考訳（メタデータ） (2020-04-28T07:13:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。