論文の概要: Bi-Phase Training: Learning Efficiently From Scratch

• arxiv url: http://arxiv.org/abs/2610.37934v1
• Date: Tue, 27 Oct 2026 20:25:42 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-31 05:25:12.328524
• Title: Bi-Phase Training: Learning Efficiently From Scratch
• Title（参考訳）: 双方向トレーニング:スクラッチから効果的に学習する
• Abstract要約: Bi-Phase Training (BPT) は、高次学習力学を保存するパラメータ効率の事前学習手法である。 BPTは、各ウェイト更新を、制約付き高階の左/右変換の合成としてパラメータ化する。
• 参考スコア（独自算出の注目度）: 3.4961780690075854
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Pre-training foundational models is computationally expensive as models scale. In this work, we introduce Bi-Phase Training (BPT), a parameter-efficient pre-training method that preserves the high-rank learning dynamics observed in full-parameter optimization with substantially reduced trainable parameters. BPT parameterizes each weight update as a composition of constrained high-rank left/right transformations via trainable diagonal matrices and low-rank adapters whose updates are periodically merged into the frozen base weights, resulting in a compounding expansion of accessible directions during training. Across language-model pre-training from scratch (Qwen2.5 models from 100M to 1.5B parameters and OLMo-2-1B) on FineWeb-Edu (10B and 100B tokens), BPT achieves validation perplexity close to full-parameter baselines while using far fewer trainable parameters; e.g., at the 1.5B scale, BPT uses 66% fewer trainable parameters with only a small validation-perplexity gap. Additionally, a comprehensive evaluation across diverse downstream tasks shows that BPT preserves much of the full-parameterized model's downstream performance.
• Abstract（参考訳）: 基礎モデルの事前学習は、モデルスケールとして計算コストがかかる。 本研究では,パラメータ効率のよい事前学習法であるBi-Phase Training (BPT)を導入する。 BPTは、各ウェイト更新を、トレーニング可能な対角行列と、定期的に凍結されたベースウェイトにマージされたローランクアダプタを介して、制限された高次/高次変換の合成としてパラメータ化し、トレーニング中にアクセス可能な方向を複合的に拡張する。 言語モデル(100Mから1.5BまでのQwen2.5モデルと10Bと100BトークンのOLMo-2-1B)をスクラッチから事前トレーニングすることで、BPTはトレーニング可能なパラメータをはるかに少なく使用しながら、フルパラメータベースラインに近い検証パープレキシティを実現する。 さらに、様々なダウンストリームタスクに対する包括的な評価は、BPTがフルパラメータ化モデルのダウンストリーム性能の多くを保っていることを示している。

関連論文リスト

• Fantastic Pretraining Optimizers and Where to Find Them [59.56075036649332]
  AdamWは長い間、言語モデルの事前訓練において支配的な勾配だった。 行列ベースの行列の高速化はモデルスケールに逆比例する。
  論文  参考訳（メタデータ） (2025-09-02T07:43:22Z)
• dots.llm1 Technical Report [22.612448834536067]
  dots.llm1は142Bパラメータのうち14Bパラメータを活性化する大規模なMoEモデルである。 トレーニングと推論のコストを削減しつつ、最先端のモデルと同等のパフォーマンスを提供する。
  論文  参考訳（メタデータ） (2025-06-06T05:51:29Z)
• Low-rank Attention Side-Tuning for Parameter-Efficient Fine-Tuning [19.17362588650503]
  低ランク・アテンション・サイドチューニング (LAST) は低ランク・アテンション・モジュールのみで構成されるサイドネットワークを訓練する。 LASTは、複数の最適化目標に対して高い並列性を示し、下流タスク適応において非常に効率的である。
  論文  参考訳（メタデータ） (2024-02-06T14:03:15Z)
• Scaling & Shifting Your Features: A New Baseline for Efficient Model Tuning [126.84770886628833]
  既存の微調整法は、事前訓練されたモデルの全てのパラメータ(フル微調整)をチューニングするか、最後の線形層(線形プローブ)のみをチューニングする。 そこで本研究では,SSFと呼ばれるパラメータ効率の高いファインタニング手法を提案する。
  論文  参考訳（メタデータ） (2022-10-17T08:14:49Z)
• Parameter-Efficient Sparsity for Large Language Models Fine-Tuning [63.321205487234074]
  私たちはaを提案します。 Sparse- efficient Sparse Training (PST) は、スパース・アウェア・トレーニング中にトレーニング可能なパラメータの数を減少させる手法である。 多様なネットワーク(BERT、RoBERTa、GPT-2)を用いた実験では、PSTは従来のスパーシリティ法よりも同等以上の性能を示した。
  論文  参考訳（メタデータ） (2022-05-23T02:43:45Z)
• DSEE: Dually Sparsity-embedded Efficient Tuning of Pre-trained Language Models [152.29364079385635]
  事前訓練されたモデルが大きくなればなるほど、微調整のプロセスは時間がかかり、計算コストがかかる可能性がある。 本稿では,重み更新と最終モデルの重み付けに先立って,疎度を活用することで,資源・パラメータ効率の微調整を行うフレームワークを提案する。 提案するフレームワークは,Dually Sparsity-Embeded Efficient Tuning (DSEE)と呼ばれ,パラメータ効率のよい微調整とリソース効率の推論という2つの重要な目標を達成することを目的としている。
  論文  参考訳（メタデータ） (2021-10-30T03:29:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。