論文の概要: Finite-Size Gradient Transport in Large Language Model Pretraining: From Cascade Size to Intensive Transport Efficiency
- arxiv url: http://arxiv.org/abs/2605.02968v1
- Date: Sun, 03 May 2026 12:21:14 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-05-06 19:35:43.546851
- Title: Finite-Size Gradient Transport in Large Language Model Pretraining: From Cascade Size to Intensive Transport Efficiency
- Title（参考訳）: 大規模言語モデルの事前学習における有限サイズ勾配輸送:カスケードサイズから集中輸送効率へ
- Authors: Ping Wang, Yan-Qi Du,
- Abstract要約: 実言語モデルトレーニングのための有限サイズの勾配変換フレームワークを,カスケードサイズ,持続時間,絶対輸送,集中輸送効率を分離した5つの観測可能な$(D,z,,,v_mathrmrel)$に基づいて導入する。
153個のチェックポイント差分更新フィールドから構築した5つのスケールのPythiaアソシエイトデータセットとともに,Pico-LMの4つのスケールと125個のアライメントステップの生段階の測定を行った。
- 参考スコア（独自算出の注目度）: 2.2456632690170846
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: We introduce a finite-size gradient-transport framework for real language-model training, based on five observables $(D,z,β,δ,v_{\mathrm{rel}})$ that separate cascade size, duration, absolute transport, and intensive transport efficiency. We analyze direct raw-gradient measurements from Pico-LM across four scales and 125 aligned steps, together with a five-scale Pythia companion dataset built from 153 aligned checkpoint-difference update fields. The same algebraic closure holds in both families, and both share a near-unity cascade-size backbone, but they occupy distinct transport regimes: Pico-LM shows positive duration scaling and negative intensive-efficiency scaling, whereas Pythia remains near the $D=1$ baseline with only weak positive efficiency scale dependence. Randomized-field controls give nearly matched null floors in the intensive and duration channels, indicating that the contrast reflects different real departures from a shared null skeleton rather than different null calibrations. The families also differ in stepwise power-law compressibility: Pico-LM retains clean duration and efficiency power laws, whereas Pythia preserves the size backbone but shows weaker one-slope compressibility in those channels. External performance associations are correspondingly channel-level, carried mainly by $v_{\mathrm{rel}}$ and normalized cascade duration, while $D(t)$ acts as a shared size backbone without a significant exponent-level performance association. These results support a reusable transport measurement framework without claiming a universal fixed point or a first-principles derivation of neural scaling laws.
- Abstract（参考訳）: 実言語モデルトレーニングのための有限サイズ勾配変換フレームワークを, カスケードサイズ, 持続時間, 絶対輸送, 集中輸送効率を分離する, 5つの観測可能な $(D,z,β,δ,v_{\mathrm{rel}})$ に基づいて導入する。
153のチェックポイント差分更新フィールドから構築した5スケールのPythiaアソシエイトデータセットとともに,Pico-LMの4つのスケールと125のステップで直接の生段階測定を解析した。
ピコ-LMは正の持続時間スケーリングと負の集中効率スケーリングを示し、ピシアはD=1$ベースラインに近く、正の効率スケールは弱い。
ランダムフィールド制御は、集中チャネルと持続チャネルでほぼ一致するヌルフロアを与え、コントラストは異なるヌルキャリブレーションではなく共有ヌルスケルトンからの実際の離脱を反映していることを示している。
ピコ-LMはクリーンな持続時間と効率の法則を保ち、ピシアはバックボーンのサイズを保っているが、これらのチャネルではより弱いワンスロープ圧縮性を示す。
外部パフォーマンスアソシエーションは、主に$v_{\mathrm{rel}}$と正規化されたカスケード期間によって担われ、$D(t)$は大きな指数レベルのパフォーマンスアソシエーションなしで共有サイズバックボーンとして機能する。
これらの結果は、普遍的な固定点やニューラルスケーリング法則の第1原理の導出を主張することなく、再利用可能な輸送測定フレームワークをサポートする。
関連論文リスト
- Structure-Informed Estimation for Pilot-Limited MIMO Channels via Tensor Decomposition [51.56484100374058]
本稿では、スパース観測から低ランクテンソル完備化としてパイロットリミテッドチャネル推定を定式化する。
合成チャネル実験による最小二乗平均二乗誤差(NMSE)の最小二乗平均誤差(LS)に対する改善
DeepMIMO線トレーシングチャネルの評価では、純粋なテンソル法よりも24-44%NMSEが減少している。
論文 参考訳（メタデータ） (2026-02-03T23:38:05Z) - Theoretical Foundations of Scaling Law in Familial Models [46.506708373314375]
モデルサイズ(N)とトレーニングトークン(D)とともに、基本的なスケーリング変数としてグラニュラリティ(G)を導入します。
この結果から, 極小指数の乗法則に準じる粒度ペナルティが明らかとなった。
のパラダイムを検証することで、デプロイメントの柔軟性が達成可能であることを実証しています。
論文 参考訳（メタデータ） (2025-12-29T12:01:58Z) - When Distance Distracts: Representation Distance Bias in BT-Loss for Reward Models [55.444604697848426]
リワードモデルは、RLHFのフレームワーク内のLarge Language Model (LLM)アライメントの中心である。
報酬モデリングで使用される標準的な目的はBradley-Terry(BT)損失であり、これは選択された2つの応答と拒否された応答からなるペアワイズデータから学習する。
適応型ペアワイド正規化方式であるNormBTを提案する。
論文 参考訳（メタデータ） (2025-12-06T08:15:37Z) - MLPMoE: Zero-Shot Architectural Metamorphosis of Dense LLM MLPs into Static Mixture-of-Experts [0.0]
大規模言語モデル(LLM)は、主に高密度トランスフォーマーとしてデプロイされ、すべてのトークンに対してフィードフォワードブロック内の全てのパラメータがアクティブになる。
MoEfication、CMoE、ToMoE、MoOREといった最近のアップサイクリング手法は、高密度フィードフォワードネットワーク内の疎小で半モジュラーなサブ構造に有用な計算の大部分が存在していることを明らかにしている。
本稿では,高密度の変圧器ブロックを静的な高心性混合体に再構成する学習自由変換であるMoE(MLP-Experts)を紹介する。
論文 参考訳（メタデータ） (2025-11-26T06:14:26Z) - Multidimensional Bayesian Active Machine Learning of Working Memory Task Performance [4.8878998002743606]
作業記憶再構築作業におけるベイズ的2軸能動的分類手法の有効性を示す。
若年者におけるGP駆動適応モード(AM)と従来の適応階段古典モード(CM)を比較した。
AM推定は他のサンプリング手法よりも早く収束し、完全なモデルの正確な適合には30のサンプルしか必要としないことを示した。
論文 参考訳（メタデータ） (2025-10-01T00:48:14Z) - Entropy-Informed Weighting Channel Normalizing Flow [7.751853409569806]
正規化および機能依存の$mathttShuffle$演算を提案し,それをバニラマルチスケールアーキテクチャに統合する。
このような操作はエントロピー増加方向の変数を誘導するので、$mathttShuffle$演算をemphEntropy-Informed Weighting Channel Normalizing Flow (EIW-Flow)と呼ぶNFを参照する。
論文 参考訳（メタデータ） (2024-07-06T04:46:41Z) - Thinking Forward: Memory-Efficient Federated Finetuning of Language Models [21.438831528354513]
連合学習環境における大規模言語モデル(LLM)の微調整には、リソース制約のあるデバイスに対して過剰なメモリを必要とする。
本稿では,LLMのトレーニング可能な重みをクライアント間で分割するFLアルゴリズムであるSpryを紹介する。
Spryはメモリフットプリントが低く、精度が高く、高速な収束を実現している。
論文 参考訳（メタデータ） (2024-05-24T13:37:48Z) - Towards Continual Learning Desiderata via HSIC-Bottleneck
Orthogonalization and Equiangular Embedding [55.107555305760954]
本稿では,レイヤワイドパラメータのオーバーライトや決定境界の歪みに起因する,概念的にシンプルで効果的な手法を提案する。
提案手法は,ゼロの指数バッファと1.02倍の差が絶対的に優れていても,競争精度が向上する。
論文 参考訳（メタデータ） (2024-01-17T09:01:29Z) - ScaleLong: Towards More Stable Training of Diffusion Model via Scaling
Network Long Skip Connection [152.01257690637064]
UNetにおけるLCCの係数は,UNetの前方・後方伝播の安定性とロバスト性に大きな影響を及ぼすことを示す。
UNet における LSC の係数をスケールし,UNet のトレーニング安定性を向上する,効果的な係数スケーリングフレームワーク ScaleLong を提案する。
論文 参考訳（メタデータ） (2023-10-20T14:45:52Z) - Winner-Take-All Column Row Sampling for Memory Efficient Adaptation of Language Model [89.8764435351222]
分散を低減した行列生成のために, WTA-CRS と呼ばれる新しい非バイアス推定系を提案する。
我々の研究は、チューニング変換器の文脈において、提案した推定器が既存のものよりも低い分散を示すという理論的および実験的証拠を提供する。
論文 参考訳（メタデータ） (2023-05-24T15:52:08Z) - DSEE: Dually Sparsity-embedded Efficient Tuning of Pre-trained Language
Models [152.29364079385635]
事前訓練されたモデルが大きくなればなるほど、微調整のプロセスは時間がかかり、計算コストがかかる可能性がある。
本稿では,重み更新と最終モデルの重み付けに先立って,疎度を活用することで,資源・パラメータ効率の微調整を行うフレームワークを提案する。
提案するフレームワークは,Dually Sparsity-Embeded Efficient Tuning (DSEE)と呼ばれ,パラメータ効率のよい微調整とリソース効率の推論という2つの重要な目標を達成することを目的としている。
論文 参考訳（メタデータ） (2021-10-30T03:29:47Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。