論文の概要: Complexity-Guided Component-wise Initialization for Language Model Pretraining

• arxiv url: http://arxiv.org/abs/2607.09204v1
• Date: Fri, 10 Jul 2026 08:49:39 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-13 14:47:12.81281
• Title: Complexity-Guided Component-wise Initialization for Language Model Pretraining
• Title（参考訳）: 言語モデル事前学習のための複雑化誘導コンポーネントワイド初期化
• Abstract要約: 事前訓練された言語モデルは、しばしば構造化されたウェイトスペクトルを示し、トレーニングが層単位でもコンポーネント的にも同様の組織を生成する可能性があることを示唆している。 我々は、サイズ、言語、トークン化器、トレーニングコーパスに異なる11のGPT-2スタイルのチェックポイントを解析する。 我々は、事前訓練されたモデルのコンポーネントワイドサイズとスペクトルプロファイルを模倣するスキームを構築した。 以上の結果から,事前学習したスペクトルは,訓練されたモデル構造の診断に有用であることが示唆されるが,有効再利用には,コンポーネント単位のスケールや特異値の形状よりもリッチな情報保存が必要である可能性が示唆された。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Pretrained language models often exhibit structured weight spectra, suggesting that training may repeatedly produce similar layerwise and component-wise organization. We ask whether these recurring spectral patterns can be reused as an initialization signal for GPT-2-style language-model pretraining. First, we analyze eleven pretrained GPT-2-style checkpoints that vary in size, language, tokenizer, and training corpus, measuring Frobenius norm and effective-rank entropy across layers and Transformer subcomponents. The checkpoints show shared depth trends, especially increasing scale and stronger spectral concentration in residual-writing matrices. We then construct initialization schemes that imitate the component-wise magnitudes and spectral profiles of pretrained models, and compare them with several weight initialization methods. These initializers visibly change the model's structural spectral patterns, but the evaluation results do not show a corresponding performance advantage. Pretrained-weight reuse remains competitive, while coarse spectral matching alone is not a reliable optimization strategy. Our results suggest that pretrained spectra are useful diagnostics of trained model structure, but that effective reuse likely requires preserving richer information than component-wise scale and singular-value shape.
• Abstract（参考訳）: 事前訓練された言語モデルは、しばしば構造化されたウェイトスペクトルを示し、トレーニングが層単位でもコンポーネント的にも同様の組織を生成する可能性があることを示唆している。 GPT-2スタイルの言語モデル事前学習における初期化信号として,これらの繰り返しスペクトルパターンを再利用できるかどうかを問う。 まず,各層およびトランスフォーマーサブコンポーネント間のFrobeniusノルムと有効ランクエントロピーを測定し,サイズ,言語,トークン化,トレーニングコーパスの異なるGPT-2スタイルの11の事前学習チェックポイントを解析した。 チェックポイントは, 残留書き込み行列における共有深度傾向, 特に増大するスケールと強いスペクトル濃度を示す。 次に、事前訓練されたモデルの成分規模やスペクトルプロファイルを模倣する初期化スキームを構築し、それらをいくつかの重み付け初期化法と比較する。 これらの初期化器はモデルの構造スペクトルパターンを視覚的に変化させるが、評価結果は対応する性能上の優位性を示すものではない。 一方、粗いスペクトルマッチングだけでは信頼性の高い最適化戦略ではない。 以上の結果から,事前学習したスペクトルは,訓練されたモデル構造の診断に有用であることが示唆されるが,有効再利用には,コンポーネント単位のスケールや特異値の形状よりもリッチな情報保存が必要である可能性が示唆された。

関連論文リスト

• Empirical Characterization of Learning Geometry in Hybrid Quantum Forecasting Models [1.7643828635590282]
  我々は、コンパクトなハイブリッド量子予測モデルの学習力学と、構造的に整列した古典的ベースラインを比較した。 古典的なモデルはより強い初期目標アライメントを示す一方、ハイブリッドモデルは一般的に、より集中度の低いカーネルスペクトルとより小さなカーネルドリフトを発達させる。
  論文  参考訳（メタデータ） (2026-08-19T23:24:32Z)
• Rank Is Not Capacity: Spectral Occupancy for Latent Graph Models [8.608322716392232]
  スペクトルプレフィックス抽出と容量目標表現分析(Spectra)を提案する。 分析の単位としてのランクを学習された正の半定値カーネルのスペクトルに置き換え、スペクトルが適合する範囲で同等となるようにトレース正規化する。 Spectraはパフォーマンス・フロンティアをトレースし、予測精度と実現された次元とのトレードオフを可視化する。
  論文  参考訳（メタデータ） (2026-05-11T18:46:53Z)
• Power Reinforcement Post-Training of Text-to-Image Models with Super-Linear Advantage Shaping [66.25536973294726]
  テキスト・トゥ・イメージ(T2I)モデルのポストトレーニング手法はハッキングに報いる傾向がある。 SLAS(Super-Linear Advantage Shaping)は、地方政策の分野を再考する。 SLASは、DanceGRPOベースラインを複数のバックボーンとベンチマークで一貫して上回っている。
  論文  参考訳（メタデータ） (2026-05-11T17:59:25Z)
• Enhancing LLM Training via Spectral Clipping [28.270053200038586]
  SPECTRAは、スペクトル-ノルム制約を強制する更新のスペクトル後クリッピングのためのフレームワークである。 我々は、SPECTRAがAdamW、Signum、AdEMAMixなどの様々なバリデーションの損失を均一に改善することを示す。
  論文  参考訳（メタデータ） (2026-03-15T10:16:40Z)
• Repeating vs. Non-Repeating FRBs: A Deep Learning Approach To Morphological Characterization [0.0]
  CHIME/FRB Catalog 2から記録された動的スペクトルに基づいて符号化された形態に基づく高速電波バースト(FRB)の分類のための深層学習手法 深層学習モデルは推論に利用できるため、FRBの形状が反復器や非反復器と似ているかどうかを予測できる。
  論文  参考訳（メタデータ） (2025-09-07T21:10:58Z)
• Self-Boost via Optimal Retraining: An Analysis via Approximate Message Passing [58.52119063742121]
  独自の予測と潜在的にノイズの多いラベルを使ってモデルをトレーニングすることは、モデルパフォーマンスを改善するためのよく知られた戦略である。 本稿では,モデルの予測と提供ラベルを最適に組み合わせる方法について論じる。 我々の主な貢献は、現在のモデルの予測と与えられたラベルを組み合わせたベイズ最適集約関数の導出である。
  論文  参考訳（メタデータ） (2025-05-21T07:16:44Z)
• Optimizing Singular Spectrum for Large Language Model Compression [95.7621116637755]
  SVDの分解したコンポーネントをデータ駆動で再スケールする新しい圧縮フレームワークであるSoCoを紹介する。 学習可能な特異スペクトルのおかげで、SoCoは重要度スコアに応じて成分を適応的にプーンする。 複数のLLMおよびベンチマークでの実験的な評価は、SoCoがモデル圧縮における最先端の手法を超越していることを示している。
  論文  参考訳（メタデータ） (2025-02-20T23:18:39Z)
• Dynamic Loss-Based Sample Reweighting for Improved Large Language Model Pretraining [55.262510814326035]
  既存のリウェイト戦略は主にグループレベルのデータの重要性に焦点を当てている。 動的・インスタンスレベルのデータ再重み付けのための新しいアルゴリズムを提案する。 当社のフレームワークでは,冗長データや非形式データを優先的に再重み付けする戦略を考案することが可能です。
  論文  参考訳（メタデータ） (2025-02-10T17:57:15Z)
• Rethinking Classifier Re-Training in Long-Tailed Recognition: A Simple Logits Retargeting Approach [102.0769560460338]
  我々は,クラスごとのサンプル数に関する事前知識を必要とせず,シンプルなロジットアプローチ(LORT)を開発した。 提案手法は,CIFAR100-LT, ImageNet-LT, iNaturalist 2018など,様々な不均衡データセットの最先端性能を実現する。
  論文  参考訳（メタデータ） (2024-03-01T03:27:08Z)
• Efficient GPT Model Pre-training using Tensor Train Matrix Representation [65.96485282393361]
  大規模なトランスフォーマーモデルは数十億のパラメータを特徴としており、デプロイが困難になり、スクラッチからトレーニングコストが禁じられている。 GPT-2アーキテクチャのパラメータ数を削減すべく、完全に接続された層の行列を対応するTrain Matrix(TTM)構造に置き換える。 GPTベースのモデルは最大40%のパラメータを格納し、元のモデルに匹敵するパープレキシティを示す。
  論文  参考訳（メタデータ） (2023-06-05T08:38:25Z)
• Learning Neural Eigenfunctions for Unsupervised Semantic Segmentation [12.91586050451152]
  スペクトルクラスタリング(英: Spectral clustering)は、異なるクラスタを構築するために画素のスペクトル埋め込みを計算する理論上の解である。 現在のアプローチは、まだスペクトル分解の非効率性と、試験データに適用する際の柔軟性に悩まされている。 この研究は、スペクトルクラスタリングをニューラルネットワークに基づく固有関数を用いてスペクトル埋め込みを生成するパラメトリックアプローチとしてキャストすることで、これらの問題に対処する。 実際には、神経固有関数は軽量であり、事前訓練されたモデルの特徴を入力とし、トレーニング効率を改善し、より密集した予測のための事前訓練されたモデルの可能性を解き放つ。
  論文  参考訳（メタデータ） (2023-04-06T03:14:15Z)
• Initialization and Regularization of Factorized Neural Layers [23.875225732697142]
  ディープネットにおける因子化層の初期化と規則化の方法を示す。 これらのスキームが翻訳と教師なしプリトレーニングの両方のパフォーマンスを向上させる方法を示しています。
  論文  参考訳（メタデータ） (2021-05-03T17:28:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。