論文の概要: Block-Level Weight-Space Structure Persists Under Post-Training: An Empirical Study Across LLM Families
- arxiv url: http://arxiv.org/abs/2609.26147v1
- Date: Sun, 23 Aug 2026 05:15:25 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-28 05:09:55.890028
- Title: Block-Level Weight-Space Structure Persists Under Post-Training: An Empirical Study Across LLM Families
- Title（参考訳）: ポストトレーニング下のブロックレベル重量空間構造パーシスト:LLM家庭における実証的研究
- Abstract要約: ポストトレーニングが重み空間幾何学をどう変えるかを研究する。
当社はLinkerLLMという遅延ローダを開発しています。
- 参考スコア（独自算出の注目度）: 3.556355987197792
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Modern LLMs are deployed as families of post-trained variants (base, instruct, chat, code) derived from a shared set of pre-trained weights. We present an empirical study of how post-training transforms weight-space geometry, covering eight configurations across four architecture families (Qwen2.5, Llama-3.1/3.2, Mistral, Gemma-2). We identify a granularity gap: post-training modifies every tensor (zero of 291-339 tensors remain byte-identical, so hash-based deduplication achieves 0% savings), yet preserves block-level structure (mean cosine similarity exceeds 0.99 and relative Frobenius distance stays below 0.13). Post-training therefore acts as a structured perturbation that shifts every parameter while leaving block-level geometry intact. The property is not universal: independently trained specializations (for example, Qwen2.5-Coder) attain cosine similarity around 0.64 with the general base, indicating a disconnected region of weight space. Perturbation magnitude varies systematically with model scale, architecture family, and post-training recipe. As a practical application, we build LinkerLLM, a lazy loader that aliases shareable blocks across co-resident variants, achieving 18-48% GPU memory savings and enabling up to five 7B-parameter variants on a single 24 GB consumer GPU. Five of eight configurations retain at least 94% of the unshared variant's quality on MMLU, ARC-Challenge, HellaSwag, and WinoGrande; the remaining three (Mistral-7B, Gemma-2-2B, Llama-3.2-1B) have one below-threshold benchmark each (87-91%), which we report transparently rather than gate the block-sharing decision on a single threshold.
- Abstract（参考訳）: 現代のLLMは、事前訓練された重みの共有セットから派生したポストトレーニング後の変種(ベース、インストラクション、チャット、コード)のファミリーとしてデプロイされる。
本研究では,4つのアーキテクチャファミリ(Qwen2.5,Llama-3.1/3.2,Mistral,Gemma-2)にまたがる8つの構成を網羅し,ポストトレーニングが重み空間幾何学をどのように変換するかを実証研究する。
ポストトレーニングはすべてのテンソル(291-339テンソルのゼロ)を調整し、したがってハッシュベースの重複は0%の節約を達成するが、ブロックレベルの構造を保持する(平均コサイン類似度は0.99を超え、相対フロベニウス距離は0.13以下である)。
したがってポストトレーニングは、ブロックレベルの幾何をそのまま残しながら全てのパラメータをシフトする構造的摂動として機能する。
この性質は普遍的ではなく、独立に訓練された特殊化(例えば Qwen2.5-Coder )は一般基底と 0.64 のコサイン類似性を達成し、重み空間の非連結領域を示している。
摂動のマグニチュードは、モデルスケール、アーキテクチャファミリ、トレーニング後のレシピによって体系的に変化する。
現実的なアプリケーションとして、我々はLinkerLLMという遅延ローダを構築し、コレジデントな変種をまたいで共有可能なブロックをエイリアスし、18-48%のGPUメモリを節約し、1つの24GBの消費者向けGPU上で最大5つの7Bパラメータの変種を可能にする。
8つの構成のうち、少なくとも94%はMMLU、ARC-Challenge、HellaSwag、WinoGrandeで、残りの3つ(Mistral-7B、Gemma-2B、Llama-3.2-1B)は1つ以下の閾値(87-91%)を持つ。
関連論文リスト
- Where Post-Training Quantization Breaks Text Embedders: A Measured Map Across Four Embedder Families [2.8678936590409028]
ビット幅とグループサイズのグリッドにまたがる4つのアーキテクチャファミリから5つのチェックポイントを定量化する。
全ての証明は、前述の通り転送に失敗する。
安価な再構成プロキシは、均一なビット幅のスクリーニングに有用であるが、どのテンソルを保護するかを選択する上ではかなり信頼性が低い。
論文 参考訳（メタデータ） (2026-09-14T21:57:47Z) - On the Design of Qwen3.8-Next Architecture: Evaluation, Efficiency, and Training Stability [57.03393882933515]
Qwen3.8-Flash-Nextは125Bパラメータ、トークンあたり6Bアクティベートされ、加速器から保持されるn-gram埋め込みテーブルの51Bパラメータを持つスパースミックス・オブ・エキスパートモデルである。
トレーニング前の14のベンチマークでは、このモデルは前モデルの397B-A17Bを8点、残りを少なくとも2.6ポイント、アクティベートされたパラメータが1/3、トレーニングトークンが1/3、トレーニング用FLOPが1/9であった。
論文 参考訳（メタデータ） (2026-08-31T06:35:07Z) - LegoLM: Structured Weight Sharing for Large Language Models [0.0]
大規模言語モデルのための構造付き重み共有圧縮フレームワークであるLegoLMを提案する。
LegoLMは2つの障害モードを解決している。
GPT-2 の小型(124M) と Mistral-7B 全体で、LegoLM は Mistral-7B 上の 4.41X 圧縮で +0.03% PPL の劣化を達成する。
論文 参考訳（メタデータ） (2026-08-09T11:51:14Z) - Similarity-Guided Curriculum Fine-Tuning of LLMs for Neural Architecture Synthesis [48.83701310501069]
ニューラルアーキテクチャ探索(NAS)のためのニューラルネットワークコードにプログレッシブなカリキュラムを構築するMinHashベースの類似性スケジューリングフレームワークを導入する。
我々は,CIFAR-10画像分類におけるLEMURベンチマークにおいて,オリンピックコード7Bの枠組みを評価する。
SVHNでは,カリキュラムなしの直接ベースモデル生成により,CIFAR-10相当値よりもかなり低い精度(60.5%)で27%のSRが得られる。
論文 参考訳（メタデータ） (2026-07-13T14:14:30Z) - Bag of Dims: Training-Free Mechanistic Interpretability via Dimension-Level Sign Patterns [0.0]
我々は、すでにトレーニング不要でアーキテクチャ全般的な機能ベースを提供しているトランスフォーマー隠蔽状態の標準基底を示す。
このBag of Dimsフレームワークを、言語にまたがる7つのモデルで検証する。
論文 参考訳（メタデータ） (2026-06-10T19:34:31Z) - Measuring Maximum Activations in Open Large Language Models [60.3514350516308]
集中度, MoE, 視覚言語, 中間訓練, 命令調整型変異にまたがる8つのオープンファミリーから27個のチェックポイントで, グローバルおよび階層的に最大値を測定した。
最大アクティベーションサイズは、単純なサイズの副産物ではなく、ファミリー、アーキテクチャ、トレーニングステージに結びついているモデル特性である、と結論付けます。
論文 参考訳（メタデータ） (2026-05-15T03:31:51Z) - Normalized Architectures are Natively 4-Bit [49.13186675123547]
重みと隠れ表現を単位超球面に制限するアーキテクチャであるnGPTは、本質的に低精度算術よりも堅牢である。
本手法は,最大3B/30Bパラメータの1.2B密度モデルとハイブリッド(Mamba-Transformer)MoEモデルの両方で検証する。
論文 参考訳（メタデータ） (2026-05-07T11:54:07Z) - Delta-Based Neural Architecture Search: LLM Fine-Tuning via Code Diffs [48.83701310501069]
大規模言語モデル(LLM)は、ニューラルアーキテクチャ生成の強力な可能性を示している。
既存のアプローチは、ゼロから完全なモデル実装を生成します。
我々はデルタ符号生成法を提案し、細調整されたLLMはコンパクトな統一差分を生成する。
論文 参考訳（メタデータ） (2026-05-06T13:32:05Z) - THEIA: Learning Complete Kleene Three-Valued Logic in a Pure-Neural Modular Architecture [0.0]
THEIAは2.75Mのモジュラー・ニューラルアーキテクチャで、外部のシンボル推論や手書きのK3ゲートプリミティブを使わずにタスクデータから完全Kleene 3値論理(K3)真理表を学習する。
トランスフォーマーのベースラインは39の規則すべてで99%に到達し、フラットは0.04pp以内のフェーズ1の精度でTheIAと一致している。
論文 参考訳（メタデータ） (2026-04-13T10:44:15Z) - Breaking the Memory Barrier: Near Infinite Batch Size Scaling for Contrastive Loss [59.835032408496545]
本稿では, コントラスト損失計算を任意の小ブロックに分割するタイルベースの戦略を提案する。
分散システムの階層構造を活用するためのマルチレベルタイリング戦略も導入する。
SOTAメモリ効率のソリューションと比較すると、同等の速度を維持しながら、メモリの2桁の削減を実現している。
論文 参考訳（メタデータ） (2024-10-22T17:59:30Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。