論文の概要: Spectral Signatures of Large Language Models

• arxiv url: http://arxiv.org/abs/2607.03377v1
• Date: Fri, 03 Jul 2026 14:30:22 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-07 22:26:29.601416
• Title: Spectral Signatures of Large Language Models
• Title（参考訳）: 大規模言語モデルのスペクトル信号
• Authors: Zhuoying Zhang, Ishan V. Prasad, Yuanzhe Hu, Zihang Liu, Hengrui Luo, Pu Ren, Yaoqing Yang,
• Abstract要約: 大規模言語モデル(LLM)の管理と定量化のためのスペクトル形状に基づくメトリクスを提案する。 本手法では,各モデルのコンパクトなスペクトルシグネチャとして,重量経験スペクトル密度の形状情報を用いる。 このシグネチャは、事前訓練されたモデルの本質的な特性を捉え、訓練後の堅牢なままであり、モデルレベルの解析に適している。
• 参考スコア（独自算出の注目度）: 13.878105276531976
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The rapidly growing repository of publicly available large language models (LLMs) presents significant challenges for systematic management and quantification at scale, such as model lineage tracing, licensing, and evaluation. However, task-specific benchmarks are insufficient for this setting, as LLMs differ widely in architectures, scales, and training procedures. To address this challenge, we adopt spectral shape-based metrics for managing and quantifying LLMs based on Heavy-Tailed Self-Regularization theory. Our approach uses the shape information of the weight empirical spectral density as a compact spectral signature of each model. This signature captures intrinsic properties of pretrained models and remains robust during post-training, making it suitable for model-level analysis. In addition, this metric is data-free, computationally-efficient, and scale-invariant, enabling large-scale analysis in practice. Moreover, we curate a large and diverse model corpus consisting of major open-source LLM families, and use it to systematically benchmark spectral and non-spectral metrics across models and downstream tasks. We show that our spectral signature supports the tracking of the model lineage, the unsupervised clustering of similar models, and the quantification of the model performance. Overall, the proposed spectral signature provides a meaningful proxy for broad performance trends across LLMs, enabling efficient organization, comparison, and analysis of large model collections.
• Abstract（参考訳）: 一般公開されている大規模言語モデル(LLM)のリポジトリは急速に成長しており、モデル系統のトレースやライセンス、評価など、大規模に体系的な管理と定量化を行う上で重要な課題が提示されている。 しかし、LLMはアーキテクチャ、スケール、トレーニング手順で大きく異なるため、この設定ではタスク固有のベンチマークは不十分である。 この課題に対処するために,重心自己正則化理論に基づくLLMの管理と定量化のためのスペクトル形状に基づくメトリクスを採用する。 本手法では,各モデルのコンパクトなスペクトルシグネチャとして,重量経験スペクトル密度の形状情報を用いる。 このシグネチャは、事前訓練されたモデルの本質的な特性を捉え、訓練後の堅牢なままであり、モデルレベルの解析に適している。 さらに、この計量はデータフリー、計算効率、スケール不変であり、実際に大規模な分析を可能にする。 さらに、主要なオープンソースLLMファミリーからなる大規模かつ多様なモデルコーパスをキュレートし、モデルおよび下流タスク間のスペクトルおよび非スペクトルメトリクスを体系的にベンチマークする。 本稿では, モデル系統の追跡, 類似モデルの教師なしクラスタリング, モデル性能の定量化について述べる。 全体として、提案するスペクトルシグネチャは、LLM全体の広範なパフォーマンストレンドに対して有意義なプロキシを提供し、大規模なモデルコレクションの効率的な組織化、比較、分析を可能にする。

関連論文リスト

• LLM attribution analysis across different fine-tuning strategies and model scales for automated code compliance [1.154460794319478]
  本稿では、摂動に基づく帰属分析を用いて、大規模言語モデル(LLM)の解釈挙動を異なる微調整戦略で比較する。 その結果、FFTはパラメータ効率のよい微調整法よりも統計的に異なる帰属パターンを生成し、より焦点を絞っていることがわかった。
  論文  参考訳（メタデータ） (2026-04-16T23:54:26Z)
• Beyond Accuracy: Characterizing Code Comprehension Capabilities in (Large) Language Models [4.841487377596519]
  本稿では,Large Language Modelsのコード理解性能が従来の人間中心のソフトウェアメトリクスと一致しているかを検討する。 コード理解をバイナリインプット・アウトプット整合性タスクとして再編成する診断フレームワークを導入する。
  論文  参考訳（メタデータ） (2026-01-19T10:58:24Z)
• SIGMA: Scalable Spectral Insights for LLM Collapse [51.863164847253366]
  SIGMA(Spectral Inequalities for Gram Matrix Analysis)は,モデル崩壊のための統一的なフレームワークである。 行列のスペクトル上の決定論的境界を導出するベンチマークを利用することで、SIGMAは表現空間の収縮を追跡するために数学的に基底化された計量を提供する。 我々は、SIGMAが状態への遷移を効果的に捉え、崩壊のメカニズムに関する理論的知見の両方を提供することを示した。
  論文  参考訳（メタデータ） (2026-01-06T19:47:11Z)
• Quantization Meets dLLMs: A Systematic Study of Post-training Quantization for Diffusion LLMs [78.09559830840595]
  本稿では拡散に基づく言語モデルの定量化に関する最初の体系的研究について述べる。 異常に大きなアクティベーション値によって特徴付けられるアクティベーションアウトリーチの存在を同定する。 我々は最先端のPTQ手法を実装し、包括的な評価を行う。
  論文  参考訳（メタデータ） (2025-08-20T17:59:51Z)
• Latent Thought Models with Variational Bayes Inference-Time Computation [52.63299874322121]
  ラテント思考モデル(LTM)は、ラテント空間における明示的な事前モデルに従う明示的なラテント思考ベクトルを包含する。 LTMは自己回帰モデルや離散拡散モデルよりも優れたサンプルおよびパラメータ効率を示す。
  論文  参考訳（メタデータ） (2025-02-03T17:50:34Z)
• Model-GLUE: Democratized LLM Scaling for A Large Model Zoo in the Wild [84.57103623507082]
  本稿では,全体論的な大規模言語モデルスケーリングガイドラインであるModel-GLUEを紹介する。 既存のスケーリングテクニック,特に選択的マージ,および混合の変種をベンチマークする。 次に、異種モデル動物園の選択と集約のための最適な戦略を定式化する。 我々の手法は、マージ可能なモデルのクラスタリング、最適なマージ戦略選択、クラスタの統合を含む。
  論文  参考訳（メタデータ） (2024-10-07T15:55:55Z)
• Evaluating the Generalization Ability of Quantized LLMs: Benchmark, Analysis, and Toolbox [46.39670209441478]
  大規模言語モデル(LLM)は、複数のシナリオでエキサイティングな進歩を見せている。 メモリフットプリントと推論コストを削減する効果的な方法として、量子化は低ビット幅での性能劣化にも直面する。 この研究は、評価システム、詳細な分析、一般的なツールボックスを含む、この研究トピックのための包括的なベンチマークスイートを提供する。
  論文  参考訳（メタデータ） (2024-06-15T12:02:14Z)
• The Role of Model Architecture and Scale in Predicting Molecular Properties: Insights from Fine-Tuning RoBERTa, BART, and LLaMA [0.0]
  本研究では,各種ケミノフォマティクスタスクの微調整におけるLarge Language Models(LLMs)の有効性を比較するための体系的枠組みを提案する。 分子特性を予測するために,RoBERTa,BART,LLaMAの3つのモデルを評価した。 LLaMAベースのモデルは、一般的に最低限のバリデーション損失を提供しており、タスクやスケールの順応性が優れていることを示唆している。
  論文  参考訳（メタデータ） (2024-05-02T02:20:12Z)
• A Bayesian Framework on Asymmetric Mixture of Factor Analyser [0.0]
  本稿では、スキュー正規(無制限)一般化双曲型(SUNGH)分布のリッチで柔軟なクラスを持つMFAモデルを提案する。 SUNGHファミリーは、様々な方向の歪みをモデル化する柔軟性と、重み付きデータを可能にする。 因子分析モデルを考慮すると、SUNGHファミリーは誤差成分と因子スコアの両方の歪みと重みを許容する。
  論文  参考訳（メタデータ） (2022-11-01T20:19:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。