論文の概要: Who Built This Model? Tracing LLM Lineage via Spectral Fingerprints in Weight Space

• arxiv url: http://arxiv.org/abs/2608.07786v1
• Date: Fri, 07 Aug 2026 22:18:02 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-11 19:16:36.512969
• Title: Who Built This Model? Tracing LLM Lineage via Spectral Fingerprints in Weight Space
• Title（参考訳）: 誰がこのモデルを作ったのか? 軽量空間におけるスペクトルフィンガープリントによるLCM線追跡
• Authors: Yiwei Chen, Bingqi Shang, Sijia Liu,
• Abstract要約: オープンウェイトな大規模言語モデル (LLM) は複雑で多段階のパイプラインによって開発が進んでいる。 LLMは、入力データにアクセスすることなく、重量空間のみに固有の指紋を呈し、その起源や系統を明らかにするかどうかを問う。 我々は、これを系統識別問題として定式化し、独立オリジン、同シリーズ、共有ベースモデルと区別する。
• 参考スコア（独自算出の注目度）: 9.829283524934848
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Open-weight large language models (LLMs) are increasingly developed through complex, multi-stage pipelines, leading to intricate lineage relationships that reflect model origin, ownership, and evolution. Understanding these relationships is important for model provenance, governance, and supply-chain integrity. In this work, we investigate the notion of LLM "biometrics" (analogous to human biometrics) to ask whether LLMs exhibit intrinsic fingerprints in weight space alone, without access to input data, that reveal their origin and lineage. We formulate this as a lineage discrimination problem, distinguishing among independent-origin, same-series, and shared-base models. To characterize these relationships, we propose a unified geometric fingerprinting framework that analyzes weight matrices from two complementary perspectives: (i) spectral energy, captured by singular value distributions to encode global magnitude patterns, and (ii) subspace alignment, quantified via subspace deviations to capture directional geometry. Our analysis uncovers a clear hierarchy of structural similarity in weight space: spectral energy reliably distinguishes independently trained models and different model families, while subspace alignment enables fine-grained discrimination among closely related models, including variations in dataset scale and post-training procedures. Extensive experiments on over 110 diverse open-weight LLM pairs demonstrate that weight-space geometry provides a robust and interpretable signal for model lineage, enabling coarse-grained regime separation and fine-grained discrimination within shared-base models.
• Abstract（参考訳）: オープンウェイトな大規模言語モデル(LLM)は、複雑で多段階のパイプラインを通じて、モデルの起源、オーナシップ、進化を反映した複雑な血統関係へと発展しつつある。 これらの関係を理解することは、モデルの証明、ガバナンス、サプライチェーンの整合性にとって重要です。 本研究では, LLMの生体計測(人体バイオメトリックス)の概念を考察し, LLMが入力データにアクセスすることなく, 重量空間にのみ本質的な指紋が現れるかどうかを問う。 我々は、これを系統識別問題として定式化し、独立オリジン、同シリーズ、共有ベースモデルと区別する。 これらの関係を特徴付けるために,2つの相補的な視点から重み行列を解析する統一的な幾何学的フィンガープリントフレームワークを提案する。 一 スペクトルエネルギー、大域的な大きさのパターンを符号化するための特異値分布により取得し、 (ii)部分空間アライメントは、方向幾何学を捉えるために、部分空間偏差によって定量化される。 スペクトルエネルギーは、独立に訓練されたモデルと異なるモデルファミリを確実に区別し、サブスペースアライメントは、データセットスケールや後学習手順のバリエーションを含む、密接に関連するモデル間できめ細かな識別を可能にする。 110以上の多種多様なオープンウェイトLLMペアに対する大規模な実験により、重量空間幾何学はモデル系統に対して頑健で解釈可能な信号を提供し、粗粒構造分離と共有ベースモデル内のきめ細かい識別を可能にすることを示した。

関連論文リスト

• Spectral Signatures of Large Language Models [13.878105276531976]
  大規模言語モデル(LLM)の管理と定量化のためのスペクトル形状に基づくメトリクスを提案する。 本手法では,各モデルのコンパクトなスペクトルシグネチャとして,重量経験スペクトル密度の形状情報を用いる。 このシグネチャは、事前訓練されたモデルの本質的な特性を捉え、訓練後の堅牢なままであり、モデルレベルの解析に適している。
  論文  参考訳（メタデータ） (2026-07-03T14:30:22Z)
• SEMASIA: A Large-Scale Dataset of Semantically Structured Latent Representations [12.185380843937196]
  約1,700個の事前学習された視覚モデルから抽出した潜在表現の大規模コレクションであるSEMASIAを紹介する。 個々の潜在空間の概念的構造を解析し、一貫したプロトタイプのようなクラスタリングを示す。 プレトレーニングデータの複雑性,特殊化,伝達学習,拡張,モデルスケールが,埋め込みの幾何学的および探索的特性とどのように関係しているかを,大規模回帰分析により解析する。
  論文  参考訳（メタデータ） (2026-05-10T11:42:36Z)
• Large Language Model Sourcing: A Survey [84.63438376832471]
  大規模言語モデル(LLM)は人工知能に革命をもたらし、目的的タスクのサポートから主観的な意思決定の強化へと移行した。 LLMのブラックボックスの性質と生成したコンテンツの人間的品質のため、幻覚、偏見、不公平さ、著作権侵害などの問題が重要になる。 本研究は,4つの相互関連次元を中心に整理されたLCMによるコンテンツの出所追跡について,系統的研究を行った。
  論文  参考訳（メタデータ） (2025-10-11T10:52:30Z)
• The Shape of Adversarial Influence: Characterizing LLM Latent Spaces with Persistent Homology [4.280045926995889]
  本研究では,大規模言語モデルの内部表現空間に対して,逆入力が体系的にどう影響するかに着目した。 アクティベーションの形状と神経情報の流れを定量化することにより、アーキテクチャに依存しない枠組みは、表現的変化の基本的な不変性を明らかにする。
  論文  参考訳（メタデータ） (2025-05-26T18:31:49Z)
• Unraveling the Localized Latents: Learning Stratified Manifold Structures in LLM Embedding Space with Sparse Mixture-of-Experts [3.9426000822656224]
  大規模な言語モデルでは、埋め込みは入力データの難易度や領域によって異なる次元の局所多様体構造に存在していると推測する。 注意に基づくソフトゲーティングネットワークを組み込むことで,我々のモデルは入力データソースのアンサンブルのために,特別なサブマニフォールドを学習することを確認した。
  論文  参考訳（メタデータ） (2025-02-19T09:33:16Z)
• Aligning Large Language Models and Geometric Deep Models for Protein Representation [57.59506688299817]
  遅延表現アライメントは、異なるモダリティからの埋め込みを共有空間にマッピングするために使用され、しばしば大きな言語モデル(LLM)の埋め込み空間と一致している。 プリミティブなタンパク質中心の大規模言語モデル (MLLM) が登場したが、それらは表現の至る所で最適なアライメントの実践に関する根本的な理解が欠如しているアプローチに大きく依存している。 本研究では,タンパク質領域におけるLLMと幾何学的深部モデル(GDM)のマルチモーダル表現のアライメントについて検討する。 本研究は, モデルおよびタンパク質の観点からのアライメント要因について検討し, 現行アライメント手法の課題を特定し, アライメントプロセスを改善するための戦略を提案する。
  論文  参考訳（メタデータ） (2024-11-08T04:15:08Z)
• Disentanglement via Latent Quantization [60.37109712033694]
  本研究では,組織化された潜在空間からの符号化と復号化に向けた帰納的バイアスを構築する。 本稿では,基本データレコーダ (vanilla autoencoder) と潜時再構成 (InfoGAN) 生成モデルの両方に追加することで,このアプローチの広範な適用性を実証する。
  論文  参考訳（メタデータ） (2023-05-28T06:30:29Z)
• On the Symmetries of Deep Learning Models and their Internal Representations [1.418465438044804]
  我々は、モデルのファミリーのアーキテクチャから生じる対称性と、そのファミリーの内部データ表現の対称性を結びつけることを目指している。 我々の研究は、ネットワークの対称性が、そのネットワークのデータ表現の対称性に伝播されることを示唆している。
  論文  参考訳（メタデータ） (2022-05-27T22:29:08Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。