論文の概要: SeedPrints: Fingerprints Can Even Tell Which Seed Your Large Language Model Was Trained From

• arxiv url: http://arxiv.org/abs/2509.26404v1
• Date: Tue, 30 Sep 2025 15:34:08 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-01 17:09:04.598937
• Title: SeedPrints: Fingerprints Can Even Tell Which Seed Your Large Language Model Was Trained From
• Title（参考訳）: SeedPrints:フィンガープリントは、大きめの言語モデルを訓練したことを教えてくれる
• Authors: Yao Tong, Haonan Wang, Siquan Li, Kenji Kawaguchi, Tianyang Hu,
• Abstract要約: 我々は,LDMフィンガープリントのより強く,より本質的な概念であるSeedPrintsを提案する。 トレーニングされていないモデルでは,パラメータのみに依存した再現可能なトークン選択バイアスが示される。 LLaMAスタイルとQwenスタイルのモデルの実験では、SeedPrintsはシードレベルの識別性を実現し、バイオメトリック指紋に似た生来からライフサイクルの識別認証を提供する。
• 参考スコア（独自算出の注目度）: 65.75182441010327
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Fingerprinting Large Language Models (LLMs) is essential for provenance verification and model attribution. Existing methods typically extract post-hoc signatures based on training dynamics, data exposure, or hyperparameters -- properties that only emerge after training begins. In contrast, we propose a stronger and more intrinsic notion of LLM fingerprinting: SeedPrints, a method that leverages random initialization biases as persistent, seed-dependent identifiers present even before training. We show that untrained models exhibit reproducible token selection biases conditioned solely on their parameters at initialization. These biases are stable and measurable throughout training, enabling our statistical detection method to recover a model's lineage with high confidence. Unlike prior techniques, unreliable before convergence and vulnerable to distribution shifts, SeedPrints remains effective across all training stages and robust under domain shifts or parameter modifications. Experiments on LLaMA-style and Qwen-style models show that SeedPrints achieves seed-level distinguishability and can provide birth-to-lifecycle identity verification akin to a biometric fingerprint. Evaluations on large-scale pretrained models and fingerprinting benchmarks further confirm its effectiveness under practical deployment scenarios. These results suggest that initialization itself imprints a unique and persistent identity on neural language models, forming a true ''Galtonian'' fingerprint.
• Abstract（参考訳）: フィンガープリンティング 大規模言語モデル(LLM)は、証明の検証とモデルの帰属に不可欠である。 既存のメソッドは通常、トレーニングの開始後にのみ現れる特性であるトレーニングダイナミクス、データ露出、ハイパーパラメータに基づいて、ポストホックシグネチャを抽出する。 対照的に、私たちはLDMフィンガープリントのより強く、より本質的な概念を提唱する: SeedPrintsは、ランダム初期化バイアスをトレーニング前にも持続的で、種に依存しない識別子として活用する手法である。 未学習モデルでは初期化時にパラメータにのみ条件付きで再現可能なトークン選択バイアスを示す。 これらのバイアスはトレーニングを通じて安定して測定可能であり、統計的検出手法によりモデルの系統を高い信頼性で復元することができる。 収束前の信頼性が低く、分散シフトに弱い従来のテクニックとは異なり、SeedPrintsはすべてのトレーニングステージで有効であり、ドメインシフトやパラメータ修正の下で堅牢である。 LLaMAスタイルとQwenスタイルのモデルの実験では、SeedPrintsはシードレベルの識別性を実現し、バイオメトリック指紋に似た生来からライフサイクルの識別認証を提供する。 大規模な事前訓練モデルとフィンガープリントベンチマークの評価により、実際のデプロイシナリオ下での有効性がさらに確認される。 これらの結果は、初期化自体がニューラルネットワークモデルにユニークで永続的なアイデンティティを印字し、真の'ガルトン'指紋を形成することを示唆している。

関連論文リスト

• Natural Fingerprints of Large Language Models [19.87526607747389]
  大規模な言語モデルがまったく同じデータセットでトレーニングされている場合でも、その出力は区別可能であることを示す。 我々は、これらの意図しない特徴を自然の指紋として言及する。 これらの結果は、トレーニングダイナミクスがデータやアーキテクチャに依存しないモデル動作を体系的に形成できることを示唆している。
  論文  参考訳（メタデータ） (2025-04-21T05:48:52Z)
• UTF:Undertrained Tokens as Fingerprints A Novel Approach to LLM Identification [9.780530666330007]
  大型言語モデル(LLM)のフィンガープリントは、モデルのオーナシップの検証、信頼性の確保、誤用防止に不可欠である。 本稿では,未学習トークンを利用したLDMのフィンガープリント手法を提案する。 提案手法は,モデルの性能に最小限のオーバーヘッドと影響があり,対象モデルのオーナシップ識別にホワイトボックスアクセスを必要としない。
  論文  参考訳（メタデータ） (2024-10-16T07:36:57Z)
• Adaptive Pre-training Data Detection for Large Language Models via Surprising Tokens [1.2549198550400134]
  大きな言語モデル(LLM)は広く使われているが、プライバシー、セキュリティ、著作権については不透明なトレーニングデータのために懸念されている。 この問題に対する現在の解決策は、メンバーシップ推論攻撃(MIA)のような機械学習プライバシで探索されたテクニックを活用する。 本稿では、この信頼性を軽減し、同定を効果的に増幅する適応型事前学習データ検出法を提案する。
  論文  参考訳（メタデータ） (2024-07-30T23:43:59Z)
• HuRef: HUman-REadable Fingerprint for Large Language Models [44.9820558213721]
  HuRefは、大きな言語モデルのための人間可読指紋である。 トレーニングやモデルパラメータを公開することなく、ベースモデルを独自に識別する。
  論文  参考訳（メタデータ） (2023-12-08T05:01:47Z)
• Self-Distillation for Further Pre-training of Transformers [83.84227016847096]
  我々は、さらなる事前学習段階の正則化として自己蒸留を提案する。 画像およびテキスト分類タスクのための様々なベンチマークデータセットにおける自己蒸留の有効性を実証的に検証する。
  論文  参考訳（メタデータ） (2022-09-30T02:25:12Z)
• Is BERT a Cross-Disciplinary Knowledge Learner? A Surprising Finding of Pre-trained Models' Transferability [74.11825654535895]
  BERTなどのテキストデータに予め訓練されたモデルのパワーを、一般的なトークンシーケンス分類アプリケーションに転送できるかどうかを検討します。 テキスト以外のデータでも、テキストに事前学習されたモデルはランダムなモデルよりも高速に収束する。
  論文  参考訳（メタデータ） (2021-03-12T09:19:14Z)
• Document Ranking with a Pretrained Sequence-to-Sequence Model [56.44269917346376]
  関連ラベルを「ターゲット語」として生成するためにシーケンス・ツー・シーケンス・モデルをどのように訓練するかを示す。 提案手法は,データポーラ方式におけるエンコーダのみのモデルよりも大幅に優れている。
  論文  参考訳（メタデータ） (2020-03-14T22:29:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。