論文の概要: TokenPrint: A Calibrated Token-Space Fingerprint for Language-Model Provenance
- arxiv url: http://arxiv.org/abs/2608.08139v1
- Date: Sat, 08 Aug 2026 13:56:39 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-11 19:16:36.6942
- Title: TokenPrint: A Calibrated Token-Space Fingerprint for Language-Model Provenance
- Title（参考訳）: TokenPrint:Language-Model ProvenanceのためのキャリブレーションされたToken空間フィンガープリント
- Abstract要約: そこで本研究では,250個の固定知識プローブによって抽出された隠れ状態の語彙予測値のトップ$kをベースとした無訓練指紋を提案する。
文書化された関係を持つ9家系(0.6B--32B)のオープンウェイトモデル32種について評価を行った。
- 参考スコア（独自算出の注目度）: 8.657685524975246
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Establishing the provenance of a language model---including its base checkpoint and possible overlap in training distributions---is a governance challenge that metadata alone cannot resolve. We introduce a training-free fingerprint based on the top-$k$ vocabulary projections of late hidden states elicited by 250 fixed knowledge probes, compared using Jaccard overlap over decoded token strings. We evaluate the method on 32 open-weight models from nine families (0.6B--32B) with documented relationships. (1)~A \emph{similarity ladder} broadly follows model relatedness: independently trained models on identical data score 0.48 raw (0.35 vocabulary-corrected), followed by shared-base fine-tunes (0.39/0.33), same-developer relatives (0.38/0.28), and models with no documented relationship (0.22/0.17). This identical-data signal persists across three organizations, two tokenizer families, and two architecture classes, and emerges within the first 1\% of training before measurable task competence, suggesting a contribution from shared training data beyond capability convergence. (2)~As a nearest-neighbor \emph{lineage-retrieval} method, the fingerprint ranks the exact documented base among the top two candidates for all five R1 distillations (mean rank 1.8, MRR 0.60), including a math-specialized base not identifiable from coarse metadata. (3)~A \emph{depth ablation} shows that lineage group discrimination strengthens toward the output distribution, with AUC increasing from 0.72 at quarter depth to 0.90 at the output; using only the top 5 output tokens retains AUC 0.87. (4)~The fingerprint remains stable under quantization, with Jaccard similarity of 0.92 under int8 and 0.82--0.85 under int4, compared with a maximum cross-model similarity of 0.81 in the calibration pool. We release the probes, code, and fingerprints.
- Abstract（参考訳）: ベースチェックポイントとトレーニングディストリビューションの重複の可能性を含む、言語モデルの証明を確立する — は、メタデータだけでは解決できない、ガバナンス上の課題である。
本稿では,250個の固定知識プローブによって引き起こされた隠れ状態のトップ$k$ボキャブラリ・プロジェクションに基づくトレーニングフリー指紋について,復号されたトークン文字列上でのJaccardオーバーラップとの比較を行った。
文書化された関係を持つ9家系(0.6B--32B)のオープンウェイトモデル32種について評価を行った。
1)〜A \emph{similarity ladder} はモデル関連性に大きく従う: 同一データスコア0.48生(0.35語彙補正)、次いで共有ベースファインチューン0.39/0.33、同一開発者親類0.38/0.28、文書関係のないモデル0.22/0.17。
この同一データ信号は、3つの組織、2つのトークンライザファミリー、2つのアーキテクチャクラスにまたがって持続し、測定可能なタスク能力の前にトレーニングの最初の1～%以内に現れ、能力の収束を超えた共有トレーニングデータからの貢献を示唆する。
2)近辺のemph{lineage-retrieval} 法として、指紋は、粗いメタデータから特定できない数学特化ベースを含む5つのR1蒸留(平均ランク1.8, MRR 0.60)の上位2候補のうち、正確な文書化されたベースをランク付けする。
(3)~A \emph{depth ablation} は、AUCは4分の1の深さで0.72から0.90に増加し、AUC 0.87は上位5個の出力トークンのみである。
(4)〜指紋は量子化下で安定であり、ジャカード類似度はint8以下0.92、int4以下0.82--0.85であり、キャリブレーションプールの最大クロスモデル類似度は0.81である。
プローブ、コード、指紋を公開しています。
関連論文リスト
- Token Counts Are Not Model Lineage: A Frozen-Threshold Holdout Study of Black-Box LLM API Fingerprinting [4.093009863847175]
大規模な言語モデルがリレーとリセラーAPIを通じて提供される場合、ブラックボックスモデルの属性はますます重要になる。
テンポの低い信号は、OpenAI互換エンドポイントで返されるプロンプトトケン数である。
しかし、この信号がより広範にEmphmodel- family属性に有効であることは、直接のホールドアウト試験がほとんど行われていない。
我々は,24個のラベル付きエンドポイントペアに対して凍結保持実験を行い,開発セットと未タッチのホールドアウトセットに均等に分割した。
論文 参考訳（メタデータ） (2026-08-30T17:58:49Z) - Architecture-Dependent Causal Transfer of Activation States Across Large Language Models [51.56484100374058]
内部言語アクティベーション状態は、異なる大きな言語モデル間で因果的に転送することができる。
生成中に投影された活性化をターゲットモデルに注入すると、統計的に有意で事前登録された因果効果が生じる。
現在実装されているLCM間のエンド・ツー・エンドのアクティベーション・ステート・トランスファーは、ユニバーサルではなくアーキテクチャに依存していると結論付けている。
論文 参考訳（メタデータ） (2026-08-17T09:53:27Z) - modelDNA: Calibrated Lineage Verification and Merge Decomposition from Sampled Weight Fingerprints [0.0]
本報告では、およそ100～300MBのHTTP読み取りからモデルをフィンガープリントするModelDNAについて説明する。
指紋を4つのシグナルファミリにまたがる基礎モデルの参照データベースと比較する。
AUROC 1.0、報告しきい値でゼロの偽陽性、13/13の正しいトップ1親属性を達成している。
論文 参考訳（メタデータ） (2026-07-12T07:29:18Z) - Bag of Dims: Training-Free Mechanistic Interpretability via Dimension-Level Sign Patterns [0.0]
我々は、すでにトレーニング不要でアーキテクチャ全般的な機能ベースを提供しているトランスフォーマー隠蔽状態の標準基底を示す。
このBag of Dimsフレームワークを、言語にまたがる7つのモデルで検証する。
論文 参考訳（メタデータ） (2026-06-10T19:34:31Z) - Automated Proving of Shannon-Type Entropy Inequalities via Fine-Tuned Language Models and Guided Tree Search [50.16356451328644]
シャノン型エントロピーの不等式を証明することは情報理論の基本的な課題である。
我々は,原子実証のステップを微調整した小規模大規模言語モデルがこのプロセスを自動化することができるか検討する。
GPT-5.5は0ショットプロンプトで1.7%のサンプルを解き、Psitipは33.3%のサンプルを解いた。
論文 参考訳（メタデータ） (2026-06-04T05:43:12Z) - Amplifying, Not Learning: Fine-Tuned AI Text Detectors Amplify a Pretrained Direction [51.56484100374058]
テキスト検出器は、事前訓練された典型軸を増幅する。
タスク監督前の生エンコーダでは、3つのアーキテクチャでNYT-vs-HC3 AUROC 0.806/0.944/0.834を達成する。
RoBERTaベースでは、生のプロジェクションは微調整を超えるが、RoBERTaベースでは、フル微調整は、試験された流線型人口の双方で生よりも識別を小さくする。
論文 参考訳（メタデータ） (2026-05-20T19:08:38Z) - PHANTOM: Polymorphic Honeytoken Adaptation with Narrative-Tailored Organisational Mimicry [0.2538209532048867]
ハネトケンは、不正な属性アクセスを検出するために植えられたデコイデジタル資産である。
PHANTOMは,組織固有の知識を符号化することで,文脈的に説得力のあるハネトケンを生成するフレームワークである。
結果は外部のAPIコールなしで再現されるため、パイプラインは空調された環境で完全にデプロイできる。
論文 参考訳（メタデータ） (2026-05-04T17:14:13Z) - Reducing Maintenance Burden in Behaviour-Driven Development: A Paraphrase-Robust Duplicate-Step Detector with a 1.1M-Step Open Benchmark [1.9537983097153042]
振る舞い駆動開発スイートは、ドキュメント化されたメンテナンスコストとステップ重複の重複を蓄積します。
私たちはこれまでで最大の組織横断的なBDDステップコーパスをリリースします。
論文 参考訳（メタデータ） (2026-04-22T11:44:05Z) - The Alignment Tax: Response Homogenization in Aligned LLMs and Its Implications for Uncertainty Estimation [1.8345614451086532]
RLHF 対応言語モデルは TruthfulQA 上で応答均質化を示す。
40-79%の質問は、10のi.i.d.サンプルに対して単一のセマンティッククラスタを生成する。
論文 参考訳（メタデータ） (2026-03-25T09:35:15Z) - MobileLLM-R1: Exploring the Limits of Sub-Billion Language Model Reasoners with Open Training Recipes [60.57770396565211]
強い推論能力は、はるかに少ないデータで実現可能であることを示す。
MobileLLM-R50MのAIMEスコアは15.5であり、OLMo-2-1.48Bは0.6、SmolLM-2-1.7Bは0.3である。
論文 参考訳（メタデータ） (2025-09-29T15:43:59Z) - Erasing Without Remembering: Implicit Knowledge Forgetting in Large Language Models [81.62767292169225]
我々は,その一般化に着目して,大規模言語モデルにおける知識の忘れについて検討する。
確率摂動に基づく新しいアンラーニングパラダイムであるPerMUを提案する。
TOFU、Harry Potter、ZsRE、WMDP、MUSEなど、さまざまなデータセットで実験が行われている。
論文 参考訳（メタデータ） (2025-02-27T11:03:33Z) - Automatic sleep stage classification with deep residual networks in a
mixed-cohort setting [63.52264764099532]
我々は,大規模コホートの一般化性を評価するために,新しいディープニューラルネットワークモデルを開発した。
総合的な分類精度はトレーニングデータの分数を増やして向上した。
論文 参考訳（メタデータ） (2020-08-21T10:48:35Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。