論文の概要: Model-intrinsic, Weight-level, and Training-free Spectral Fingerprinting for Large Language Models
- arxiv url: http://arxiv.org/abs/2610.30626v1
- Date: Thu, 22 Oct 2026 02:49:53 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-24 02:08:44.192466
- Title: Model-intrinsic, Weight-level, and Training-free Spectral Fingerprinting for Large Language Models
- Title（参考訳）: 大規模言語モデルのためのモデル固有の、重みレベル、および訓練不要なスペクトルフィンガープリント
- Abstract要約: LLMパラメータに符号化されたスペクトル構造からコンパクトな指紋を導出するモデル固有の重みレベルフレームワークを提案する。
このフレームワークは、フィードフォワードネットワークにおけるGATE投影重みの特異値分布からGATEスペクトルスカラー特徴を構成する。
代表的なLLMファミリーと学習後変異体に対する実験は、ソース関連モデルと非関連モデルとを明確に分離することを示した。
- 参考スコア（独自算出の注目度）: 12.146320746189518
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The increasing release and reuse of Large Language Models (LLMs) as open-weight checkpoints make model fingerprinting important for ownership protection and offline auditing. Existing fingerprinting methods typically construct evidence from query responses, generated outputs, or input-induced activations. Although effective in representation-based settings, they can be affected by prompt selection, decoding configuration, inference environment, and forward-pass implementation, which may limit their applicability. Here we introduce a model-intrinsic weight-level framework that derives compact fingerprints from spectral structures encoded in LLM parameters. Specifically, the framework constructs GATE spectral scalar features from the singular-value distributions of GATE projection weights in gated feed-forward networks (FFNs), and aggregates the resulting layer-wise features through depth-wise segmented pooling to form a model-level fingerprint. Such representation preserves coarse layer-depth organization while reducing dependence on strict layer-to-layer alignment, enabling comparison across LLMs with different depths. The similarity between fingerprints is computed by linear centered kernel alignment. The entire pipeline is training-free and does not require input samples, generated outputs, forward activations, or an auxiliary verifier. Experiments on representative LLM families and post-training variants have demonstrated a clear separation between source-related models and unrelated ones, and stable similarity under instruction tuning, quantization, pruning, and distillation-related modifications, which verify that spectral features are robust evidence for LLM fingerprinting.
- Abstract（参考訳）: オープンウェイトなチェックポイントとしてのLarge Language Models(LLM)のリリースと再利用の増加により、モデルの指紋認証はオーナシップ保護とオフライン監査にとって重要である。
既存のフィンガープリント手法は、クエリ応答、生成された出力、入力によるアクティベーションからエビデンスを構築するのが一般的である。
表現ベースの設定では有効だが、迅速な選択、デコード構成、推論環境、フォワードパス実装の影響を受け、適用性が制限される可能性がある。
本稿では,LLMパラメータに符号化されたスペクトル構造から,コンパクトな指紋を導出するモデル固有の重みレベルフレームワークを提案する。
具体的には、ゲートフィードフォワードネットワーク(FFN)におけるGATEプロジェクション重みの特異値分布からGATEスペクトルスカラー特性を構築し、奥行きセグメンテーションにより得られた階層的特徴を集約し、モデルレベルの指紋を形成する。
このような表現は、厳密な層間アライメントへの依存を低減しつつ、粗い層間組織を保存し、深さの異なるLSM間の比較を可能にする。
指紋間の類似性は、線形中心のカーネルアライメントによって計算される。
パイプライン全体はトレーニングフリーで、入力サンプル、生成された出力、前方アクティベーション、補助的な検証を必要としない。
代表的なLLMファミリーと学習後変異体に対する実験は、ソース関連モデルと無関係モデルとを明確に分離し、命令チューニング、量子化、プルーニング、蒸留関連修正の下で安定した類似性を証明し、スペクトル特性がLLMフィンガープリントの堅牢な証拠であることを検証した。
関連論文リスト
- The Shape of Ownership: Verifying LLM Provenance through Semantic Structures [38.16125764360159]
ProSEを導入し、固定されたクエリセットをターゲットのセマンティックドメインに置き換え、応答キーをドメイン条件の応答として意味構造に置き換える。
PROSEは、ドメイン固有のセマンティックテンプレートのプライベートバンクを構築し、構造的検証とクリーン応答の混合微調整によってそれらを内部化し、保持された自然クエリに対する応答で指定された構造を検出してオーナシップを検証する。
論文 参考訳（メタデータ） (2026-09-02T13:04:51Z) - Who Built This Model? Tracing LLM Lineage via Spectral Fingerprints in Weight Space [9.829283524934848]
オープンウェイトな大規模言語モデル (LLM) は複雑で多段階のパイプラインによって開発が進んでいる。
LLMは、入力データにアクセスすることなく、重量空間のみに固有の指紋を呈し、その起源や系統を明らかにするかどうかを問う。
我々は、これを系統識別問題として定式化し、独立オリジン、同シリーズ、共有ベースモデルと区別する。
論文 参考訳（メタデータ） (2026-08-07T22:18:02Z) - FLIPS: Instance-Fingerprinting for LLMs via Pseudo-random Sequences [4.351505522514463]
我々は,同一の大規模言語モデルの構成を区別するレギュレータ指向のパラダイムであるインスタンスレベルのフィンガープリントを導入する。
提案手法FLIPSは237モデルインスタンスで96%(クローズドセット)、90%(オープンセット)の識別精度に達するために生成したバイナリランダムシーケンスのバイアスを利用する。
これは、インスタンスレベルの指紋認証が規制に必要であり、事実上実現可能であることを示している。
論文 参考訳（メタデータ） (2026-06-02T08:39:50Z) - Step-Level Sparse Autoencoder for Reasoning Process Interpretation [48.99201531966593]
大規模言語モデル(LLM)は、Chain-of-Thought(CoT)推論を通じて、強力な複雑な推論機能を実現している。
本稿では,ステップレベルスパースオートエンコーダ (SSAE) を提案する。
複数の基本モデルと推論タスクの実験により,抽出した特徴の有効性が示された。
論文 参考訳（メタデータ） (2026-03-03T14:25:02Z) - Reasoning Palette: Modulating Reasoning via Latent Contextualization for Controllable Exploration for (V)LMs [49.66344956133349]
推論能力は、大規模な(ビジョン)言語モデルのための推論時間性能と強化学習(RL)トレーニングの両方を形作る。
本稿では,戦略的文脈化のための潜在変数をモデルに付与する新しい潜在変調フレームワークであるReasoning Paletteを提案する。
論文 参考訳（メタデータ） (2025-12-19T03:32:53Z) - Every Step Counts: Decoding Trajectories as Authorship Fingerprints of dLLMs [63.82840470917859]
本稿では,dLLMの復号化機構をモデル属性の強力なツールとして利用できることを示す。
本稿では、デコードステップ間の構造的関係を捉え、モデル固有の振る舞いをよりよく明らかにする、DDM(Directed Decoding Map)と呼ばれる新しい情報抽出手法を提案する。
論文 参考訳（メタデータ） (2025-10-02T06:25:10Z) - Gradient-Based Model Fingerprinting for LLM Similarity Detection and Family Classification [6.008384763761687]
大規模言語モデル(LLM)は、現代のアプリケーションにおいて重要なソフトウェアコンポーネントである。
類似性検出と家族分類のための勾配型フィンガープリントフレームワークGuardを提示する。
本稿では,ランダムな入力摂動に対する応答を解析することにより,モデル固有の行動シグネチャを抽出する。
広く採用されているセーフテンソルフォーマットをサポートし、勾配特性の統計解析を通じて高次元指紋を構築する。
論文 参考訳（メタデータ） (2025-06-02T13:08:01Z) - Steered Generation via Gradient Descent on Sparse Features [1.534667887016089]
クエリ埋め込みのスパース表現を学習するために、スパースオートエンコーダを訓練することにより、大言語モデル(LLM)の内部構造を変更する。
このスパース表現の操作は、出力を異なるスタイル的および認知的目標に向けて効果的に変換することを実証する。
論文 参考訳（メタデータ） (2025-02-25T21:06:14Z) - Disentanglement via Latent Quantization [60.37109712033694]
本研究では,組織化された潜在空間からの符号化と復号化に向けた帰納的バイアスを構築する。
本稿では,基本データレコーダ (vanilla autoencoder) と潜時再構成 (InfoGAN) 生成モデルの両方に追加することで,このアプローチの広範な適用性を実証する。
論文 参考訳（メタデータ） (2023-05-28T06:30:29Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。