論文の概要: AWM: Accurate Weight-Matrix Fingerprint for Large Language Models

• arxiv url: http://arxiv.org/abs/2510.06738v1
• Date: Wed, 08 Oct 2025 07:51:11 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-09 16:41:20.355497
• Title: AWM: Accurate Weight-Matrix Fingerprint for Large Language Models
• Title（参考訳）: AWM:大規模言語モデルのための正確な重み行列指紋
• Authors: Boyi Zeng, Lin Chen, Ziwei He, Xinbing Wang, Zhouhan Lin,
• Abstract要約: 重み行列に基づくトレーニング不要な指紋認証手法を提案する。 線形アサインメント問題(LAP)と不偏中心カーネルアライメント(CKA)の類似性を利用してパラメータ操作の効果を中和する。 本手法は, 上記の6項目すべてに対して, 偽陽性のほぼゼロのリスクを示しながら, 例外的な堅牢性を示す。
• 参考スコア（独自算出の注目度）: 44.93519442566325
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Protecting the intellectual property of large language models (LLMs) is crucial, given the substantial resources required for their training. Consequently, there is an urgent need for both model owners and third parties to determine whether a suspect LLM is trained from scratch or derived from an existing base model. However, the intensive post-training processes that models typically undergo-such as supervised fine-tuning, extensive continued pretraining, reinforcement learning, multi-modal extension, pruning, and upcycling-pose significant challenges to reliable identification. In this work, we propose a training-free fingerprinting method based on weight matrices. We leverage the Linear Assignment Problem (LAP) and an unbiased Centered Kernel Alignment (CKA) similarity to neutralize the effects of parameter manipulations, yielding a highly robust and high-fidelity similarity metric. On a comprehensive testbed of 60 positive and 90 negative model pairs, our method demonstrates exceptional robustness against all six aforementioned post-training categories while exhibiting a near-zero risk of false positives. By achieving perfect scores on all classification metrics, our approach establishes a strong basis for reliable model lineage verification. Moreover, the entire computation completes within 30s on an NVIDIA 3090 GPU. The code is available at https://github.com/LUMIA-Group/AWM.
• Abstract（参考訳）: 大規模な言語モデル(LLM)の知的財産権を保護することは、その訓練に必要な実質的なリソースを考えると、非常に重要である。 したがって、モデル所有者と第三者の両方が、疑わしいLLMがスクラッチから訓練されているか、または既存のベースモデルから派生しているかを判断する必要がある。 しかし、教師付き微調整、広範囲にわたる事前訓練、強化学習、マルチモーダル拡張、プルーニング、アップサイクリングなど、モデルが通常実施される集中的なポストトレーニングプロセスは、信頼性の高い識別に重大な課題を提起する。 本研究では,重量行列に基づく非トレーニング型指紋認証手法を提案する。 線形アサインメント問題(LAP)と不偏中心カーネルアライメント(CKA)の類似性を利用してパラメータ操作の効果を中和し、高い堅牢かつ高忠実な類似度指標を得る。 60の正と90の負のモデルペアからなる包括的テストベッドでは、上記の6つの訓練後カテゴリーに対して、偽陽性のほぼゼロのリスクを示しながら、例外的な頑健性を示す。 本手法は,すべての分類指標の完全スコアを達成し,信頼性の高いモデル系統検証の強力な基盤を確立する。 さらに、計算全体がNVIDIA 3090 GPU上で30秒以内に完了する。 コードはhttps://github.com/LUMIA-Group/AWMで入手できる。

関連論文リスト

• SPaRFT: Self-Paced Reinforcement Fine-Tuning for Large Language Models [51.74498855100541]
  大規模言語モデル(LLM)は、強化学習(RL)による微調整時に強い推論能力を示す。 トレーニング対象のモデルの性能に基づいて,効率的な学習を可能にする自己評価学習フレームワークである textbfSPaRFT を提案する。
  論文  参考訳（メタデータ） (2025-08-07T03:50:48Z)
• Self-Training Elicits Concise Reasoning in Large Language Models [23.475414693530965]
  チェーン・オブ・シント(CoT)推論により、中間トークンによるさらなる計算を大規模言語モデル(LLM)が利用できるようになった。 自己生成した簡潔な推論経路を利用する簡単な微調整法を提案する。 提案手法は,GSM8KおよびMATH上の5つのモデルファミリに対して,平均精度を維持しつつ,出力トークンの30%削減を実現する。
  論文  参考訳（メタデータ） (2025-02-27T14:14:50Z)
• Towards Adversarially Robust Deep Metric Learning [0.8702432681310401]
  ディープニューラルネットワークは敵の攻撃を受けやすいため、敵の例によって簡単に騙される可能性がある。 既存の作業は、DMLモデルの堅牢性を徹底的に検査することができない。 我々は,アンサンブル学習と対人訓練を利用する新しい防衛法である「アンサンブル・アディバーショナル・トレーニング(EAT)」を提案する。
  論文  参考訳（メタデータ） (2025-01-02T03:15:25Z)
• REEF: Representation Encoding Fingerprints for Large Language Models [53.679712605506715]
  REEFは、被疑者モデルと被害者モデルの表現との中心となるカーネルアライメントの類似性を計算し、比較する。 このトレーニング不要のREEFは、モデルの一般的な能力を損なうことなく、シーケンシャルな微調整、プルーニング、モデルマージ、置換に堅牢である。
  論文  参考訳（メタデータ） (2024-10-18T08:27:02Z)
• RanPAC: Random Projections and Pre-trained Models for Continual Learning [59.07316955610658]
  継続学習(CL)は、古いタスクを忘れずに、非定常データストリームで異なるタスク(分類など)を学習することを目的としている。 本稿では,事前学習モデルを用いたCLの簡潔かつ効果的なアプローチを提案する。
  論文  参考訳（メタデータ） (2023-07-05T12:49:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。