論文の概要: AttnDiff: Attention-based Differential Fingerprinting for Large Language Models

• arxiv url: http://arxiv.org/abs/2604.05502v1
• Date: Tue, 07 Apr 2026 06:57:47 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-04-08 17:42:09.671972
• Title: AttnDiff: Attention-based Differential Fingerprinting for Large Language Models
• Title（参考訳）: AttnDiff:大規模言語モデルのための注意に基づく微分フィンガープリント
• Authors: Haobo Zhang, Zhenhua Xu, Junxian Li, Shangfeng Sheng, Dezhang Kong, Meng Han,
• Abstract要約: textscAttnDiffは本質的な情報収集行動を通じてモデルから指紋を抽出する。 textscAttnDiffは、制御されたセマンティックコンフリクトを誘発する最小限のプロンプトペアをプローブする。
• 参考スコア（独自算出の注目度）: 17.46604955122771
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Protecting the intellectual property of open-weight large language models (LLMs) requires verifying whether a suspect model is derived from a victim model despite common laundering operations such as fine-tuning (including PPO/DPO), pruning/compression, and model merging. We propose \textsc{AttnDiff}, a data-efficient white-box framework that extracts fingerprints from models via intrinsic information-routing behavior. \textsc{AttnDiff} probes minimally edited prompt pairs that induce controlled semantic conflicts, captures differential attention patterns, summarizes them with compact spectral descriptors, and compares models using CKA. Across Llama-2/3 and Qwen2.5 (3B--14B) and additional open-source families, it yields high similarity for related derivatives while separating unrelated model families (e.g., $>0.98$ vs.\ $<0.22$ with $M=60$ probes). With 5--60 multi-domain probes, it supports practical provenance verification and accountability.
• Abstract（参考訳）: オープンウェイトな大規模言語モデル(LLM)の知的特性を保護するには、細調整(PPO/DPOを含む)、プルーニング/圧縮、モデルマージといった一般的な洗浄作業にもかかわらず、被疑者が被害者モデルから派生したかどうかを検証する必要がある。 データ効率のよいホワイトボックスフレームワークである \textsc{AttnDiff} を提案する。 textsc{AttnDiff} は最小限に編集されたプロンプトペアを探索し、制御されたセマンティックコンフリクトを誘導し、異なる注意パターンを捉え、それらをコンパクトなスペクトル記述子で要約し、CKAを用いてモデルと比較する。 Llama-2/3 と Qwen2.5 (3B--14B) にまたがって、関係のないモデル族(例えば、$>0.98$ vs)を分離しながら、関連する誘導体に高い類似性をもたらす。 \ $<0.22$ with $M=60$ probes)。 5--60のマルチドメインプローブで、実用的証明と説明責任をサポートする。

関連論文リスト

• Every Step Counts: Decoding Trajectories as Authorship Fingerprints of dLLMs [63.82840470917859]
  本稿では,dLLMの復号化機構をモデル属性の強力なツールとして利用できることを示す。 本稿では、デコードステップ間の構造的関係を捉え、モデル固有の振る舞いをよりよく明らかにする、DDM(Directed Decoding Map)と呼ばれる新しい情報抽出手法を提案する。
  論文  参考訳（メタデータ） (2025-10-02T06:25:10Z)
• Model Correlation Detection via Random Selection Probing [62.093777777813756]
  既存の類似性に基づく手法では、モデルパラメータにアクセスしたり、しきい値なしでスコアを生成する必要がある。 本稿では,モデル相関検出を統計的テストとして定式化する仮説テストフレームワークであるランダム選択探索(RSP)を紹介する。 RSPは相関の証拠を定量化する厳密なp-値を生成する。
  論文  参考訳（メタデータ） (2025-09-29T01:40:26Z)
• Signal in the Noise: Polysemantic Interference Transfers and Predicts Cross-Model Influence [46.548276232795466]
  多意味性は言語モデルに広く浸透しており、解釈とモデル行動制御の大きな課題である。 2つの小さなモデルの多意味的トポロジをマッピングし、意味的に無関係だがモデル内の干渉を示す特徴対を同定する。 我々は4つのloci(prompt, token, feature, neuron)に介入し、次のトーケン予測分布における変化を計測し、これらのモデルに体系的な脆弱性を露呈する多意味構造を明らかにする。
  論文  参考訳（メタデータ） (2025-05-16T18:20:42Z)
• REEF: Representation Encoding Fingerprints for Large Language Models [53.679712605506715]
  REEFは、被疑者モデルと被害者モデルの表現との中心となるカーネルアライメントの類似性を計算し、比較する。 このトレーニング不要のREEFは、モデルの一般的な能力を損なうことなく、シーケンシャルな微調整、プルーニング、モデルマージ、置換に堅牢である。
  論文  参考訳（メタデータ） (2024-10-18T08:27:02Z)
• MergePrint: Merge-Resistant Fingerprints for Robust Black-box Ownership Verification of Large Language Models [1.9249287163937978]
  モデルマージを継続することのできる頑健な指紋を埋め込むための新しいフィンガープリント手法であるMergePrintを提案する。 MergePrintはブラックボックスのオーナシップの検証を可能にする。モデルが特定の指紋入力に対してターゲット出力を生成するかどうかのみを所有者が確認する必要がある。
  論文  参考訳（メタデータ） (2024-10-11T08:00:49Z)
• Discrete Diffusion Modeling by Estimating the Ratios of the Data Distribution [67.9215891673174]
  離散空間に対するスコアマッチングを自然に拡張する新たな損失として,スコアエントロピーを提案する。 標準言語モデリングタスク上で,Score Entropy Discrete Diffusionモデルをテストする。
  論文  参考訳（メタデータ） (2023-10-25T17:59:12Z)
• Mitigating Spurious Correlations in Multi-modal Models during Fine-tuning [18.45898471459533]
  モデル一般化を低下させたり、間違った理由でモデルが正しいことを導いたという豪華な相関は、現実世界のデプロイメントにおいて大きな堅牢性に関する懸念の1つです。 本稿では,特定の関心領域の微調整において,刺激的な相関に対処する新しい手法を提案する。
  論文  参考訳（メタデータ） (2023-04-08T05:20:33Z)
• Are You Stealing My Model? Sample Correlation for Fingerprinting Deep Neural Networks [86.55317144826179]
  従来の方法は、常にモデル指紋として転送可能な敵の例を利用する。 本稿では,SAmple correlation (SAC) に基づく新しいモデル盗難検出手法を提案する。 SACは、敵の訓練や移動学習を含む様々なモデル盗難攻撃をうまく防いでいる。
  論文  参考訳（メタデータ） (2022-10-21T02:07:50Z)
• Fingerprinting Deep Neural Networks Globally via Universal Adversarial Perturbations [22.89321897726347]
  本稿では,被害者モデルから被疑者モデルが盗まれたかどうかをサービス提供者が検証できるようにする,新しい,実用的なメカニズムを提案する。 我々のフレームワークは、容疑者モデルの指紋が20ドル以内で、信頼度99.99 %のモデルIP侵害を検出することができる。
  論文  参考訳（メタデータ） (2022-02-17T11:29:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。