論文の概要: Token Rankings are Unforgeable Language Model Signatures

• arxiv url: http://arxiv.org/abs/2606.04459v1
• Date: Wed, 03 Jun 2026 05:06:35 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-04 20:44:18.559722
• Title: Token Rankings are Unforgeable Language Model Signatures
• Title（参考訳）: Token Rankings is unforgeable Language Model Signatures
• Authors: Matthew Finlayson, Andreas Grivas, Xiang Ren, Swabha Swayamdipta,
• Abstract要約: 言語モデルパラメータは、ロジット出力にユニークな(各モデルに)幾何学的制約を課すことが知られている。 このシグネチャは、モデルを識別するシグネチャとして機能すると同時に、APIがロジットを配布すると、モデルの最終的なレイヤパラメータをリークする。
• 参考スコア（独自算出の注目度）: 38.02128934760436
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Language model parameters are known to impose unique (to each model) geometric constraints on their logit outputs, which serves as a signature that identifies the model, but also leaks the model's final layer parameters when an API distributes logits. We investigate more restrictive APIs that expose token rankings (i.e., their ordering by probability, but not the probability values) and find that rankings also constitute a signature: every model has a unique set of feasible top-$k$ rankings for sufficiently large $k$. Furthermore, the ranking signature is the first known (polynomially) unforgeable signature, since finding a model with the same set of feasible rankings is NP-hard. On the security front, we find that token rankings are already sufficient to approximately steal the final layer of the model, similar to logits, though the approximation is too coarse to forge the signature, and can be effectively countered by restricting the API to top-$k$ tokens with sufficiently small $k$. Since the top-$k$ required to present the model signature is generally smaller than the $k$ required to prevent stealing, it is possible for an API to present an unforgeable signature without leaking model parameters.
• Abstract（参考訳）: 言語モデルパラメータは、ロジット出力にユニークな(各モデルに)幾何学的制約を課すことが知られている。 トークンランキングを公開するより制限的なAPI(すなわち、確率による順序付けではなく、確率値による順序付け)を調査し、ランク付けがシグネチャを構成することを発見した。 さらに、ランク付けシグネチャは、同じ可能なランク付けのモデルを見つけることはNPハードであるため、最初の既知の(ポリノミクス的に)偽造できないシグネチャである。 セキュリティ面では、トークンのランク付けは、ロジットと同様、モデルの最終的なレイヤを盗むのに十分である。しかし、近似は、シグネチャをフォージするには大きすぎるため、APIを十分小さい$k$のトークンに制限することで、効果的に対抗できる。 モデルシグネチャを提示するために必要となるトップ$kは、盗みを防ぐために必要な$k$よりも一般的に小さいため、モデルパラメータをリークすることなく、忘れられないシグネチャをAPIで提示することが可能である。

関連論文リスト

• Every Language Model Has a Forgery-Resistant Signature [39.62384869352354]
  本研究では,高次元楕円体の表面にある言語モデル出力をモデルのためのシグネチャとして示し,与えられた出力のソースモデルを特定するために使用できることを示す。 そこで本研究では,小型モデルから楕円を抽出する新しい手法の評価を行い,実運用モデルでは実現不可能な実用的ハードルについて考察する。
  論文  参考訳（メタデータ） (2025-10-15T20:46:38Z)
• Language Models over Canonical Byte-Pair Encodings [56.09166157337198]
  トークンレベルの言語モデルにおいて、正準性を強制する手法を提案する。 正則性ミスの修正は,いくつかのモデルやコーパスの保持データの可能性を向上させることを示す。
  論文  参考訳（メタデータ） (2025-06-09T17:26:14Z)
• One For All: Formally Verifying Protocols which use Aggregate Signatures (extended version) [6.604074204101799]
  BLSアグリゲートシグネチャは、DfinityやCloudflareなどによってデプロイされた一般的なアグリゲートシグネチャである。 BLSアグリゲートシグネチャは、プロトコル開発者が慎重に扱わなければならないニュアンスな要件で、正しく使用するのは難しい。 本研究では,タマリンやProVerifなどの形式検証ツールをこれらのシグネチャを用いたプロトコルに適用可能なアグリゲートシグネチャの最初のモデルの設計を行う。
  論文  参考訳（メタデータ） (2025-05-15T14:01:30Z)
• Exact Byte-Level Probabilities from Tokenized Language Models for FIM-Tasks and Model Ensembles [23.134664392314264]
  トークン化は、言語モデル(LM)における多くの未理解の欠点と関連している。 本研究は, トークン化がモデルとバイトレベルのモデルを比較し比較することによって, モデル性能に与える影響について検討する。 本稿では,学習トークン分布と等価バイトレベル分布とのマッピングを確立するフレームワークであるByte-Token Representation Lemmaを紹介する。
  論文  参考訳（メタデータ） (2024-10-11T23:30:42Z)
• Understanding and Mitigating Tokenization Bias in Language Models [6.418593476658017]
  State-of-the-art言語モデルは自己回帰型であり、トークンとして知られるサブワード単位で動作する。 一般的な符号化方式は、より多くのトレーニングやデータで緩和できないサンプリングバイアスを引き起こすことを示す。 トークン化データに基づいて訓練された任意の言語モデルからバイアスのない推定値を得るための新しいアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2024-06-24T17:38:02Z)
• Who Leaked the Model? Tracking IP Infringers in Accountable Federated Learning [51.26221422507554]
  Federated Learning (FL) は、大規模で分散したクライアントからのデータと計算リソースを調整する効果的な協調学習フレームワークである。 このようなコラボレーションは、個々のユーザではなく、パーティー全体によって保護され、共有されるべきモデルパラメータによって表現される非自明な知的財産(IP)をもたらす。 このようなIPリークをブロックするためには、IPを共有モデルで識別し、最初にリークした匿名の侵害者を特定することが不可欠である。 本稿では,説明責任FLの要件を満たすために,Dudeable Unique Watermarking (DUW)を提案する。
  論文  参考訳（メタデータ） (2023-12-06T00:47:55Z)
• Label-Retrieval-Augmented Diffusion Models for Learning from Noisy Labels [61.97359362447732]
  ノイズの多いラベルからの学習は、実際のアプリケーションのための機械学習において、重要かつ長年にわたる問題である。 本稿では,生成モデルの観点からラベルノイズ問題を再構成する。 我々のモデルは、標準的な実世界のベンチマークデータセットで新しいSOTA(State-of-the-art)結果を達成する。
  論文  参考訳（メタデータ） (2023-05-31T03:01:36Z)
• Towards Data-Free Model Stealing in a Hard Label Setting [41.92884427579068]
  トップ1の予測にのみアクセスすることで機械学習モデルを盗むことができることを示す。 本稿では,モデルを盗むために学生とジェネレータをタンデムで訓練する新しいGANベースのフレームワークを提案する。
  論文  参考訳（メタデータ） (2022-04-23T08:44:51Z)
• Don't Forget to Sign the Gradients! [60.98885980669777]
  GradSignsはディープニューラルネットワーク(DNN)のための新しい透かしフレームワーク 深部ニューラルネットワーク(DNN)のための新しい透かしフレームワークであるGradSignsを紹介します。
  論文  参考訳（メタデータ） (2021-03-05T14:24:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。