論文の概要: Every Language Model Has a Forgery-Resistant Signature

• arxiv url: http://arxiv.org/abs/2510.14086v1
• Date: Wed, 15 Oct 2025 20:46:38 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-17 21:15:14.613024
• Title: Every Language Model Has a Forgery-Resistant Signature
• Title（参考訳）: どの言語モデルにも偽り耐性の署名がある
• Authors: Matthew Finlayson, Xiang Ren, Swabha Swayamdipta,
• Abstract要約: 本研究では,高次元楕円体の表面にある言語モデル出力をモデルのためのシグネチャとして示し,与えられた出力のソースモデルを特定するために使用できることを示す。 そこで本研究では,小型モデルから楕円を抽出する新しい手法の評価を行い,実運用モデルでは実現不可能な実用的ハードルについて考察する。
• 参考スコア（独自算出の注目度）: 39.62384869352354
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The ubiquity of closed-weight language models with public-facing APIs has generated interest in forensic methods, both for extracting hidden model details (e.g., parameters) and for identifying models by their outputs. One successful approach to these goals has been to exploit the geometric constraints imposed by the language model architecture and parameters. In this work, we show that a lesser-known geometric constraint--namely, that language model outputs lie on the surface of a high-dimensional ellipse--functions as a signature for the model and can be used to identify the source model of a given output. This ellipse signature has unique properties that distinguish it from existing model-output association methods like language model fingerprints. In particular, the signature is hard to forge: without direct access to model parameters, it is practically infeasible to produce log-probabilities (logprobs) on the ellipse. Secondly, the signature is naturally occurring, since all language models have these elliptical constraints. Thirdly, the signature is self-contained, in that it is detectable without access to the model inputs or the full weights. Finally, the signature is compact and redundant, as it is independently detectable in each logprob output from the model. We evaluate a novel technique for extracting the ellipse from small models and discuss the practical hurdles that make it infeasible for production-scale models. Finally, we use ellipse signatures to propose a protocol for language model output verification, analogous to cryptographic symmetric-key message authentication systems.
• Abstract（参考訳）: 公開APIを備えたクローズドウェイト言語モデルの普及は、隠されたモデルの詳細(例えばパラメータ)の抽出と、その出力によるモデル識別の両方において、法医学的手法への関心を生んでいる。 これらの目標に対する1つの成功したアプローチは、言語モデルアーキテクチャとパラメータによって課される幾何学的制約を活用することである。 本研究では,高次元楕円関数の表面における言語モデル出力がモデルのシグネチャであり,与えられた出力のソースモデルを特定するのに使用できるという,あまり知られていない幾何的制約を示す。 この楕円シグネチャは、言語モデル指紋のような既存のモデル出力アソシエーションメソッドと区別するユニークな特性を持っている。 モデルパラメータに直接アクセスすることなく、楕円上でログ確率(logprobs)を生成することは事実上不可能である。 第二に、すべての言語モデルがこれらの楕円的制約を持つため、シグネチャは自然に発生している。 第三に、署名は自己完結しており、モデル入力や全重みにアクセスせずに検出できる。 最後に、シグネチャはコンパクトで冗長であり、モデルから出力された各ログプロブで独立に検出できる。 そこで本研究では,小型モデルから楕円を抽出する新しい手法の評価を行い,実運用モデルでは実現不可能な実用的ハードルについて考察する。 最後に、楕円シグネチャを用いて、暗号対称鍵メッセージ認証システムに類似した言語モデル出力検証のためのプロトコルを提案する。

関連論文リスト

• A Variational Framework for Improving Naturalness in Generative Spoken Language Models [52.673912922590866]
  本稿では,連続した音声属性をエンコードして意味的トークンを拡張できるエンドツーエンドの変分手法を提案する。 提案手法は,手動によるパラ言語的特徴の抽出と選択の必要性を排除している。 ヒトの発声者に応じて、好意的な発話継続を生産する。
  論文  参考訳（メタデータ） (2025-06-17T17:58:17Z)
• Sampling from Your Language Model One Byte at a Time [82.71473348639489]
  トークン化は、PBP(Prompt Boundary Problem)として知られるモデル世代に歪みをもたらす可能性がある。 BPEトークン化器を用いて任意のオートレ LM を文字レベルまたはバイトレベル LM に変換する推論時間法を提案する。 提案手法は, PBPを効率的に解き, 異なるトークン化器で言語モデルの語彙を統一することができる。
  論文  参考訳（メタデータ） (2025-06-17T02:37:04Z)
• Pretraining Language Models to Ponder in Continuous Space [50.52734567589996]
  単一のトークン生成ステップ内で,前処理を繰り返し呼び出すことによって,この思考プロセスを言語モデルに導入する。 人間のアノテーションを使わずに、自己教師付き学習を通じて、この方法でモデルを学習できることが示される。
  論文  参考訳（メタデータ） (2025-05-27T03:47:33Z)
• Type-Constrained Code Generation with Language Models [51.03439021895432]
  本稿では,型システムを利用してコード生成を誘導する型制約デコード手法を提案する。 そこで本研究では,新しい接頭辞オートマトンと,在来型を探索する手法を開発し,LLM生成コードに適切な型付けを強制するための健全なアプローチを構築した。 提案手法は,コード合成,翻訳,修復作業において,コンパイルエラーを半分以上削減し,機能的正しさを著しく向上させる。
  論文  参考訳（メタデータ） (2025-04-12T15:03:00Z)
• Command-line Obfuscation Detection using Small Language Models [0.7373617024876725]
  敵はしばしば検出を避けるためにコマンドライン難読化を使用する。 我々は、カスタムトレーニングされた小さなトランスフォーマー言語モデルを活用する、スケーラブルなNLPベースの検出手法を実装した。 確立したマルウェアのシグネチャに対するモデルの優位性を示すとともに,本モデルが検出した未確認の難読化サンプルを示す。
  論文  参考訳（メタデータ） (2024-08-05T17:01:33Z)
• LADDER: Language Driven Slice Discovery and Error Rectification [16.146099639239615]
  現在のクラスタリングや離散属性ベースのスライス発見メソッドは、重要な制限に直面している。 我々は,(1)不完全性に対処するために自然言語の柔軟性を活用すること,(2)LLMの潜在的テクストドメイン知識と高度な推論を用いて文を分析し,仮説を直接導出する,という制限に対処することを提案する。 厳密な評価は、ラダーがバイアスを発見し緩和する際に、既存のベースラインを一貫して上回っていることを示している。
  論文  参考訳（メタデータ） (2024-07-31T14:49:35Z)
• Understanding and Mitigating Tokenization Bias in Language Models [6.418593476658017]
  State-of-the-art言語モデルは自己回帰型であり、トークンとして知られるサブワード単位で動作する。 一般的な符号化方式は、より多くのトレーニングやデータで緩和できないサンプリングバイアスを引き起こすことを示す。 トークン化データに基づいて訓練された任意の言語モデルからバイアスのない推定値を得るための新しいアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2024-06-24T17:38:02Z)
• Meaning Representations from Trajectories in Autoregressive Models [106.63181745054571]
  入力テキストを拡張可能なすべてのトラジェクトリの分布を考慮し,自己回帰言語モデルから意味表現を抽出する。 この戦略はプロンプトフリーであり、微調整は必要とせず、事前訓練された自己回帰モデルにも適用できる。 我々は,大規模なモデルから得られた表現が人間のアノテーションとよく一致し,意味的類似性タスクにおける他のゼロショットおよびプロンプトフリーメソッドよりも優れており,標準埋め込みが扱えないより複雑なエンタテインメントや包含タスクの解決に使用できることを実証的に示す。
  論文  参考訳（メタデータ） (2023-10-23T04:35:58Z)
• Are discrete units necessary for Spoken Language Modeling? [10.374092717909603]
  音声言語モデリングにおける最近の研究は、テキストラベルなしで生音声から教師なしの言語を学ぶ可能性を示している。 音声言語モデリングの優れた結果を得るためには,離散化が不可欠であることを示す。 また、HuBERTのような個別のターゲットで訓練されたエンドツーエンドモデルは、擬似テキストで訓練された最良の言語モデルと同様の結果が得られることを示す。
  論文  参考訳（メタデータ） (2022-03-11T14:14:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。