論文の概要: Every Step Counts: Decoding Trajectories as Authorship Fingerprints of dLLMs

• arxiv url: http://arxiv.org/abs/2510.05148v1
• Date: Thu, 02 Oct 2025 06:25:10 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-08 17:57:07.856386
• Title: Every Step Counts: Decoding Trajectories as Authorship Fingerprints of dLLMs
• Title（参考訳）: すべてのステップカウント:dLLMのオーサシップフィンガープリントとして軌道をデコードする
• Authors: Qi Li, Runpeng Yu, Haiquan Lu, Xinchao Wang,
• Abstract要約: 本稿では,dLLMの復号化機構をモデル属性の強力なツールとして利用できることを示す。 本稿では、デコードステップ間の構造的関係を捉え、モデル固有の振る舞いをよりよく明らかにする、DDM(Directed Decoding Map)と呼ばれる新しい情報抽出手法を提案する。
• 参考スコア（独自算出の注目度）: 63.82840470917859
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Discrete Diffusion Large Language Models (dLLMs) have recently emerged as a competitive paradigm for non-autoregressive language modeling. Their distinctive decoding mechanism enables faster inference speed and strong performance in code generation and mathematical tasks. In this work, we show that the decoding mechanism of dLLMs not only enhances model utility but also can be used as a powerful tool for model attribution. A key challenge in this problem lies in the diversity of attribution scenarios, including distinguishing between different models as well as between different checkpoints or backups of the same model. To ensure broad applicability, we identify two fundamental problems: what information to extract from the decoding trajectory, and how to utilize it effectively. We first observe that relying directly on per-step model confidence yields poor performance. This is mainly due to the bidirectional decoding nature of dLLMs: each newly decoded token influences the confidence of other decoded tokens, making model confidence highly redundant and washing out structural signal regarding decoding order or dependencies. To overcome this, we propose a novel information extraction scheme called the Directed Decoding Map (DDM), which captures structural relationships between decoding steps and better reveals model-specific behaviors. Furthermore, to make full use of the extracted structural information during attribution, we propose Gaussian-Trajectory Attribution (GTA), where we fit a cell-wise Gaussian distribution at each decoding position for each target model, and define the likelihood of a trajectory as the attribution score: if a trajectory exhibits higher log-likelihood under the distribution of a specific model, it is more likely to have been generated by that model. Extensive experiments under different settings validate the utility of our methods.
• Abstract（参考訳）: 離散拡散大言語モデル(dLLM)は、非自己回帰型言語モデリングの競争パラダイムとして最近登場した。 その独特な復号化機構は、コード生成や数学的タスクにおいて高速な推論速度と強力な性能を実現する。 本研究では,dLLMの復号化機構がモデルの有用性を高めるだけでなく,モデル帰属のための強力なツールとしても利用できることを示す。 この問題における重要な課題は、異なるモデルの区別や、同じモデルの異なるチェックポイントやバックアップの区別を含む、属性シナリオの多様性にある。 広汎な適用性を確保するため,復号回路から抽出する情報と有効利用方法の2つの基本的問題を特定する。 まず、ステップごとのモデルの信頼性に直接依存するとパフォーマンスが低下するのを観察する。 新たにデコードされたトークンは、他のデコードされたトークンの信頼性に影響を与え、モデルの信頼性を極めて冗長にし、デコード順序や依存関係に関する構造信号を洗い流す。 そこで本研究では,デコードステップ間の構造的関係を抽出し,モデル固有の振る舞いをよりよく明らかにする,DDM(Directed Decoding Map)と呼ばれる新しい情報抽出手法を提案する。 さらに, 抽出した構造情報を属性中にフル活用するために, セルワイドなガウス分布を各対象モデルの復号位置に適合させ, トラジェクトリの確率を属性スコアとして定義するガウス・トラジェクトリ属性(GTA)を提案する。 異なる条件下での大規模な実験により,本手法の有用性が検証された。

関連論文リスト

• DECIDER: Leveraging Foundation Model Priors for Improved Model Failure Detection and Explanation [18.77296551727931]
  本稿では,大規模言語モデル (LLM) と視覚言語モデル (VLM) の先行情報を利用した画像モデルの故障検出手法であるDECIDERを提案する。 DECIDERは一貫して最先端の故障検出性能を達成し、マシューズ相関係数全体のベースラインを著しく上回っている。
  論文  参考訳（メタデータ） (2024-08-01T07:08:11Z)
• Disentanglement via Latent Quantization [60.37109712033694]
  本研究では,組織化された潜在空間からの符号化と復号化に向けた帰納的バイアスを構築する。 本稿では,基本データレコーダ (vanilla autoencoder) と潜時再構成 (InfoGAN) 生成モデルの両方に追加することで,このアプローチの広範な適用性を実証する。
  論文  参考訳（メタデータ） (2023-05-28T06:30:29Z)
• AvgOut: A Simple Output-Probability Measure to Eliminate Dull Responses [97.50616524350123]
  機能エンジニアリングなしで、どの発話やトークンが退屈であるかを動的に認識する対話モデルを構築します。 最初のモデルMinAvgOutは、各バッチの出力分布を通して、ダイバーシティスコアを直接最大化する。 第2のモデルであるラベルファインチューニング(LFT)は、多様性スコアによって連続的にスケールされたラベルをソースシーケンスにプリペイドし、多様性レベルを制御する。 3つ目のモデルであるRLは強化学習を採用し、多様性スコアを報奨信号として扱う。
  論文  参考訳（メタデータ） (2020-01-15T18:32:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。