論文の概要: Weak Ties, Strong Signals: Efficient Training Data Detection in Diffusion LLMs via Independent Token Sampling

• arxiv url: http://arxiv.org/abs/2609.22145v1
• Date: Wed, 26 Aug 2026 04:07:52 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-28 05:09:55.732614
• Title: Weak Ties, Strong Signals: Efficient Training Data Detection in Diffusion LLMs via Independent Token Sampling
• Title（参考訳）: 弱いタイツ、強い信号:独立利得サンプリングによる拡散LDMの効率的なトレーニングデータ検出
• Abstract要約: 拡散大言語モデル(dLLM)は自己回帰モデルに代わる魅力的な選択肢を提供する。 聴覚訓練の際には、敏感な訓練データを公開することもある。 既存の方法は、抽出可能なトークンワイド検出信号を得るためにランダムマスキングに依存している。
• 参考スコア（独自算出の注目度）: 44.92427120981933
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Diffusion large language models (dLLMs) offer a compelling alternative to autoregressive models, yet they may expose sensitive training data during denoising. Detecting such usage is challenging because dLLMs lack the efficient one-pass probability decomposition of causal architectures. Existing methods rely on random masking to obtain tractable token-wise detection signals under limited query budgets, but fail to control dependencies among masked tokens. We demonstrate that this token-wise approximation introduces a non-negative structural estimation error, which is theoretically characterized by the cumulative conditional mutual information (CMI) among masked tokens and can obscure subtle memorization signals. This insight suggests that reliable detection requires masked token sets with weak internal dependency. To avoid the prohibitive cost of directly estimating CMI over token combinations, we propose \textit{Independent Token Sampling} (ITS), a query-efficient framework that uses an attention-derived pairwise dependency proxy to approximate the CMI-aware selection criterion. ITS further incorporates a diversity-promoting strategy to improve token coverage across sampling rounds, yielding aggregated token-wise signals that are less affected by dependency-induced approximation error. Experiments on multiple datasets show that ITS consistently outperforms state-of-the-art baselines across different models and datasets, achieving an AUC improvement of 0.18 on the ArXiv dataset while maintaining strong performance under limited query budgets. The code is available at https://github.com/Chrisqcwx/DLLM-MIA .
• Abstract（参考訳）: 拡散型大規模言語モデル(dLLMs)は自己回帰モデルに代わる魅力的な代替手段を提供するが、復調中は敏感なトレーニングデータを公開する可能性がある。 なぜなら、dLLMは因果アーキテクチャの効率的なワンパス確率分解を欠いているからである。 既存の方法は、限定的なクエリ予算の下で、引き分け可能なトークン検出信号を得るためにランダムマスキングに頼っているが、マスクされたトークン間の依存関係を制御できない。 このトークンワイズ近似は、マスクされたトークン間の累積条件相互情報(CMI)によって理論的に特徴付けられる非負の構造的推定誤差を導入し、微妙な暗黙的記憶信号の微妙な検出を可能にすることを実証する。 この洞察は、信頼性の高い検出には内部依存性の弱いマスク付きトークンセットが必要であることを示唆している。 トークンの組み合わせによるCMIの直接推定の禁止コストを回避するため,CMI対応選択基準を近似するために,注目に起因した相互依存プロキシを用いたクエリ効率の高いフレームワークである‘textit{Independent Token Sampling} (ITS) を提案する。 さらに、サンプリングラウンド全体にわたるトークンカバレッジを改善するための多様性促進戦略を取り入れ、依存性による近似エラーの影響を受けない集約されたトークンワイズ信号を生成する。 複数のデータセットに対する実験では、さまざまなモデルやデータセットの最先端のベースラインを一貫して上回り、ArXivデータセット上でAUCの改善0.18を達成すると同時に、クエリ予算の制限下での強いパフォーマンスを維持している。 コードはhttps://github.com/Chrisqcwx/DLLM-MIA で公開されている。

関連論文リスト

• Semantic Token Clustering for Efficient Uncertainty Quantification in Large Language Models [46.44117909405577]
  大規模言語モデル(LLM)は、様々なタスクにまたがる顕著な能力を示している。 不確実性定量化は、潜在的に信頼できない出力を特定するための有望な方法を提供する。 本稿では,効率的な不確実性定量化手法であるセマンティックトークンクラスタリング(STC)を提案する。
  論文  参考訳（メタデータ） (2026-03-20T17:37:33Z)
• LROO Rug Pull Detector: A Leakage-Resistant Framework Based on On-Chain and OSINT Signals [1.0382948833881696]
  rug pullはスマートコントラクトベースのエコシステムにおける最も一般的な攻撃の1つです。 本稿では,早期のラグプル検出のためのリーク・アウェア・フレームワークを提案する。 オンチェーンの行動メトリクスと時間的に整合したオープンソースインテリジェンス(OSINT)信号を統合する。
  論文  参考訳（メタデータ） (2026-03-11T21:35:53Z)
• ProtoDCS: Towards Robust and Efficient Open-Set Test-Time Adaptation for Vision-Language Models [32.840734752367275]
  Prototype-based Double-Check separation (ProtoDCS)はOSTTAの堅牢なフレームワークである。 csIDとcsOODを分離し、ビジョン言語モデルのcsIDデータへの安全かつ効率的な適応を可能にする。 ProtoDCSは、既知のクラス精度とOOD検出メトリクスの両方を大幅に向上させる。
  論文  参考訳（メタデータ） (2026-02-27T03:39:02Z)
• Beyond Next Token Probabilities: Learnable, Fast Detection of Hallucinations and Data Contamination on LLM Output Distributions [60.43398881149664]
  LLM出力シグナチャの効率的な符号化を訓練した軽量アテンションベースアーキテクチャであるLOS-Netを紹介する。 非常に低い検出レイテンシを維持しながら、さまざまなベンチマークやLLMで優れたパフォーマンスを実現している。
  論文  参考訳（メタデータ） (2025-03-18T09:04:37Z)
• Pretraining Data Detection for Large Language Models: A Divergence-based Calibration Method [108.56493934296687]
  本研究では,乱数から発散する概念に触発された偏差に基づくキャリブレーション手法を導入し,プリトレーニングデータ検出のためのトークン確率のキャリブレーションを行う。 我々は,中国語テキスト上でのLLMの検出手法の性能を評価するために,中国語のベンチマークであるPatentMIAを開発した。
  論文  参考訳（メタデータ） (2024-09-23T07:55:35Z)
• Empowering HWNs with Efficient Data Labeling: A Clustered Federated Semi-Supervised Learning Approach [2.046985601687158]
  CFL(Clustered Federated Multitask Learning)は,統計的課題を克服するための効果的な戦略として注目されている。 本稿では,より現実的なHWNシナリオ用に設計された新しいフレームワークであるClustered Federated Semi-Supervised Learning (CFSL)を紹介する。 その結果,ラベル付きデータとラベル付きデータの比率が異なる場合,CFSLはテスト精度,ラベル付け精度,ラベル付け遅延などの重要な指標を著しく改善することがわかった。
  論文  参考訳（メタデータ） (2024-01-19T11:47:49Z)
• Querying Easily Flip-flopped Samples for Deep Active Learning [63.62397322172216]
  アクティブラーニング(英: Active Learning)は、ラベルのないデータを戦略的に選択してクエリすることで、モデルの性能を向上させることを目的とした機械学習パラダイムである。 効果的な選択戦略の1つはモデルの予測の不確実性に基づくもので、サンプルがどの程度情報的であるかの尺度として解釈できる。 本稿では,予測されたラベルの不一致の最小確率として,最小不一致距離(LDM)を提案する。
  論文  参考訳（メタデータ） (2024-01-18T08:12:23Z)
• Uncertainty-aware Self-training for Low-resource Neural Sequence Labeling [29.744621356187764]
  本稿では,ニューラルシークエンスラベリング(NSL)のための新しい未知の自己学習フレームワークSeqUSTを提案する。 ベイジアンニューラルネットワーク(BNN)にモンテカルロ(MC)ドロップアウトを組み込んでトークンレベルで不確実性評価を行い、ラベルのないデータから信頼性の高い言語トークンを選択する。 ノイズロスのあるマスク付きシークエンスラベリングタスクは、ノイズのある擬似ラベルの問題を抑えることを目的とした堅牢なトレーニングを支援する。
  論文  参考訳（メタデータ） (2023-02-17T02:40:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。