論文の概要: Membership Inference in Fine-tuned Diffusion Language Models via Token-level Memorization Asymmetry

• arxiv url: http://arxiv.org/abs/2609.00873v1
• Date: Tue, 01 Sep 2026 08:07:21 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-02 16:31:36.458344
• Title: Membership Inference in Fine-tuned Diffusion Language Models via Token-level Memorization Asymmetry
• Title（参考訳）: トークンレベルの記憶非対称性を用いた微調整拡散言語モデルのメンバシップ推論
• Authors: Shengfang Zhai, Leo Marchyok, Yuling Shi, Huanran Chen, Yinpeng Dong, Jiaheng Zhang, Sanghyun Hong,
• Abstract要約: 拡散言語モデル(DLM)は、並列生成や双方向コンテキストモデリングといった利点を提供する。 生成能力への関心が高まりつつあるにもかかわらず、DLMのプライバシーリスクは未調査のままである。 そこで我々は,Q-Skewを提案する。Q-Skew,Q-Skew,Q-Skew,Q-Skew,Q-Skew,Q-Skew。
• 参考スコア（独自算出の注目度）: 35.94085534574674
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Diffusion language models (DLMs) have recently emerged as an alternative modeling paradigm to autoregressive LMs, offering advantages such as parallel generation and bidirectional context modeling. Despite growing interest in their generative capabilities, the privacy risks of DLMs remain underexplored. We identify a phenomenon termed token-level memorization asymmetry through theoretical analysis of diffusion training dynamics. Building on this finding, we propose Q-Skew, a quantile-weighted skewness-based indicator for membership inference on finetuned DLMs. Experiments across multiple fine-tuning datasets and models show that our method outperforms existing baselines. Moreover, we show that Q-Skew can also facilitate other privacy violations, such as PII extraction. Our findings reveal a previously underexplored privacy attack surface and highlight the need for systematic privacy evaluation of DLMs.
• Abstract（参考訳）: 拡散言語モデル(DLM)は、並列生成や双方向コンテキストモデリングといった利点を提供する自己回帰型LMの代替モデルパラダイムとして最近登場した。 生成能力への関心が高まりつつあるにもかかわらず、DLMのプライバシーリスクは未調査のままである。 拡散訓練力学の理論解析によりトークンレベルの記憶非対称性と呼ばれる現象を同定する。 そこで本研究では,Q-Skewを提案する。Q-Skew,Q-Skew,Q-Skew,Q-Skew,Q-Skew,Q-Skew,Q-Skew。 複数の微調整データセットとモデルに対する実験により、我々の手法が既存のベースラインより優れていることが示された。 さらに,Q-Skewは,PII抽出など他のプライバシー侵害にも有効であることを示す。 以上の結果から,これまでに未発見のプライバシ攻撃面が明らかとなり,DLMの体系的なプライバシ評価の必要性が浮き彫りになった。

関連論文リスト

• Unified Hallucination Fuzzing for Multimodal Large Language Models [44.4785399881315]
  マルチモーダル大言語モデル(MLLM)に対する幻覚は依然として永続的な課題である 既存の評価は、主に静的なベンチマークに基づいており、狭い分類範囲と急速な性能飽和に悩まされている。 本稿では,総合的なベンチマークと自己進化型ストレステストを統合するシステム評価フレームワークを提案する。
  論文  参考訳（メタデータ） (2026-07-15T17:57:37Z)
• AnE: Pushing the Reasoning Frontier of Multimodal LLMs via Anchor Evolution [61.593935260052795]
  Supervised Fine-Tuning (SFT) とReinforcement Learning (RL) による後学習は多モーダル大規模言語モデル(MLLM)における推論の強化に不可欠である 既存のパラダイムは、静的データの制限により、しばしばパフォーマンスのボトルネックに達する。 我々は,真理に順応したデータキュレーションとモデル進化を統合する新しいパラダイムであるアンカー進化(AnE)を提案する。
  論文  参考訳（メタデータ） (2026-05-25T08:26:34Z)
• ReproMIA: A Comprehensive Analysis of Model Reprogramming for Proactive Membership Inference Attacks [9.222065816286918]
  メンバーシップ推論のための統一的で効率的なフレームワークである textttReproMIA を提案する。 様々なアーキテクチャパラダイムにわたるtextttReproMIA の特殊インスタンス化を提供する。 textttReproMIAは、既存の最先端のベースラインよりも一貫して、実質的に優れています。
  論文  参考訳（メタデータ） (2026-03-30T19:35:10Z)
• Characterizing Memorization in Diffusion Language Models: Generalized Extraction and Sampling Effects [17.220195638215507]
  拡散言語モデル (DLMs) は自己回帰言語モデル (ARMs) の代替として登場した。 DLMは、ARMと比較して、個人識別情報(PII)の記憶に基づくリークが著しく低い。
  論文  参考訳（メタデータ） (2026-03-02T19:03:32Z)
• Evaluating from Benign to Dynamic Adversarial: A Squid Game for Large Language Models [57.33350664910483]
  資源制約と非対称な情報設定を備えた動的・対角的評価環境であるSquid Gameを紹介する。 我々は,Squid Game 上で50以上の LLM を評価し,動的対向シナリオにおける一般 LLM の行動評価研究を最大規模で行った。
  論文  参考訳（メタデータ） (2025-11-12T06:06:29Z)
• Will Pre-Training Ever End? A First Step Toward Next-Generation Foundation MLLMs via Self-Improving Systematic Cognition [89.50068130832635]
  自己改善認知 (SIcog) は、マルチモーダル知識によって次世代のMLLMを構築するための自己学習フレームワークである。 ステップバイステップの視覚的理解のためのChain-of-Descriptionを提案し、詳細なマルチモーダル推論をサポートするために構造化されたChain-of-Thought(CoT)推論を統合する。 実験は、マルチモーダル認知を増強したMLLMの開発におけるSIcogの有効性を示す。
  論文  参考訳（メタデータ） (2025-03-16T00:25:13Z)
• Characterizing Truthfulness in Large Language Model Generations with Local Intrinsic Dimension [63.330262740414646]
  大規模言語モデル(LLM)から生成されたテキストの真偽を特徴付ける方法と予測法について検討する。 モデルアクティベーションの局所固有次元 (LID) を用いて, 内部アクティベーションを調査し, LLMの真偽を定量化する。
  論文  参考訳（メタデータ） (2024-02-28T04:56:21Z)
• Probing Large Language Models from A Human Behavioral Perspective [24.109080140701188]
  大規模言語モデル(LLM)は、現代のNLPにおいて支配的な基礎モデルとして登場した。 フィードフォワードネットワーク (FFN) やマルチヘッド・セルフアテンション (MHSA) などの予測プロセスや内部メカニズムの理解はいまだに未解明のままである。
  論文  参考訳（メタデータ） (2023-10-08T16:16:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。