論文の概要: Guided Diffusion for Trustworthy Synthetic Text Generation

• arxiv url: http://arxiv.org/abs/2610.27259v1
• Date: Mon, 19 Oct 2026 20:27:19 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-21 21:58:47.494897
• Title: Guided Diffusion for Trustworthy Synthetic Text Generation
• Title（参考訳）: 信頼できるテキスト生成のためのガイド付き拡散
• Abstract要約: 本稿では,プライベートな合成テキスト生成のための新しいパラダイム,ガイド付き拡散を提案する。 本稿では,反復的復調手順を積極的に導く新しいサンプリング手法と再マスキング手法を提案する。 これらのメカニズムは、ターゲットのセマンティックな分布に固執する流動的なテキストを再構築する生成過程を操縦する。
• 参考スコア（独自算出の注目度）: 33.38717972120251
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The rapid evolution of Large Language Models is fueled by massive datasets, yet this reliance poses severe privacy risks, as models can inadvertently memorize and even directly output sensitive training data. Synthetic text generation offers a promising solution to this challenge; however, existing methods struggle to reconcile rigorous privacy guarantees with high data utility. In this paper, we propose a new paradigm for private synthetic text generation: Guided Diffusion. Leveraging the unique steerability of Diffusion Language Models, we introduce novel sampling and re-masking procedures that actively guide the iterative denoising steps. These mechanisms steer the generative process to reconstruct fluent text that adheres to a target semantic distribution. We demonstrate that our framework is naturally compatible with Differential Privacy (DP): once the semantic embeddings of the private corpus are protected, the DP guarantee carries over to the generated text by post-processing. Empirically, we show that our approach generates high-quality synthetic text with precise semantic alignment. Furthermore, we validate its effectiveness in DP synthetic text generation: across two datasets and two diffusion backbones, it outperforms Private Evolution and DP-SGD-based fine-tuning in distributional fidelity and downstream utility, while generating significantly faster than Private Evolution. We further extend the framework to Data-Specific Indistinguishability (DSI), which adds a formal certificate against data poisoning and memorization at a small utility cost.
• Abstract（参考訳）: 大規模言語モデルの急速な進化は、膨大なデータセットによって支えられているが、この依存は、モデルを不注意に記憶したり、センシティブなトレーニングデータを直接出力したりすることで、深刻なプライバシー上のリスクをもたらす。 合成テキスト生成は、この課題に対する有望な解決策を提供するが、既存の方法は、厳密なプライバシー保証と高データユーティリティとの整合に苦慮している。 本稿では,私的合成テキスト生成のための新しいパラダイム,ガイド付き拡散を提案する。 拡散言語モデルの独特な操縦性を生かし、反復的認知ステップを積極的に導く新しいサンプリングおよび再マスキング手順を導入する。 これらのメカニズムは、ターゲットのセマンティックな分布に固執する流動的なテキストを再構築する生成過程を操縦する。 我々は,我々のフレームワークが微分プライバシ(DP)と自然に互換性があることを実証し,プライベートコーパスのセマンティック埋め込みが保護されると,DP保証は後処理によって生成されたテキストに受け継がれることを示した。 提案手法は,高精度なセマンティックアライメントによる高品質な合成テキストを生成する。 さらに,2つのデータセットと2つの拡散バックボーンにまたがるDP合成テキスト生成の有効性を検証する。 我々はさらに、このフレームワークをData-Specific Indistinguishability (DSI)に拡張する。

関連論文リスト

• Continuous Latent Diffusion Language Model [48.974403879186916]
  大規模言語モデルは自己回帰パラダイムの下で顕著な成功を収めた。 既存の代替手段は、生成効率、スケーラブルな表現学習、効果的なグローバルセマンティックモデリングを共同で達成するのに依然として苦労している。 階層型情報分解によりテキスト生成をフレーム化する階層型潜在拡散言語モデルCola DLMを提案する。
  論文  参考訳（メタデータ） (2026-05-07T16:44:56Z)
• Bridging the Discrete-Continuous Gap: Unified Multimodal Generation via Coupled Manifold Discrete Absorbing Diffusion [60.186310080523135]
  離散データ(テキスト)に対する自己回帰的アプローチと連続データ(画像)に対する拡散的アプローチへの生成的モデリングの分岐は、真に統一されたマルチモーダルシステムの開発を妨げる。 階層的二重プロセスとしてマルチモーダル生成を再構成する新しい確率的フレームワークである textbfCoM-DAD を提案する。 提案手法は、標準的なマスキングモデルよりも優れた安定性を示し、スケーラブルで統一されたテキスト画像生成のための新しいパラダイムを確立する。
  論文  参考訳（メタデータ） (2026-01-07T16:21:19Z)
• Privacy-Aware In-Context Learning for Large Language Models [12.605629953620495]
  大型言語モデル(LLM)は、機密情報の潜在的な暴露によるプライバシー上の懸念を提起する。 プライバシー保証の強い高品質な合成テキストを生成するための,新たなプライベートな予測フレームワークを提案する。
  論文  参考訳（メタデータ） (2025-09-17T01:50:32Z)
• Improved Paraphrase Generation via Controllable Latent Diffusion [60.479643304122504]
  textitLatent textitDiffusion textitParaphraser(LDP)を提案する。 実験の結果,LDPはベースラインよりもパラフレーズ生成の質や多様性をよく再現できることがわかった。
  論文  参考訳（メタデータ） (2024-04-13T09:24:32Z)
• Towards General Visual-Linguistic Face Forgery Detection [95.73987327101143]
  ディープフェイクは現実的な顔操作であり、セキュリティ、プライバシー、信頼に深刻な脅威をもたらす可能性がある。 既存の方法は、このタスクを、デジタルラベルまたはマスク信号を使用して検出モデルをトレーニングするバイナリ分類として扱う。 本稿では, 微粒な文レベルのプロンプトをアノテーションとして用いた, VLFFD (Visual-Linguistic Face Forgery Detection) という新しいパラダイムを提案する。
  論文  参考訳（メタデータ） (2023-07-31T10:22:33Z)
• TESS: Text-to-Text Self-Conditioned Simplex Diffusion [56.881170312435444]
  テキストからテキストへの自己条件付きSimplex Diffusionは、新しい形式のセルフコンディショニングを採用し、学習された埋め込み空間ではなく、ロジット単純空間に拡散プロセスを適用する。 我々は、TESSが最先端の非自己回帰モデルより優れており、性能の低下を最小限に抑えた拡散ステップを少なくし、事前訓練された自己回帰列列列列モデルと競合することを示した。
  論文  参考訳（メタデータ） (2023-05-15T06:33:45Z)
• Synthetic Text Generation with Differential Privacy: A Simple and Practical Recipe [32.63295550058343]
  テキスト領域におけるシンプルで実用的なレシピは、強力なプライバシー保護を備えた有用な合成テキストを生成するのに有効であることを示す。 提案手法は,非私的テキストと実用性で競合する合成テキストを生成する。
  論文  参考訳（メタデータ） (2022-10-25T21:21:17Z)
• Improve Variational Autoencoder for Text Generationwith Discrete Latent Bottleneck [52.08901549360262]
  変分オートエンコーダ(VAE)は、エンドツーエンドの表現学習において必須のツールである。 VAEは強い自己回帰デコーダで潜伏変数を無視する傾向がある。 よりコンパクトな潜在空間において暗黙的な潜在特徴マッチングを強制する原理的アプローチを提案する。
  論文  参考訳（メタデータ） (2020-04-22T14:41:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。