論文の概要: Trust but Verify: Designing Region-Inhomogeneous Forward Dynamics for Discrete Diffusion

• arxiv url: http://arxiv.org/abs/2610.22380v1
• Date: Fri, 02 Oct 2026 15:14:44 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-26 00:37:12.119055
• Title: Trust but Verify: Designing Region-Inhomogeneous Forward Dynamics for Discrete Diffusion
• Title（参考訳）: 信頼と検証:離散拡散のための領域不均一フォワードダイナミクスの設計
• Abstract要約: 連続拡散は前処理を設計空間として扱う。 離散言語拡散は、しばしば吸収汚職を使用し、世代を通してコンテキストを完全に信頼している。 トレーニング済みの170Mパラメータマスク拡散モデルの8000ステップの微調整は、6GBのラップトップGPUで5時間以内に行われる。 均一ランダムな汚職の場合、微調整は、0.96のリコールと0.91の精度で腐敗したコンテキストを検出し、10%の汚職で3.8ポイント、20%の汚職で6.4ポイント改善し、汚職の隣の正確さを除去する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Continuous diffusion treats the forward process as a design space; discrete language diffusion often uses absorbing corruption, leaving context fully trusted throughout generation. This makes trust binary: corrupted context is copied as ground truth, propagating errors into generated spans. We reopen this design space by combining absorbing and uniform-mixing kernels with region-dependent rates. Missing positions follow absorbing dynamics, while context undergoes low-rate random substitution, exposing the model to observed but uncertain tokens during training. At inference, a heuristic sampler re-injects noise into suspicious context under an annealed intensity and freezes context updates late in the trajectory. An 8,000-step finetune of a pretrained 170M-parameter masked diffusion model takes under five hours on a 6 GB laptop GPU. The base model assigns roughly 50% probability to observed tokens even when they are uniform-random garbage. For uniform-random corruption, finetuning detects corrupted context with 0.96 recall and 0.91 precision, improves infill token-F1 by 3.8 points at 10% corruption and 6.4 points at 20%, and removes the accuracy dip next to corruptions. Clean conditioning shows no measurable regression, with a false-edit rate below 0.4%. Gains for plausible corruptions are weaker: about 0.5 F1 points at 10% corruption, without statistical significance. Our results suggest that detectability and damage depend jointly on departure from the data conditional: nearby noise is hard to detect and semantically mild, while distant noise is conspicuous and destructive. We interpret absorbing diffusion as the infinite-contrast limit of a trust axis, analogous to the signal-to-noise gap between known and unknown regions in diffusion inpainting. In our setting of a 170M model and a single text domain, intermediate trust is reached by changing forward dynamics rather than architecture.
• Abstract（参考訳）: 連続拡散は、前処理を設計空間として扱い、離散言語拡散は、しばしば吸収汚職を使い、世代を通してコンテキストを完全に信頼する。 これにより、信頼バイナリが生成される: 破損したコンテキストは、エラーを生成されたスパンに伝達する、基底真理としてコピーされる。 吸収カーネルと均一混合カーネルを領域依存率で組み合わせることで、この設計空間を再開する。 失われた位置は吸収力学に従い、文脈は低レートのランダムな置換を受け、訓練中に観測されるが不確実なトークンにモデルを露出する。 推測において、ヒューリスティックサンプリング器は、熱処理された強度の下で不審なコンテキストにノイズを再注入し、軌道の後半でコンテキスト更新を凍結する。 トレーニング済みの170万パラメータのマスク付き拡散モデルの8000ステップの微調整は、6GBのラップトップGPUで5時間以内に行われる。 ベースモデルは、一様ランダムなガベージである場合でも、観測されたトークンに約50%の確率を割り当てる。 均一ランダムな汚職の場合、微調整は0.96のリコールと0.91の精度で腐敗したコンテキストを検出し、10%の汚職で3.8ポイント、20%の汚職で6.4ポイント改善し、汚職の隣の正確さを除去する。 クリーンコンディショニングは測定可能な回帰を示さず、偽編集率は0.4%以下である。 確率的な汚職に対する利得は弱く、統計的に意味をなさないで、約0.5F1ポイントは10%の汚職である。 この結果から, 検出性や損傷はデータ条件から逸脱することに依存し, 近傍の騒音は検出し難く, セマンティックに軽度であり, 遠方のノイズは目立たしく, 破壊的であることがわかった。 我々は,拡散塗装において,吸収拡散を信頼軸の無限コントラスト限界と解釈し,未知領域と未知領域の信号-雑音ギャップに類似する。 170Mモデルと1つのテキストドメインの設定では、アーキテクチャよりも前方のダイナミクスを変えることで中間信頼が得られます。

関連論文リスト

• StochLOB: Heavy-Tailed Score Matching for Robust Limit Order Book Trend Prediction [3.62645515172823]
  本研究では, 事前拡散汚職法を規定する学習専用スコアマッチングフレームワークについて検討し, 展開した予測器の定式化に留意する。 ブラウン派のみのガウスの汚職に代えて、非ガウスのSDEにインスパイアされた2つの代替法を用いる。 提案された変種は、未破損のBTCと試験地平線で競合し続け、いくつかの実現された尾翼応力診断を改善した。
  論文  参考訳（メタデータ） (2026-10-15T01:33:30Z)
• Lévy Attention: Single-Pass Predictive Uncertainty for Continuous-Time Attention [0.0]
  レヴィ・アテンション(英: Lévy Attention)は、不均質なランダム測度に対して出力が積分的なクロスアテンション作用素である。 t-PatchGNNオペレーターは、一致した制御に対してコストを5.6%の精度でスワップする。 1回のパスでは3,383人の未確認患者が1.4秒で信頼されている。
  論文  参考訳（メタデータ） (2026-08-19T17:50:16Z)
• CANARY: Zero-Label Detection of Fine-Tuning Contamination in Language Models [1.3011345529764784]
  CANARYは、隠れた状態のみからのサプライチェーン汚染を検出し、検証し、優先順位付けし、修正するためのゼロラベルフレームワークである。 AUROC = 1.000 at 1% contamination, with zero false positives on beign fine-tuning and full robustness to style-matching and gradient-noise adapt attack。
  論文  参考訳（メタデータ） (2026-06-01T05:01:01Z)
• CANDI: Hybrid Discrete-Continuous Diffusion Models [36.61898210733147]
  ノイズが離散的なデータの分解を2つのメカニズムで示す: 離散的なアイデンティティの破損と連続的なランクの劣化である。 離散的・連続的な腐敗を分離するハイブリッドフレームワークであるCANDIを提案する。 これは離散空間に対する連続拡散の利点を解放する。
  論文  参考訳（メタデータ） (2025-10-26T03:24:31Z)
• Continuously Augmented Discrete Diffusion model for Categorical Generative Modeling [87.34677262370924]
  標準離散拡散モデルは、吸収[MASK]トークンにそれらをマッピングすることで、すべての観測されていない状態を同一に扱う。 これは'インフォメーション・ヴォイド'を生成します。そこでは、偽のトークンから推測できるセマンティック情報は、デノイングステップの間に失われます。 連続的拡張離散拡散(Continuously Augmented Discrete Diffusion)は、連続的な潜在空間における対拡散で離散状態空間を拡大するフレームワークである。
  論文  参考訳（メタデータ） (2025-10-01T18:00:56Z)
• What is Adversarial Training for Diffusion Models? [4.71482540145286]
  拡散モデル(DM)に対する対戦訓練(AT)は,分類器と根本的に異なることを示す。 ATは拡散流の滑らかさを強制し、異常値と破損したデータを改善する方法である。 我々は,低次元および高次元空間における既知の分布を持つ概念実証データセットを用いて,我々のアプローチを厳密に評価する。
  論文  参考訳（メタデータ） (2025-05-27T20:32:28Z)
• ReDDiT: Rehashing Noise for Discrete Visual Generation [53.813067778912]
  離散拡散変圧器(終端型ReDDiT)のためのリハッシングノイズアプローチを提案する。 我々は、吸収状態を拡張し、離散拡散モデルの表現能力を向上させることを目的としている。 実験の結果、ReDDiTはベースラインモデルよりも大幅に優れていた。
  論文  参考訳（メタデータ） (2025-05-26T08:17:20Z)
• Robust Representation Consistency Model via Contrastive Denoising [83.47584074390842]
  ランダムな平滑化は、敵の摂動に対する堅牢性を証明する理論的保証を提供する。 拡散モデルは、ノイズ摂動サンプルを浄化するためにランダムな平滑化に成功している。 我々は,画素空間における拡散軌跡に沿った生成的モデリングタスクを,潜在空間における識別的タスクとして再構成する。
  論文  参考訳（メタデータ） (2025-01-22T18:52:06Z)
• Rectified Diffusion Guidance for Conditional Generation [94.83538269086613]
  CFGの背後にある理論を再検討し、不適切な組合せ係数(textiti.e.)が生成分布を期待的にシフトさせることを厳密に確認する。 提案手法は, 強みを考慮すれば, textbftextitform ソリューションが有効であることを示す。 実世界のデータに関する実証的な証拠は、我々の設計と既存の最先端拡散モデルとの整合性を実証している。
  論文  参考訳（メタデータ） (2024-10-24T13:41:32Z)
• DensePure: Understanding Diffusion Models towards Adversarial Robustness [110.84015494617528]
  拡散モデルの特性を解析し,それらが証明された堅牢性を高める条件を確立する。 事前訓練されたモデル(すなわち分類器)の信頼性向上を目的とした新しいDensePure法を提案する。 このロバストな領域は多重凸集合の和であり、以前の研究で特定されたロバストな領域よりもはるかに大きい可能性が示されている。
  論文  参考訳（メタデータ） (2022-11-01T08:18:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。