論文の概要: Beyond the Bidirectional Promise: Re-evaluating the Robustness of Diffusion Language Models
- arxiv url: http://arxiv.org/abs/2607.27386v1
- Date: Wed, 29 Jul 2026 18:46:43 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-07-31 21:37:00.310039
- Title: Beyond the Bidirectional Promise: Re-evaluating the Robustness of Diffusion Language Models
- Title（参考訳）: 双方向約束を超えて:拡散言語モデルのロバスト性を再評価する
- Abstract要約: 拡散言語モデル(DLM)は自己回帰(AR)生成に代わる魅力的な代替手段を提供する。
DLMは、双方向のコンテキストと反復的な改善を可能にすることで、自己回帰(AR)生成に代わる魅力的な代替手段を提供する。
我々は,ARベースラインに対するDLMの堅牢性と校正を系統的に評価した。
- 参考スコア（独自算出の注目度）: 7.457366749109892
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Diffusion Language Models (DLMs) offer a compelling alternative to autoregressive (AR) generation by enabling bidirectional context and iterative refinement. However, their reliability under natural input noise and adversarial attacks remains under-explored. To address this, we systematically evaluate DLM robustness and calibration against AR baselines, using two parameter-matched pairs (LLaDA-8B vs. LLaMA-3-8B and Dream-7B vs. Qwen2.5-7B) across 32 natural perturbation conditions, adversarial gradient probes, and mechanistic hidden-state analyses. This paired design effectively isolates architecture-intrinsic properties from weight-dependent behaviors. We find a nuanced robustness profile: while highly stochastic DLM loss landscapes naturally resist gradient-based adversarial suffixes, they provide no guaranteed defense against natural noise, proving that everyday robustness is weight-dependent rather than inherently architectural. Furthermore, DLMs exhibit systematic overconfidence, presenting a practical deployment hazard. Most crucially, mechanistic probing reveals that all models perfectly encode input corruption, isolating behavioral fragility entirely to a decoder routing failure. Consistent with this diagnosis, we show that surface-level prompt patching fails to improve over noisy baselines. Ultimately, DLM robustness cannot be patched on; it must be fundamentally integrated into the iterative decoding loop.
- Abstract（参考訳）: Diffusion Language Models (DLMs) は、双方向のコンテキストと反復的な改善を可能にすることで、自己回帰(AR)生成に代わる魅力的な代替手段を提供する。
しかし、自然な入力ノイズや敵攻撃による信頼性は未解明のままである。
そこで我々は,32の自然摂動条件,対向勾配プローブ,機械的隠れ状態解析の2つのパラメータマッチングペア(LLaDA-8B vs. LLaMA-3-8BとDream-7B vs. Qwen2.5-7B)を用いて,ARベースラインに対するDLMのロバスト性とキャリブレーションを系統的に評価した。
このペア設計は、重み依存的な振る舞いからアーキテクチャ固有の特性を効果的に分離する。
高度に確率的なDLM損失ランドスケープは、勾配ベースの逆数接尾辞に自然に抵抗するが、自然騒音に対する防御は保証されず、日常的な頑健さは本質的に建築的というよりも重みに依存していることを証明している。
さらに、DLMは体系的な過信を示し、実際的な展開の危険性を示す。
最も重要なのは,すべてのモデルが入力の破損を完全にエンコードし,デコーダのルーティング障害を完全に分離する,というメカニズムだ。
この診断と一致し, 表面レベルのプロンプトパッチはノイズベースラインよりも改善しないことがわかった。
究極的には、DLMの堅牢性はパッチを当てることはできない。
関連論文リスト
- Escaping Confidence Trap: Evolutionary Decoding for Mathematical Reasoning in Diffusion LLMs [69.52853771994451]
我々はLLaDA 2.0の復号軌道を解析し、繰り返し拡散信頼トラップを同定する。
本稿では,拡散復号化を進化過程とみなす訓練不要なテスト時間スケーリングフレームワークである進化復号法を提案する。
論文 参考訳（メタデータ） (2026-08-01T11:48:25Z) - Uncertainty-aware damage identification in short-span bridges via physics-informed variational autoencoder [0.4893345190925178]
本研究は,構造的健康モニタリングのための物理インフォームドガウスコーパス変分オートエンコーダを提案する。
我々は、潜伏変数の従来の独立性仮定をガウスコプラに置き換える。
その結果、PI-VAEは真の後部分布を正確に回復し、77.2%のカバレッジを達成した。
論文 参考訳（メタデータ） (2026-07-06T13:02:36Z) - A Step Towards Robust Unsupervised Domain Adaptation via Fine-Tuning and Reinforcement Learning [2.436631469537453]
我々は,2段階の堅牢なUDAフレームワークである textbfSFT+RL を提案し,Supervised Fine Tuning と Reinforcement Learning を統合した。
textbfSFT+RLは、清潔な精度で textbf10.2% を平均的に改善し、textbf15.8% を3つのデータセットで比較した。
論文 参考訳（メタデータ） (2026-07-03T20:56:12Z) - Hybrid Robustness Verification for Spatio-Temporal Neural Networks [19.026662893450425]
既存の検証方法は、過度に保守的な近似や不正な計算コストに依存している。
実際には、対向摂動は、低次元、意味論的に意味のある部分空間に制約された、構造化された空間的および時間的相関を示す。
動作認識(UCF-101)、自律運転(Udacity)、医用画像(MedMNIST)の用途を対象として、3次元CNNによる映像入力のロバスト性検証を行う。
論文 参考訳（メタデータ） (2026-06-08T17:06:51Z) - What Makes VLMs Robust? Towards Reconciling Robustness and Accuracy in Vision-Language Models [64.99746027349767]
Adversarial Robustness Adaptation (R-Adapt)は、トレーニング済みのすべての重みを凍結し、初期層のみに限って最小限の洞察駆動適応を導入するフレームワークである。
R-Adaptは、大きな視覚言語モデル(LLaVAやQwen-VLなど)に効率よく一般化し、ロバスト性を高める。
論文 参考訳（メタデータ） (2026-03-13T09:02:11Z) - Are Reasoning LLMs Robust to Interventions on Their Chain-of-Thought? [79.86483056611105]
推論 LLM は、答えを出す前にステップバイステップの思考連鎖を生成する。
これらの推論は、その内部で発生する破壊の痕跡をどれほど堅牢にしていますか?
一定のタイミングでモデル自身のCoTを摂動させる制御された評価フレームワークを導入する。
論文 参考訳（メタデータ） (2026-02-07T10:02:58Z) - Representation-Aware Unlearning via Activation Signatures: From Suppression to Knowledge-Signature Erasure [2.0017902634527194]
本稿では,真の消去と難読化を区別する表現対応アーキテクチャであるKnowledge Immunization Framework(KIF)を紹介する。
提案手法は,主観的表現の動的抑制とパラメータ効率の適応を組み合わせ,完全モデル再学習を伴わない耐久性のある未学習を実現する。
論文 参考訳（メタデータ） (2026-01-15T16:28:14Z) - Adaptive Dual Uncertainty Optimization: Boosting Monocular 3D Object Detection under Test-Time Shifts [80.32933059529135]
TTA(Test-Time Adaptation)メソッドが出現し、推論中にターゲット分布に適応する。
我々は、堅牢なM3ODの両不確実性を共同で最小化するために設計された、最初のTTAフレームワークであるDual Uncertainity Optimization (DUO)を提案する。
並列に,明瞭な意味的手がかりを持つ領域における幾何学的コヒーレンスを保存する意味認識型正規場制約を設計する。
論文 参考訳（メタデータ） (2025-08-28T07:09:21Z) - Learning to Align and Refine: A Foundation-to-Diffusion Framework for Occlusion-Robust Two-Hand Reconstruction [50.952228546326516]
単眼画像からの両手再建は、複雑でダイナミックな手の位置が原因で、永続的な課題に直面している。
既存のアプローチはそのようなアライメントの問題に悩まされ、しばしば不整合と侵入の成果物をもたらす。
本稿では,視覚基礎モデルからの2次元事前ガイダンスを正確に整合させる2段階のファンデーション・ツー・ディフュージョンフレームワークを提案する。
論文 参考訳（メタデータ） (2025-03-22T14:42:27Z) - DRIVE: Dual-Robustness via Information Variability and Entropic Consistency in Source-Free Unsupervised Domain Adaptation [10.127634263641877]
ラベル付きデータなしで機械学習モデルを新しいドメインに適応させることは、医療画像、自律運転、リモートセンシングといったアプリケーションにおいて重要な課題である。
Source-Free Unsupervised Domain Adaptation (SFUDA)と呼ばれるこのタスクでは、未ラベルのターゲットデータのみを使用して、トレーニング済みのモデルをターゲットドメインに適応させる。
既存のSFUDAメソッドは、しばしば単一モデルアーキテクチャに依存し、ターゲットドメインにおける不確実性と可変性に悩まされる。
本稿では、2重モデルアーキテクチャを利用した新しいSFUDAフレームワークDRIVEを提案する。
論文 参考訳（メタデータ） (2024-11-24T20:35:04Z) - Stable Neighbor Denoising for Source-free Domain Adaptive Segmentation [91.83820250747935]
擬似ラベルノイズは主に不安定なサンプルに含まれており、ほとんどのピクセルの予測は自己学習中に大きく変化する。
我々は, 安定・不安定な試料を効果的に発見する, SND(Stable Neighbor Denoising)アプローチを導入する。
SNDは、様々なSFUDAセマンティックセグメンテーション設定における最先端メソッドよりも一貫して優れている。
論文 参考訳（メタデータ） (2024-06-10T21:44:52Z) - Efficient Adversarial Training in LLMs with Continuous Attacks [99.5882845458567]
大規模言語モデル(LLM)は、安全ガードレールをバイパスできる敵攻撃に対して脆弱である。
本稿では,2つの損失からなる高速対向訓練アルゴリズム(C-AdvUL)を提案する。
C-AdvIPOは、対向的に堅牢なアライメントのためのユーティリティデータを必要としない、対向型のIPOである。
論文 参考訳（メタデータ） (2024-05-24T14:20:09Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。