Fugu-MT 論文翻訳(概要): Temporally-Resolved Token Attribution Reveals the Generation Dynamics of Diffusion Language Models

論文の概要: Temporally-Resolved Token Attribution Reveals the Generation Dynamics of Diffusion Language Models

arxiv url: http://arxiv.org/abs/2610.01177v1
Date: Thu, 01 Oct 2026 06:51:42 GMT
ステータス: 翻訳完了
システム内更新日: 2026-10-03 01:19:23.952327
Title: Temporally-Resolved Token Attribution Reveals the Generation Dynamics of Diffusion Language Models
Title（参考訳）: 拡散言語モデルの生成ダイナミクスに関する時間分解帰属研究
Abstract要約: Diffusion Layer Integrated Gradients (DLIG) は拡散言語モデル(DLM)のトークン属性法である。 DLIGはDLMのプログレッシブなコミットメントを、入力プロンプトの自己生成または固定された完了とみなす。介入分析の軽量な補完として、DLIGは認知軌道を横断する機械的仮説の安価な第1チェックを提供する。
参考スコア（独自算出の注目度）: 5.019114272620707
License: http://creativecommons.org/licenses/by/4.0/
Abstract: This work presents Diffusion Layer Integrated Gradients (DLIG), a token attribution method for diffusion language models (DLMs) that extends Integrated Gradients (IG~\cite{sundararajan2017axiomatic}) to arbitrary layers and denoising steps. DLIG attributes a DLM's progressive commitment to a self-generated or fixed completion for an input prompt. We establish direct correspondences between DLIG and the IG axioms of completeness, implementation invariance, linearity, and symmetry preservation. As a lightweight complement to interventional analysis, DLIG provides an inexpensive first check of mechanistic hypotheses across the denoising trajectory. We demonstrate this on word-sense disambiguation, multi-hop graph reasoning, and sentence infilling, revealing how DLMs draw on inputs across positions, layers, and denoising steps.
Abstract（参考訳）: 本研究では、拡散言語モデル(DLM)のトークン属性である拡散層統合勾配(DLIG)を任意の層に拡張し、ステップをデノナイズする。 DLIGはDLMのプログレッシブなコミットメントを、入力プロンプトの自己生成または固定された完了とみなす。我々はDLIGと完全性、実装不変性、線形性、対称性保存のIG公理との直接対応を確立する。介入分析の軽量な補完として、DLIGは認知軌道を横断する機械的仮説の安価な第1チェックを提供する。単語センスの曖昧さ、マルチホップグラフ推論、文の埋め込みについて、DLMが位置、層、およびデノナイズステップの入力をどのように引き起こすかを明らかにした。

関連論文リスト

Hierarchical Continuous Diffusion Language Models [50.34180702812139]
階層型連続拡散言語モデル(HC-DLM)を提案する。 HC-DLMは離散トークン生成と連続的な潜在軌道を1つの原理化過程で結合する。これは、一致したモデルサイズでの離散的かつ連続的な拡散ベースライン、スドゥークとカウントダウンのパズル精度、およびLM1Bの生成パープレキシティを向上する。
論文参考訳（メタデータ） (2026-10-01T17:59:39Z)
DA-DLM: Explicitly Modeling Token Dependencies in Diffusion Language Models [40.53051304795532]
拡散言語モデル (DLMs) は、各ステップで複数のトークンを独立して予測するマスキングシーケンスを反復的に記述することでテキストを生成する。本稿ではDA-DLMを提案する。DA-DLMはDAGに基づく依存性モデリングをDLMの反復的な設定に適応させるモデルである。
論文参考訳（メタデータ） (2026-09-14T05:39:12Z)
AURORA-LM: Autoencoding Unified Representation for Continuous-Latent Diffusion Language Modeling [60.04959047453115]
AURORA-LMは、デオード可能なテキスト表現の構築と、その分布のモデル化を分離した連続ラテント言語モデルである。 AURORA-LM は OpenWebText のフリージェネレーションと XSum の要約で評価された連続および拡散に基づく言語モデルの中で最も高い性能を達成している。
論文参考訳（メタデータ） (2026-08-03T17:59:50Z)
Context-Aware Autoregressive Diffusion for Gloss-Wise Sign Language Production [19.908237295817177]
文脈対応グロスワイド自己回帰拡散モデル(GARD) GARDは、意味(言語)と運動(運動)の両方の文脈で条件付けすることで、協調をモデル化する光沢のある拡散フレームワークである。 Phoenix-T と CSL-Daily のデータセットを用いた実験により、GARD は既存の SLP 法よりも言語的精度と運動類似性の両方において優れた性能を発揮することが示された。
論文参考訳（メタデータ） (2026-06-19T08:57:45Z)
DLM-SWAI: Steering Diffusion Language Models Before They Unmask [5.276802062716119]
DLM-SWAIは、事前計算されたトークンレベルのスコアを使用して、各denoisingステップのトークン分布をバイアスする、トレーニング不要のステアリング手法である。 DLM-SWAIは、生成品質を保ち、計算オーバーヘッドを最小限に抑えつつ、拡散言語モデルを効果的に操ることを示す。
論文参考訳（メタデータ） (2026-05-28T09:00:14Z)
Diffusion-CAM: Faithful Visual Explanations for dMLLMs [8.78213424930081]
Diffusion-CAMは、dMLLMに特化された最初の解釈可能性法である。バックボーンの中間表現を微分して生の活性化マップを導出する。実験の結果,Diffusion-CAMは局所化精度と視覚的忠実度の両方でSoTA法よりも優れていた。
論文参考訳（メタデータ） (2026-04-13T05:14:18Z)
Steering and Rectifying Latent Representation Manifolds in Frozen Multi-modal LLMs for Video Anomaly Detection [52.5174167737992]
ビデオ異常検出(VAD)は、ビデオ内の異常事象を特定することを目的としている。本稿では,MLLMに基づくVADを受動的に読み上げから内部表現を積極的に操り,修正するSteerVADを提案する。本手法は、トレーニングデータの1%しか必要としないチューニングフリーアプローチにおける最先端性能を実現する。
論文参考訳（メタデータ） (2026-02-27T13:48:50Z)
Next Semantic Scale Prediction via Hierarchical Diffusion Language Models [31.562156001116673]
HDLMは階層的な語彙の上に構築されており、細かな意味を持つ低レベルのトークンは、粗い粒度の意味を持つ高レベルのトークンに全射的にマッピングされる。前処理では、各トークンは、スケジューラに従ってより抽象的なセマンティクスを持つ上位の祖先に独立に摂動される。逆のプロセスでは、モデルは次のより詳細なセマンティクスを徐々に予測します。
論文参考訳（メタデータ） (2025-10-08T17:41:12Z)
Continuously Augmented Discrete Diffusion model for Categorical Generative Modeling [87.34677262370924]
標準離散拡散モデルは、吸収[MASK]トークンにそれらをマッピングすることで、すべての観測されていない状態を同一に扱う。これは'インフォメーション・ヴォイド'を生成します。そこでは、偽のトークンから推測できるセマンティック情報は、デノイングステップの間に失われます。連続的拡張離散拡散(Continuously Augmented Discrete Diffusion)は、連続的な潜在空間における対拡散で離散状態空間を拡大するフレームワークである。
論文参考訳（メタデータ） (2025-10-01T18:00:56Z)
Multimodal LLM-Guided Semantic Correction in Text-to-Image Diffusion [52.315729095824906]
MLLM Semantic-Corrected Ping-Pong-Ahead Diffusion (PPAD) は,マルチモーダル大言語モデル(MLLM)を推論中の意味的オブザーバとして導入する新しいフレームワークである。中間世代をリアルタイムに分析し、潜在意味的不整合を識別し、フィードバックを制御可能な信号に変換し、残りの認知ステップを積極的に導く。大規模な実験ではPPADの大幅な改善が示されている。
論文参考訳（メタデータ） (2025-05-26T14:42:35Z)
Diffusion-LM Improves Controllable Text Generation [80.50044830018442]
言語モデル(LM)の振る舞いを再学習せずに制御することは、自然言語生成において大きな問題である。拡散-LMと呼ばれる連続拡散に基づく非自己回帰型言語モデルを開発した。本研究では,6つのきめ細粒度制御タスクに対してDiffusion-LMの制御に成功したことを実証した。
論文参考訳（メタデータ） (2022-05-27T20:12:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。