論文の概要: DLM-Scope: Mechanistic Interpretability of Diffusion Language Models via Sparse Autoencoders

• arxiv url: http://arxiv.org/abs/2602.05859v1
• Date: Thu, 05 Feb 2026 16:41:25 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-02-06 18:49:09.049862
• Title: DLM-Scope: Mechanistic Interpretability of Diffusion Language Models via Sparse Autoencoders
• Title（参考訳）: DLM-Scope:スパースオートエンコーダによる拡散言語モデルの機械論的解釈可能性
• Authors: Xu Wang, Bingqing Jiang, Yu Wan, Baosong Yang, Lingpeng Kong, Difan Zou,
• Abstract要約: 拡散言語モデルのための最初のSAEベースの解釈可能性フレームワークであるDLM-Scopeを提案する。 訓練されたTop-K SAEが忠実に解釈可能な特徴を抽出できることを示す。 また、DLM関連タスクやアルゴリズムにSAEを適用する大きな可能性を示す。
• 参考スコア（独自算出の注目度）: 73.18745837755758
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Sparse autoencoders (SAEs) have become a standard tool for mechanistic interpretability in autoregressive large language models (LLMs), enabling researchers to extract sparse, human-interpretable features and intervene on model behavior. Recently, as diffusion language models (DLMs) have become an increasingly promising alternative to the autoregressive LLMs, it is essential to develop tailored mechanistic interpretability tools for this emerging class of models. In this work, we present DLM-Scope, the first SAE-based interpretability framework for DLMs, and demonstrate that trained Top-K SAEs can faithfully extract interpretable features. Notably, we find that inserting SAEs affects DLMs differently than autoregressive LLMs: while SAE insertion in LLMs typically incurs a loss penalty, in DLMs it can reduce cross-entropy loss when applied to early layers, a phenomenon absent or markedly weaker in LLMs. Additionally, SAE features in DLMs enable more effective diffusion-time interventions, often outperforming LLM steering. Moreover, we pioneer certain new SAE-based research directions for DLMs: we show that SAEs can provide useful signals for DLM decoding order; and the SAE features are stable during the post-training phase of DLMs. Our work establishes a foundation for mechanistic interpretability in DLMs and shows a great potential of applying SAEs to DLM-related tasks and algorithms.
• Abstract（参考訳）: スパースオートエンコーダ (SAE) は自己回帰型大規模言語モデル (LLM) における機械的解釈可能性の標準ツールとなり、研究者はスパースで人間の解釈可能な特徴を抽出し、モデルの振る舞いに介入することができる。 近年,拡散言語モデル (DLMs) が自己回帰型 LLM の代替として期待されつつあるため,この新種のモデルに合わせた機械的解釈ツールの開発が不可欠である。 本研究では,DLMのための最初のSAEベースの解釈可能性フレームワークであるDLM-Scopeを紹介し,訓練されたTop-K SAEが忠実に解釈可能な特徴を抽出できることを実証する。 SAEの挿入は自己回帰LDMとは異なるDLMに影響を及ぼすが、DLMの挿入は一般的に損失ペナルティを引き起こすが、DLMの挿入は初期の層に適用した場合のクロスエントロピー損失を減少させる。 さらに、DLMのSAE機能はより効果的な拡散時間介入を可能にし、しばしばLDMステアリングよりも優れている。 さらに,本研究では,DAMの復号化に有用な信号がSAEで得られることを示すとともに,DLMの訓練後の段階において,SAEの特徴が安定していることを示す。 本研究は,DLMにおける機械的解釈可能性の基礎を確立し,SAEをDLM関連タスクやアルゴリズムに適用する可能性を示す。

関連論文リスト

• Beyond Next-Token Prediction: A Performance Characterization of Diffusion versus Autoregressive Language Models [82.87985794856803]
  大規模言語モデル(LLM)は、幅広い自然言語処理(NLP)タスクにおいて最先端のパフォーマンスを達成した。 最近、Diffusion Language Models (DLM) が有望な代替アーキテクチャとして登場した。
  論文  参考訳（メタデータ） (2025-10-05T10:50:52Z)
• LongLLaDA: Unlocking Long Context Capabilities in Diffusion LLMs [63.580867975515474]
  拡散LDMと従来の自己回帰LDMの長文性能を比較検討する。 LLaDAとNTKベースのRoPE外挿法を統合したLongLLaDAを提案する。
  論文  参考訳（メタデータ） (2025-06-17T11:45:37Z)
• Rethinking Interpretability in the Era of Large Language Models [76.1947554386879]
  大規模言語モデル(LLM)は、幅広いタスクにまたがる顕著な機能を示している。 自然言語で説明できる能力により、LLMは人間に与えられるパターンのスケールと複雑さを拡大することができる。 これらの新しい機能は、幻覚的な説明や膨大な計算コストなど、新しい課題を提起する。
  論文  参考訳（メタデータ） (2024-01-30T17:38:54Z)
• Looking Right is Sometimes Right: Investigating the Capabilities of Decoder-only LLMs for Sequence Labeling [0.0]
  最近のデコーダのみの大規模言語モデル(LLM)は、より小さなステートベースのエンコーダと同等に動作する。 因果マスクを階層的に除去することで,IEタスク上でのオープンLLMのSL性能を向上させる手法について検討する。 その結果,層依存性CM除去によるオープンLCMは,強いエンコーダや命令調整LDMよりも優れていた。
  論文  参考訳（メタデータ） (2024-01-25T22:50:48Z)
• Self-Play Fine-Tuning Converts Weak Language Models to Strong Language Models [52.98743860365194]
  本稿では,SPIN(Self-Play fIne-tuNing)と呼ばれるファインチューニング手法を提案する。 SPINの中心には自己再生機構があり、LLMは自身のインスタンスと対戦することでその能力を洗練させる。 このことは、自己プレイの約束に光を当て、熟練した相手を必要とせずに、LSMにおける人間レベルのパフォーマンスの達成を可能にする。
  論文  参考訳（メタデータ） (2024-01-02T18:53:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。