論文の概要: DLM-Scope: Mechanistic Interpretability of Diffusion Language Models via Sparse Autoencoders

• arxiv url: http://arxiv.org/abs/2602.05859v1
• Date: Thu, 05 Feb 2026 16:41:25 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-02-06 18:49:09.049862
• Title: DLM-Scope: Mechanistic Interpretability of Diffusion Language Models via Sparse Autoencoders
• Title（参考訳）: DLM-Scope:スパースオートエンコーダによる拡散言語モデルの機械論的解釈可能性
• Authors: Xu Wang, Bingqing Jiang, Yu Wan, Baosong Yang, Lingpeng Kong, Difan Zou,
• Abstract要約: 拡散言語モデルのための最初のSAEベースの解釈可能性フレームワークであるDLM-Scopeを提案する。 訓練されたTop-K SAEが忠実に解釈可能な特徴を抽出できることを示す。 また、DLM関連タスクやアルゴリズムにSAEを適用する大きな可能性を示す。
• 参考スコア（独自算出の注目度）: 73.18745837755758
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Sparse autoencoders (SAEs) have become a standard tool for mechanistic interpretability in autoregressive large language models (LLMs), enabling researchers to extract sparse, human-interpretable features and intervene on model behavior. Recently, as diffusion language models (DLMs) have become an increasingly promising alternative to the autoregressive LLMs, it is essential to develop tailored mechanistic interpretability tools for this emerging class of models. In this work, we present DLM-Scope, the first SAE-based interpretability framework for DLMs, and demonstrate that trained Top-K SAEs can faithfully extract interpretable features. Notably, we find that inserting SAEs affects DLMs differently than autoregressive LLMs: while SAE insertion in LLMs typically incurs a loss penalty, in DLMs it can reduce cross-entropy loss when applied to early layers, a phenomenon absent or markedly weaker in LLMs. Additionally, SAE features in DLMs enable more effective diffusion-time interventions, often outperforming LLM steering. Moreover, we pioneer certain new SAE-based research directions for DLMs: we show that SAEs can provide useful signals for DLM decoding order; and the SAE features are stable during the post-training phase of DLMs. Our work establishes a foundation for mechanistic interpretability in DLMs and shows a great potential of applying SAEs to DLM-related tasks and algorithms.
• Abstract（参考訳）: スパースオートエンコーダ (SAE) は自己回帰型大規模言語モデル (LLM) における機械的解釈可能性の標準ツールとなり、研究者はスパースで人間の解釈可能な特徴を抽出し、モデルの振る舞いに介入することができる。 近年,拡散言語モデル (DLMs) が自己回帰型 LLM の代替として期待されつつあるため,この新種のモデルに合わせた機械的解釈ツールの開発が不可欠である。 本研究では,DLMのための最初のSAEベースの解釈可能性フレームワークであるDLM-Scopeを紹介し,訓練されたTop-K SAEが忠実に解釈可能な特徴を抽出できることを実証する。 SAEの挿入は自己回帰LDMとは異なるDLMに影響を及ぼすが、DLMの挿入は一般的に損失ペナルティを引き起こすが、DLMの挿入は初期の層に適用した場合のクロスエントロピー損失を減少させる。 さらに、DLMのSAE機能はより効果的な拡散時間介入を可能にし、しばしばLDMステアリングよりも優れている。 さらに,本研究では,DAMの復号化に有用な信号がSAEで得られることを示すとともに,DLMの訓練後の段階において,SAEの特徴が安定していることを示す。 本研究は,DLMにおける機械的解釈可能性の基礎を確立し,SAEをDLM関連タスクやアルゴリズムに適用する可能性を示す。

関連論文リスト

• Beyond Next-Token Prediction: A Performance Characterization of Diffusion versus Autoregressive Language Models [82.87985794856803]
  大規模言語モデル(LLM)は、幅広い自然言語処理(NLP)タスクにおいて最先端のパフォーマンスを達成した。 最近、Diffusion Language Models (DLM) が有望な代替アーキテクチャとして登場した。
  論文  参考訳（メタデータ） (2025-10-05T10:50:52Z)
• Inverse Language Modeling towards Robust and Grounded LLMs [3.3072037841206345]
  逆言語モデリング(ILM, Inverse Language Modeling)は, LLMが摂動を入力する際の頑健性を改善する統一フレームワークである。 ILMは、LCMを静的ジェネレータから分析可能で堅牢なシステムに変換する。 ILMは、堅牢で基盤が整っただけでなく、根本的に制御可能な次世代のLSMの基礎を築ける。
  論文  参考訳（メタデータ） (2025-10-02T11:47:18Z)
• LongLLaDA: Unlocking Long Context Capabilities in Diffusion LLMs [63.580867975515474]
  拡散LDMと従来の自己回帰LDMの長文性能を比較検討する。 LLaDAとNTKベースのRoPE外挿法を統合したLongLLaDAを提案する。
  論文  参考訳（メタデータ） (2025-06-17T11:45:37Z)
• SAE-V: Interpreting Multimodal Models for Enhanced Alignment [7.374787098456952]
  本稿では,SAEパラダイムをマルチモーダルな言語モデルに拡張する機械的解釈可能性フレームワークであるSAE-Vを紹介する。 SAE-Vは、追加のモデルを必要としないモデルアライメントを強化するために、本質的なデータフィルタリングメカニズムを提供する。 本研究は,SAE-VがMLLMの解釈性とアライメントを向上し,その内部機構に関する知見を提供するものである。
  論文  参考訳（メタデータ） (2025-02-22T14:20:07Z)
• LLM-Lasso: A Robust Framework for Domain-Informed Feature Selection and Regularization [59.75242204923353]
  LLM-Lassoは大規模言語モデル(LLM)を利用してラッソ回帰における特徴選択を導くフレームワークである。 LLMは各特徴に対してペナルティ因子を生成し、単純でチューニング可能なモデルを用いてラスソペナルティの重みに変換される。 LLMによりより関連づけられた特徴は、より低い罰を受け、最終モデルに保持される可能性を高める。
  論文  参考訳（メタデータ） (2025-02-15T02:55:22Z)
• Q*: Improving Multi-step Reasoning for LLMs with Deliberative Planning [53.6472920229013]
  大規模言語モデル(LLM)は多くの自然言語タスクにおいて印象的な能力を示している。 LLMは多段階推論を行う際にエラー、幻覚、矛盾する文を生成する傾向がある。 本稿では,LLMの復号化過程を検討計画で導くためのフレームワークであるQ*を紹介する。
  論文  参考訳（メタデータ） (2024-06-20T13:08:09Z)
• Tokenization Matters! Degrading Large Language Models through Challenging Their Tokenization [12.418844515095035]
  大規模言語モデル(LLM)は、特定のクエリに対する不正確な応答を生成する傾向がある。 不正確なトークン化は、LLMが入力を正確に理解するのを妨げている臨界点である。 我々は, LLMのトークン化に挑戦するために, 様々なオープンソースLLMの語彙をベースとして, $textbfADT (Adrial dataset for Tokenizer)$という逆データセットを構築した。
  論文  参考訳（メタデータ） (2024-05-27T11:39:59Z)
• Rethinking Interpretability in the Era of Large Language Models [76.1947554386879]
  大規模言語モデル(LLM)は、幅広いタスクにまたがる顕著な機能を示している。 自然言語で説明できる能力により、LLMは人間に与えられるパターンのスケールと複雑さを拡大することができる。 これらの新しい機能は、幻覚的な説明や膨大な計算コストなど、新しい課題を提起する。
  論文  参考訳（メタデータ） (2024-01-30T17:38:54Z)
• Looking Right is Sometimes Right: Investigating the Capabilities of Decoder-only LLMs for Sequence Labeling [0.0]
  最近のデコーダのみの大規模言語モデル(LLM)は、より小さなステートベースのエンコーダと同等に動作する。 因果マスクを階層的に除去することで,IEタスク上でのオープンLLMのSL性能を向上させる手法について検討する。 その結果,層依存性CM除去によるオープンLCMは,強いエンコーダや命令調整LDMよりも優れていた。
  論文  参考訳（メタデータ） (2024-01-25T22:50:48Z)
• Self-Play Fine-Tuning Converts Weak Language Models to Strong Language Models [52.98743860365194]
  本稿では,SPIN(Self-Play fIne-tuNing)と呼ばれるファインチューニング手法を提案する。 SPINの中心には自己再生機構があり、LLMは自身のインスタンスと対戦することでその能力を洗練させる。 このことは、自己プレイの約束に光を当て、熟練した相手を必要とせずに、LSMにおける人間レベルのパフォーマンスの達成を可能にする。
  論文  参考訳（メタデータ） (2024-01-02T18:53:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。