論文の概要: From Token Lists to Graph Motifs: Weisfeiler-Lehman Analysis of Sparse Autoencoder Features

• arxiv url: http://arxiv.org/abs/2605.06494v1
• Date: Thu, 07 May 2026 16:15:16 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-08 22:27:11.982076
• Title: From Token Lists to Graph Motifs: Weisfeiler-Lehman Analysis of Sparse Autoencoder Features
• Title（参考訳）: Token Lists から Graph Motifs: Weisfeiler-Lehman Analysis of Sparse Autoencoder Features
• Authors: Ruben Fernandez-Boullon, Pablo Magariños-Docampo, Javier Perez-Robles,
• Abstract要約: 本稿では,各SAE特徴をトークン共起グラフとしてモデル化したグラフ構造化表現を提案する。 カスタムなWLスタイルの周波数結合グラフカーネルは、この構造空間上の類似度尺度を提供する。 トークンヒストグラムベースラインは、全体的な純度を高くするので、グラフビューの寄与は、支配的ではなく補完的である。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Sparse autoencoders (SAEs) have become central to mechanistic interpretability, decomposing transformer activations into monosemantic features. Yet existing analyses characterise features almost exclusively through top-activating token lists or decoder weight vectors, leaving the higher-order co-occurrence structure shared across features largely unexamined. We introduce a graph-structured representation in which each SAE feature is modelled as a token co-occurrence graph: nodes are the tokens most frequent near strong activations, and edges connect pairs that co-occur within local context windows. A custom WL-style, frequency-binned graph kernel then provides a similarity measure over this structural space. Applied as a proof of concept to features from a large SAE trained on GPT-2 Small and probed with a synthetic mixed-domain corpus, our clustering recovers heuristic motif families (punctuation-heavy patterns, language and script clusters, and code-like templates) that are not recovered by clustering on decoder cosine similarity. A token-histogram baseline achieves higher overall purity, so the contribution of the graph view is complementary rather than dominant: it surfaces structural relationships that token-frequency and decoder-weight views alone do not capture. Cluster assignments are stable across graph-construction hyperparameters and random seeds.
• Abstract（参考訳）: スパースオートエンコーダ(SAE)は機械的解釈可能性の中心となり、トランスフォーマーのアクティベーションをモノセマンティックな特徴に分解している。 しかし、既存の分析では、トップアクティベートトークンリストやデコーダ重みベクトルを通してのみ特徴を特徴付けており、高次共起構造は、ほとんど検討されていない。 本稿では,各SAE機能をトークン共起グラフとしてモデル化したグラフ構造化表現を提案する。ノードは強力なアクティベーションに近いトークンであり,エッジはローカルコンテキストウィンドウ内で共起するペアを接続する。 カスタムなWLスタイルの周波数結合グラフカーネルは、この構造空間上の類似度尺度を提供する。 GPT-2で訓練された大規模SAEの特徴の証明として応用され,合成混合ドメインコーパスを用いて探索されたクラスタリングは,デコーダのコサイン類似性に基づいてクラスタ化されていないヒューリスティックなモチーフファミリー(変動重みパターン,言語とスクリプトクラスタ,コードライクなテンプレート)を復元する。 トークン・ヒストグラムのベースラインは、全体的な純度を高めるため、グラフビューの寄与は、支配的ではなく補完的である。 クラスタ割り当てはグラフ構成ハイパーパラメータとランダムシードの間で安定である。

関連論文リスト

• SCGNN: Semantic Consistency enhanced Graph Neural Network Guided by Granular-ball Computing [21.531111082932284]
  ノード間のセマンティック一貫性の獲得は、効果的なグラフ表現学習に不可欠である。 本稿では,新しいプラグイン・アンド・プレイフレームワークであるSemantic Consistency enhanced Graph Neural Network (SCGNN)を提案する。 SCGNNは、ノードをグラニュラーボールに適応的に分割することで、グループレベルの意味構造をモデル化する。
  論文  参考訳（メタデータ） (2026-05-04T14:09:56Z)
• Domain-Filtered Knowledge Graphs from Sparse Autoencoder Features [2.61135281451375]
  我々は、大規模なSAE在庫から厳密なドメイン固有概念宇宙を構築する。 次に、フィルタセット上に2つの整列グラフビューを構築します。 これらのグラフビューを、ラベルのないレイアウトではなく、読みやすい知識グラフにラベル付けします。
  論文  参考訳（メタデータ） (2026-04-26T18:17:56Z)
• MergeDNA: Context-aware Genome Modeling with Dynamic Tokenization through Token Merging [65.07273789940116]
  本稿では,動的ゲノミクストークンと潜在トランスフォーマーをコンテキスト対応事前学習タスクで協調的に最適化する階層型アーキテクチャを提案する。 MergeDNAは3つの人気のあるDNAベンチマークと、微調整やゼロショット評価を伴う複数のマルチオミクスタスクにおいて優れたパフォーマンスを実現している。
  論文  参考訳（メタデータ） (2025-11-17T19:27:41Z)
• Symbolic Graph Intelligence: Hypervector Message Passing for Learning Graph-Level Patterns with Tsetlin Machines [0.0]
  一般グラフ分類のための多層的シンボルフレームワークを提案する。 各グラフは構造化メッセージパッシングを通じて符号化され、ノード、エッジ、属性情報は束縛され、シンボリックハイパーベクターにバンドルされる。 本手法をTUDatasetベンチマークで検証し,ニューラルグラフモデルと比較して強力なシンボル透過性を持つ競合精度を示す。
  論文  参考訳（メタデータ） (2025-07-22T12:47:56Z)
• A Pure Transformer Pretraining Framework on Text-attributed Graphs [50.833130854272774]
  グラフ構造を先行として扱うことで,特徴中心の事前学習の視点を導入する。 我々のフレームワークであるGraph Sequence Pretraining with Transformer (GSPT)はランダムウォークを通してノードコンテキストをサンプリングする。 GSPTはノード分類とリンク予測の両方に容易に適応でき、様々なデータセットで有望な経験的成功を示す。
  論文  参考訳（メタデータ） (2024-06-19T22:30:08Z)
• Graph Spectral Embedding using the Geodesic Betweeness Centrality [76.27138343125985]
  本稿では、局所的な類似性、接続性、グローバル構造を教師なしで表現するグラフSylvester Embedding (GSE)を紹介する。 GSEはシルヴェスター方程式の解を用いて、ネットワーク構造と近傍の近接を1つの表現で捉える。
  論文  参考訳（メタデータ） (2022-05-07T04:11:23Z)
• Spectral Embedding of Graph Networks [76.27138343125985]
  ローカルノードの類似性と接続性、グローバル構造をトレードオフする教師なしグラフ埋め込みを導入する。 埋め込みは一般化されたグラフ Laplacian に基づいており、固有ベクトルは1つの表現においてネットワーク構造と近傍近傍の両方をコンパクトにキャプチャする。
  論文  参考訳（メタデータ） (2020-09-30T04:59:10Z)
• Graph Neural Networks with Composite Kernels [60.81504431653264]
  カーネル重み付けの観点からノード集約を再解釈する。 本稿では,アグリゲーション方式における特徴類似性を考慮したフレームワークを提案する。 特徴空間における特徴類似性をエンコードするために,元の隣り合うカーネルと学習可能なカーネルの合成として特徴集約を提案する。
  論文  参考訳（メタデータ） (2020-05-16T04:44:29Z)
• Embedding Graph Auto-Encoder for Graph Clustering [90.8576971748142]
  グラフ自動エンコーダ(GAE)モデルは、半教師付きグラフ畳み込みネットワーク(GCN)に基づく 我々は、グラフクラスタリングのための特定のGAEベースのモデルを設計し、その理論、すなわち、埋め込みグラフオートエンコーダ(EGAE)と整合する。 EGAEは1つのエンコーダと2つのデコーダで構成される。
  論文  参考訳（メタデータ） (2020-02-20T09:53:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。