論文の概要: Towards Spectroscopy: Susceptibility Clusters in Language Models

• arxiv url: http://arxiv.org/abs/2601.12703v1
• Date: Mon, 19 Jan 2026 04:01:17 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-01-21 22:47:22.748593
• Title: Towards Spectroscopy: Susceptibility Clusters in Language Models
• Title（参考訳）: スペクトロスコピーに向けて:言語モデルにおけるサセプティビリティクラスタ
• Authors: Andrew Gordon, Garrett Baker, George Wang, William Snell, Stan van Wingerden, Daniel Murfet,
• Abstract要約: この原理をニューラルネットワークに適用する。 データ分布のモード上の和として、感受性が分解されることが示される。 この手法をPythia-14Mに適用し,コンダクタンスに基づくクラスタリングアルゴリズムを開発した。
• 参考スコア（独自算出の注目度）: 2.446411139736179
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Spectroscopy infers the internal structure of physical systems by measuring their response to perturbations. We apply this principle to neural networks: perturbing the data distribution by upweighting a token $y$ in context $x$, we measure the model's response via susceptibilities $χ_{xy}$, which are covariances between component-level observables and the perturbation computed over a localized Gibbs posterior via stochastic gradient Langevin dynamics (SGLD). Theoretically, we show that susceptibilities decompose as a sum over modes of the data distribution, explaining why tokens that follow their contexts "for similar reasons" cluster together in susceptibility space. Empirically, we apply this methodology to Pythia-14M, developing a conductance-based clustering algorithm that identifies 510 interpretable clusters ranging from grammatical patterns to code structure to mathematical notation. Comparing to sparse autoencoders, 50% of our clusters match SAE features, validating that both methods recover similar structure.
• Abstract（参考訳）: 分光法は、摂動に対する応答を測定することによって物理系の内部構造を推測する。 我々は、この原理をニューラルネットワークに適用する: トークン$y$ in context $x$, we measure the model's response via susceptibility $\_{xy}$, which is covariances between component-level observables and the perturbation computed over a localized Gibbs posterior via stochastic gradient Langevin dynamics (SGLD)。 理論的には, サセプティビティがデータ分布のモード上の和として分解されることを示し, コンテクストに従うトークンが「類似した理由のために」どのようにしてサセプティビティ空間に集結しているかを説明する。 この手法をPythia-14Mに適用し,文法パターンからコード構造,数学的表記に至るまで,510個の解釈可能なクラスタを識別するコンダクタンスに基づくクラスタリングアルゴリズムを開発した。 スパースオートエンコーダと比較して、私たちのクラスタの50%はSAEの特徴と一致し、両方のメソッドが類似した構造を回復することを確認した。

関連論文リスト

• Improving Semantic Uncertainty Quantification in LVLMs with Semantic Gaussian Processes [60.75226150503949]
  本稿では,解答埋め込みの幾何学的構造を解析し,意味的不確実性を定量化するベイズ的枠組みを提案する。 S GPUは、生成した回答を密接なセマンティック空間にマッピングし、セマンティック埋め込みのグラム行列を計算し、セマンティック構成を要約する。 我々は,SGPUがモデルとモダリティをまたいで転送されることを示し,そのスペクトル表現が意味的不確実性の一般的なパターンを捉えていることを示す。
  論文  参考訳（メタデータ） (2025-12-16T08:15:24Z)
• Self-supervised Latent Space Optimization with Nebula Variational Coding [87.20343320266215]
  本稿では,クラスタ化埋め込みに繋がる変分推論モデルを提案する。 textbfnebula anchorsと呼ばれる潜伏空間に新たな変数を導入し、トレーニング中に潜伏変数がクラスタを形成するように誘導する。 各潜在機能は最も近いアンカーでラベル付けできるため、クラスタ間の分離をより明確にするために、自己教師付き方法でメートル法学習を適用することも提案する。
  論文  参考訳（メタデータ） (2025-06-02T08:13:32Z)
• Learning Identifiable Structures Helps Avoid Bias in DNN-based Supervised Causal Learning [56.22841701016295]
  Supervised Causal Learning (SCL)はこの分野で新興パラダイムである。 既存のディープニューラルネットワーク(DNN)ベースの手法では、"Node-Edgeアプローチ"が一般的である。
  論文  参考訳（メタデータ） (2025-02-15T19:10:35Z)
• Consistent spectral clustering in sparse tensor block models [0.0]
  高階クラスタリングは、様々な分野で広く使われているマルチウェイデータセットでオブジェクトを分類することを目的としている。 本稿では,整数値の少ないデータテンソルに特化して設計されたテンソルブロックモデルを提案する。 ノイズ変動を緩和するためのトリミングステップを付加した単純なスペクトルクラスタリングアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2025-01-23T16:41:19Z)
• Jacobian-Scaled K-means Clustering for Physics-Informed Segmentation of Reacting Flows [0.0]
  JSK-meansクラスタリング(JSK-means clustering)は、K-meansフレームワークを中心とした物理インフォームされたクラスタリング戦略である。 このアルゴリズムは複雑な反応流シミュレーションデータセット上で実証される。
  論文  参考訳（メタデータ） (2023-05-02T15:47:18Z)
• flow-based clustering and spectral clustering: a comparison [0.688204255655161]
  本研究では,本質的なネットワーク構造を持つデータに対する新しいグラフクラスタリング手法を提案する。 我々は、ユークリッド特徴ベクトルを構築するために、データ固有のネットワーク構造を利用する。 以上の結果から,クラスタリング手法が特定のグラフ構造に対処できることが示唆された。
  論文  参考訳（メタデータ） (2022-06-20T21:49:52Z)
• Perfect Spectral Clustering with Discrete Covariates [68.8204255655161]
  本稿では,大規模なスパースネットワークのクラスにおいて,高い確率で完全クラスタリングを実現するスペクトルアルゴリズムを提案する。 本手法は,スペクトルクラスタリングによる一貫した潜在構造回復を保証する最初の方法である。
  論文  参考訳（メタデータ） (2022-05-17T01:41:06Z)
• On consistency of constrained spectral clustering under representation-aware stochastic block model [20.6072287343024]
  制約付きスペクトルクラスタリングは、与えられたテクスト類似性グラフ$mathcalG$でバランスの取れたクラスタを見つけることを目的として研究される。 この環境では、スペクトルクラスタリングの非正規化および正規化の変種を開発する。 これらのアルゴリズムは$mathcalR$を使用して、提案された制約をほぼ満たした$mathcalG$のクラスタを見つける。
  論文  参考訳（メタデータ） (2022-03-03T20:41:14Z)
• Spatially relaxed inference on high-dimensional linear models [48.989769153211995]
  本研究では,空間的に制約されたクラスタリング,統計的推論,アンサンブルを組み合わせ,複数のクラスタリング推論解を集約するアンサンブルクラスタリング推論アルゴリズムの特性について検討する。 アンサンブルクラスタ推論アルゴリズムは,最大クラスター径に等しい$delta$-FWERの標準仮定で$delta$-FWERを制御することを示す。
  論文  参考訳（メタデータ） (2021-06-04T16:37:19Z)
• Kernel learning approaches for summarising and combining posterior similarity matrices [68.8204255655161]
  我々は,ベイズクラスタリングモデルに対するMCMCアルゴリズムの出力を要約するための新しいアプローチを提案するために,後部類似性行列(PSM)の概念を構築した。 我々の研究の重要な貢献は、PSMが正の半定値であり、したがって確率的に動機付けられたカーネル行列を定義するのに使用できることである。
  論文  参考訳（メタデータ） (2020-09-27T14:16:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。