論文の概要: Towards Spectroscopy: Susceptibility Clusters in Language Models

• arxiv url: http://arxiv.org/abs/2601.12703v1
• Date: Mon, 19 Jan 2026 04:01:17 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-01-21 22:47:22.748593
• Title: Towards Spectroscopy: Susceptibility Clusters in Language Models
• Title（参考訳）: スペクトロスコピーに向けて:言語モデルにおけるサセプティビリティクラスタ
• Abstract要約: この原理をニューラルネットワークに適用する。 データ分布のモード上の和として、感受性が分解されることが示される。 この手法をPythia-14Mに適用し,コンダクタンスに基づくクラスタリングアルゴリズムを開発した。
• 参考スコア（独自算出の注目度）: 2.446411139736179
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Spectroscopy infers the internal structure of physical systems by measuring their response to perturbations. We apply this principle to neural networks: perturbing the data distribution by upweighting a token $y$ in context $x$, we measure the model's response via susceptibilities $χ_{xy}$, which are covariances between component-level observables and the perturbation computed over a localized Gibbs posterior via stochastic gradient Langevin dynamics (SGLD). Theoretically, we show that susceptibilities decompose as a sum over modes of the data distribution, explaining why tokens that follow their contexts "for similar reasons" cluster together in susceptibility space. Empirically, we apply this methodology to Pythia-14M, developing a conductance-based clustering algorithm that identifies 510 interpretable clusters ranging from grammatical patterns to code structure to mathematical notation. Comparing to sparse autoencoders, 50% of our clusters match SAE features, validating that both methods recover similar structure.
• Abstract（参考訳）: 分光法は、摂動に対する応答を測定することによって物理系の内部構造を推測する。 我々は、この原理をニューラルネットワークに適用する: トークン$y$ in context $x$, we measure the model's response via susceptibility $\_{xy}$, which is covariances between component-level observables and the perturbation computed over a localized Gibbs posterior via stochastic gradient Langevin dynamics (SGLD)。 理論的には, サセプティビティがデータ分布のモード上の和として分解されることを示し, コンテクストに従うトークンが「類似した理由のために」どのようにしてサセプティビティ空間に集結しているかを説明する。 この手法をPythia-14Mに適用し,文法パターンからコード構造,数学的表記に至るまで,510個の解釈可能なクラスタを識別するコンダクタンスに基づくクラスタリングアルゴリズムを開発した。 スパースオートエンコーダと比較して、私たちのクラスタの50%はSAEの特徴と一致し、両方のメソッドが類似した構造を回復することを確認した。

関連論文リスト

• Diffusion Models for High-Dimensional Clustered Data: Intrinsic-Dimension Adaptivity via Bayesian Classification [1.9981375888949475]
  マルチモーダル拡散モデルの高次元データの構造化幾何への適応性について検討する。 この幾何学を捉えるための標準フレームワークとして、K$-mixture Gaussian 分布を用いる。 混合相とクラスタコミット相の分解過程を別々に解析することにより、KL誤差境界がクラスタの最大固有次元に線形に依存することを証明した。
  論文  参考訳（メタデータ） (2026-08-19T16:09:31Z)
• K-Models: a Flexible and Interpretable Method for Ordinal Clustering with Application to Antigen-Antibody Interaction Profiles [65.21921642886367]
  K-Modelsは、順序的制約を統合し、観察された機能プロファイルを生成するランダムプロセスの基本的な要素を推定する新しいフレームワークである。 提案手法はシミュレーションと実世界の応用を通して評価する。
  論文  参考訳（メタデータ） (2026-05-14T13:35:44Z)
• Weight-Informed Self-Explaining Clustering for Mixed-Type Tabular Data [63.62853416081748]
  WISEは表現、特徴重み付け、クラスタリング、解釈を統一するフレームワークである。 クラスタリングを駆動する同じプリミティブに根ざした、忠実で人間解釈可能な説明を生成する。
  論文  参考訳（メタデータ） (2026-04-07T13:18:31Z)
• Post-hoc Self-explanation of CNNs [7.186338158934004]
  この研究は、畳み込みニューラルネットワークのための$k$-meansベースのポストホック説明の共通形式を導入している。 最後の3ブロックのような、より浅い、より圧縮されていない機能アクティベーションを使用することで、セマンティックな忠実さと予測性能のわずかに低下するトレードオフが生じる。
  論文  参考訳（メタデータ） (2026-03-30T14:05:37Z)
• Improving Semantic Uncertainty Quantification in LVLMs with Semantic Gaussian Processes [60.75226150503949]
  本稿では,解答埋め込みの幾何学的構造を解析し,意味的不確実性を定量化するベイズ的枠組みを提案する。 S GPUは、生成した回答を密接なセマンティック空間にマッピングし、セマンティック埋め込みのグラム行列を計算し、セマンティック構成を要約する。 我々は,SGPUがモデルとモダリティをまたいで転送されることを示し,そのスペクトル表現が意味的不確実性の一般的なパターンを捉えていることを示す。
  論文  参考訳（メタデータ） (2025-12-16T08:15:24Z)
• Reliable data clustering with Bayesian community detection [0.0]
  研究者たちはモジュール構造を明らかにするために、クラスタリングの類似性データに依存している。 しかし、階層クラスタリング、k平均、WGCNAといった広く使われているクラスタリング手法では、基本モデル選択が欠如しており、ノイズの影響を受けやすい。 一般的な回避策は相関行列表現をスパースしてクラスタリング前にノイズを除去するが、この余分なステップは任意のしきい値を導入し、構造を歪め、信頼できない結果をもたらす。
  論文  参考訳（メタデータ） (2025-10-16T14:10:24Z)
• Self-supervised Latent Space Optimization with Nebula Variational Coding [87.20343320266215]
  本稿では,クラスタ化埋め込みに繋がる変分推論モデルを提案する。 textbfnebula anchorsと呼ばれる潜伏空間に新たな変数を導入し、トレーニング中に潜伏変数がクラスタを形成するように誘導する。 各潜在機能は最も近いアンカーでラベル付けできるため、クラスタ間の分離をより明確にするために、自己教師付き方法でメートル法学習を適用することも提案する。
  論文  参考訳（メタデータ） (2025-06-02T08:13:32Z)
• Learning Identifiable Structures Helps Avoid Bias in DNN-based Supervised Causal Learning [56.22841701016295]
  Supervised Causal Learning (SCL)はこの分野で新興パラダイムである。 既存のディープニューラルネットワーク(DNN)ベースの手法では、"Node-Edgeアプローチ"が一般的である。
  論文  参考訳（メタデータ） (2025-02-15T19:10:35Z)
• Consistent spectral clustering in sparse tensor block models [0.0]
  高階クラスタリングは、様々な分野で広く使われているマルチウェイデータセットでオブジェクトを分類することを目的としている。 本稿では,整数値の少ないデータテンソルに特化して設計されたテンソルブロックモデルを提案する。 ノイズ変動を緩和するためのトリミングステップを付加した単純なスペクトルクラスタリングアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2025-01-23T16:41:19Z)
• Jacobian-Scaled K-means Clustering for Physics-Informed Segmentation of Reacting Flows [0.0]
  JSK-meansクラスタリング(JSK-means clustering)は、K-meansフレームワークを中心とした物理インフォームされたクラスタリング戦略である。 このアルゴリズムは複雑な反応流シミュレーションデータセット上で実証される。
  論文  参考訳（メタデータ） (2023-05-02T15:47:18Z)
• flow-based clustering and spectral clustering: a comparison [0.688204255655161]
  本研究では,本質的なネットワーク構造を持つデータに対する新しいグラフクラスタリング手法を提案する。 我々は、ユークリッド特徴ベクトルを構築するために、データ固有のネットワーク構造を利用する。 以上の結果から,クラスタリング手法が特定のグラフ構造に対処できることが示唆された。
  論文  参考訳（メタデータ） (2022-06-20T21:49:52Z)
• Perfect Spectral Clustering with Discrete Covariates [68.8204255655161]
  本稿では,大規模なスパースネットワークのクラスにおいて,高い確率で完全クラスタリングを実現するスペクトルアルゴリズムを提案する。 本手法は,スペクトルクラスタリングによる一貫した潜在構造回復を保証する最初の方法である。
  論文  参考訳（メタデータ） (2022-05-17T01:41:06Z)
• On consistency of constrained spectral clustering under representation-aware stochastic block model [20.6072287343024]
  制約付きスペクトルクラスタリングは、与えられたテクスト類似性グラフ$mathcalG$でバランスの取れたクラスタを見つけることを目的として研究される。 この環境では、スペクトルクラスタリングの非正規化および正規化の変種を開発する。 これらのアルゴリズムは$mathcalR$を使用して、提案された制約をほぼ満たした$mathcalG$のクラスタを見つける。
  論文  参考訳（メタデータ） (2022-03-03T20:41:14Z)
• Spatially relaxed inference on high-dimensional linear models [48.989769153211995]
  本研究では,空間的に制約されたクラスタリング,統計的推論,アンサンブルを組み合わせ,複数のクラスタリング推論解を集約するアンサンブルクラスタリング推論アルゴリズムの特性について検討する。 アンサンブルクラスタ推論アルゴリズムは,最大クラスター径に等しい$delta$-FWERの標準仮定で$delta$-FWERを制御することを示す。
  論文  参考訳（メタデータ） (2021-06-04T16:37:19Z)
• Kernel learning approaches for summarising and combining posterior similarity matrices [68.8204255655161]
  我々は,ベイズクラスタリングモデルに対するMCMCアルゴリズムの出力を要約するための新しいアプローチを提案するために,後部類似性行列(PSM)の概念を構築した。 我々の研究の重要な貢献は、PSMが正の半定値であり、したがって確率的に動機付けられたカーネル行列を定義するのに使用できることである。
  論文  参考訳（メタデータ） (2020-09-27T14:16:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。