論文の概要: Scaling Monosemanticity: Extracting Interpretable Features from Claude 3 Sonnet

• arxiv url: http://arxiv.org/abs/2605.29358v1
• Date: Thu, 28 May 2026 04:57:47 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-30 02:45:55.743159
• Title: Scaling Monosemanticity: Extracting Interpretable Features from Claude 3 Sonnet
• Title（参考訳）: モノセマンティクスのスケーリング: クロード3ソネットから解釈可能な機能を抽出する
• Authors: Adly Templeton, Tom Conerly, Jonathan Marcus, Jack Lindsey, Trenton Bricken, Brian Chen, Adam Pearce, Craig Citro, Emmanuel Ameisen, Andy Jones, Hoagy Cunningham, Nicholas L Turner, Callum McDougall, Monte MacDiarmid, Alex Tamkin, Esin Durmus, Tristan Hume, Francesco Mosconi, C. Daniel Freeman, Theodore R. Sumers, Edward Rees, Joshua Batson, Adam Jermyn, Shan Carter, Chris Olah, Tom Henighan,
• Abstract要約: 我々は、モデルの中間層残留ストリームに最大3400万の機能を持つスパースオートエンコーダを訓練する。 有名なエンティティやロケーションに対応する機能や、sarcasmやコード内のエラーといったより抽象的な概念を見つけます。
• 参考スコア（独自算出の注目度）: 16.049764376014668
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We demonstrate that sparse autoencoders can extract interpretable features from Claude 3 Sonnet, a production-scale language model, addressing the open question of whether dictionary learning methods scale beyond small transformers. We trained sparse autoencoders with up to 34 million features on the model's middle layer residual stream, using scaling laws to guide hyperparameter selection. The resulting features are multilingual and multimodal (generalizing to images despite text-only training), respond to both concrete instances and abstract discussions of concepts, and can be used to steer model behavior in ways consistent with their interpretations. We find features corresponding to famous entities and locations, as well as more abstract concepts like sarcasm or errors in code. We also identify features relevant to ways in which language models might cause harm--including features representing deception, power-seeking, sycophancy, and bias--and show that these causally influence model outputs when manipulated. Additionally, we conduct analyses of feature interpretability, geometry, and computational function. However, significant limitations remain: our suite of features is incomplete, and we lack rigorous methods for evaluating whether our features faithfully capture model computations.
• Abstract（参考訳）: そこで本研究では,小型変圧器を超えて辞書学習手法がスケールするかどうかというオープンな疑問に対処するため,スパースオートエンコーダが生産規模の言語モデルであるClaude 3 Sonnetから解釈可能な特徴を抽出できることを実証した。 モデル中層残留ストリームに最大3400万の特徴を持つスパースオートエンコーダをトレーニングし、スケーリング法則を用いてハイパーパラメータ選択を誘導した。 結果として得られる特徴は多言語とマルチモーダル(テキストのみのトレーニングにもかかわらず画像に一般化する)であり、具体例と概念の抽象的な議論の両方に反応し、解釈と整合した方法でモデルの振る舞いを操るのに使うことができる。 有名なエンティティやロケーションに対応する機能や、sarcasmやコード内のエラーといったより抽象的な概念を見つけます。 また, 言語モデルが障害の原因となる可能性のある特徴として, 騙し, パワー探索, 梅毒, 偏見などの特徴を挙げ, 操作時のモデル出力に因果的に影響を及ぼすことを示す。 さらに,特徴解釈可能性,幾何学,計算関数の解析を行う。 しかし、重要な制限は残っており、我々の機能群は不完全であり、我々の機能がモデル計算を忠実に捉えているかどうかを評価するための厳密な方法が欠如している。

関連論文リスト

• The Complexity of Learning Sparse Superposed Features with Feedback [2.4140387101794283]
  モデルの基本となる学習特徴がエージェントからのフィードバックによって効率的に検索できるかどうかを検討する。 スパース設定で特徴行列を学習する際のフィードバックの複雑さを解析する。 この結果は,エージェントがアクティベーションを構築し,スパースシナリオにおいて強い上限を示すことを許された場合に,厳密な境界を確立する。
  論文  参考訳（メタデータ） (2025-02-08T01:54:23Z)
• LatentQA: Teaching LLMs to Decode Activations Into Natural Language [72.87064562349742]
  自然言語におけるモデルアクティベーションに関するオープンな疑問に答えるタスクであるLatentQAを紹介する。 本稿では,アクティベーションと関連する質問応答ペアのデータセット上で,デコーダLLMを微調整するLatent Interpretation Tuning (LIT)を提案する。 我々のデコーダはまた、ステレオタイプ付き文のモデルのデバイアス化や世代ごとの感情制御など、モデルを制御するために使用する差別化可能な損失も規定している。
  論文  参考訳（メタデータ） (2024-12-11T18:59:33Z)
• Sparse Feature Circuits: Discovering and Editing Interpretable Causal Graphs in Language Models [55.19497659895122]
  本稿ではスパース特徴回路の発見と適用方法を紹介する。 これらは言語モデルの振る舞いを説明するための人間の解釈可能な特徴の因果関係の著作である。
  論文  参考訳（メタデータ） (2024-03-28T17:56:07Z)
• Interpretability at Scale: Identifying Causal Mechanisms in Alpaca [62.65877150123775]
  本研究では、Boundless DASを用いて、命令に従う間、大規模言語モデルにおける解釈可能な因果構造を効率的に探索する。 私たちの発見は、成長し、最も広くデプロイされている言語モデルの内部構造を忠実に理解するための第一歩です。
  論文  参考訳（メタデータ） (2023-05-15T17:15:40Z)
• Interpreting Language Models with Contrastive Explanations [99.7035899290924]
  言語モデルは、音声、数字、時制、意味論など、トークンを予測するための様々な特徴を考慮しなければならない。 既存の説明手法は、これらの特徴の証拠を1つの説明に分割するが、人間の理解には理解できない。 比較的な説明は、主要な文法現象の検証において、非対照的な説明よりも定量的に優れていることを示す。
  論文  参考訳（メタデータ） (2022-02-21T18:32:24Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。