論文の概要: Llama Scope: Extracting Millions of Features from Llama-3.1-8B with Sparse Autoencoders

• arxiv url: http://arxiv.org/abs/2410.20526v1
• Date: Sun, 27 Oct 2024 17:33:49 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-29 12:17:35.075888
• Title: Llama Scope: Extracting Millions of Features from Llama-3.1-8B with Sparse Autoencoders
• Title（参考訳）: Llama Scope: スパースオートエンコーダによるLlama-3.1-8Bの機能抽出
• Authors: Zhengfu He, Wentao Shu, Xuyang Ge, Lingjie Chen, Junxuan Wang, Yunhua Zhou, Frances Liu, Qipeng Guo, Xuanjing Huang, Zuxuan Wu, Yu-Gang Jiang, Xipeng Qiu,
• Abstract要約: スパースオートエンコーダ(SAE)は、言語モデルからスパース表現を抽出する強力な教師なし手法として登場した。 我々は、Llama-3.1-8B-Baseモデルの各層とサブ層で訓練された256個のSAEスイートを紹介し、32Kと128Kの特徴を持つ。 基礎モデルに基づいて訓練されたSAEのより長い文脈と微調整モデルへの一般化性を評価する。
• 参考スコア（独自算出の注目度）: 115.34050914216665
• License:
• Abstract: Sparse Autoencoders (SAEs) have emerged as a powerful unsupervised method for extracting sparse representations from language models, yet scalable training remains a significant challenge. We introduce a suite of 256 SAEs, trained on each layer and sublayer of the Llama-3.1-8B-Base model, with 32K and 128K features. Modifications to a state-of-the-art SAE variant, Top-K SAEs, are evaluated across multiple dimensions. In particular, we assess the generalizability of SAEs trained on base models to longer contexts and fine-tuned models. Additionally, we analyze the geometry of learned SAE latents, confirming that \emph{feature splitting} enables the discovery of new features. The Llama Scope SAE checkpoints are publicly available at~\url{https://huggingface.co/fnlp/Llama-Scope}, alongside our scalable training, interpretation, and visualization tools at \url{https://github.com/OpenMOSS/Language-Model-SAEs}. These contributions aim to advance the open-source Sparse Autoencoder ecosystem and support mechanistic interpretability research by reducing the need for redundant SAE training.
• Abstract（参考訳）: スパースオートエンコーダ(SAE)は、言語モデルからスパース表現を抽出する強力な教師なし手法として登場したが、スケーラブルなトレーニングは依然として大きな課題である。 我々は、Llama-3.1-8B-Baseモデルの各層とサブ層で訓練された256個のSAEスイートを紹介し、32Kと128Kの特徴を持つ。 最先端のSAE変種であるTop-K SAEの修正は、複数の次元にわたって評価される。 特に、ベースモデルに基づいて訓練されたSAEのより長いコンテキストや微調整モデルへの一般化性を評価する。 さらに,学習したSAE潜伏剤の形状を解析し,<emph{feature splitting} が新たな特徴の発見を可能にすることを確認する。 Llama Scope SAEチェックポイントは~\url{https://huggingface.co/fnlp/Llama-Scope} で公開されており、スケーラブルなトレーニング、解釈、可視化ツールが \url{https://github.com/OpenMOSS/Language-Model-SAEs} で公開されている。 これらの貢献は、オープンソースのスパースオートエンコーダエコシステムを推進し、冗長なSAEトレーニングの必要性を減らし、機械的解釈可能性の研究を支援することを目的としている。

関連論文リスト

• Automatically Interpreting Millions of Features in Large Language Models [1.8035046415192353]
  スパースオートエンコーダ(SAE)は、活性化を高次元の潜在空間に変換するために用いられる。 SAEの機能に関する自然言語の説明を生成・評価するためのオープンソースのパイプラインを構築します。 我々の大規模分析は、SAE潜伏剤がニューロンよりもはるかに解釈可能であることを確認しています。
  論文  参考訳（メタデータ） (2024-10-17T17:56:01Z)
• Efficient Dictionary Learning with Switch Sparse Autoencoders [8.577217344304072]
  本稿では,SAEのトレーニングコスト削減を目的とした新しいSAEアーキテクチャであるSwitch Sparse Autoencodersを紹介する。 専門家モデルのまばらな混合にインスパイアされたSAEは、より小さな「専門家」SAE間での経路活性化ベクトルを切り替える。 この結果,Switch SAEは,所定のトレーニング計算予算に対して,再構成と疎性フロンティアの大幅な改善をもたらすことがわかった。
  論文  参考訳（メタデータ） (2024-10-10T17:59:11Z)
• Disentangling Dense Embeddings with Sparse Autoencoders [0.0]
  スパースオートエンコーダ(SAE)は、複雑なニューラルネットワークから解釈可能な特徴を抽出する可能性を示している。 大規模言語モデルからの高密度テキスト埋め込みに対するSAEの最初の応用の1つを提示する。 その結果,解釈可能性を提供しながら意味的忠実さを保っていることが明らかとなった。
  論文  参考訳（メタデータ） (2024-08-01T15:46:22Z)
• Measuring Progress in Dictionary Learning for Language Model Interpretability with Board Game Models [18.77400885091398]
  本稿では,チェスやオセロ文字で訓練されたLMの設定を用いて,解釈可能な辞書学習の進展を測定することを提案する。 新しいSAEトレーニングテクニックである$textitp-annealing$を導入しました。
  論文  参考訳（メタデータ） (2024-07-31T18:45:13Z)
• Interpreting Attention Layer Outputs with Sparse Autoencoders [3.201633659481912]
  モデルアクティベーションを解釈可能なコンポーネントに分解することは、機械的解釈可能性において鍵となるオープンな問題である。 この作業では、注意層出力でSAEをトレーニングし、ここでもSAEがスパースで解釈可能な分解を見つけることを示す。 Sparse Autoencodersは、研究者が以前の作業よりも詳細にモデル動作を説明するのに役立つツールであることを示す。
  論文  参考訳（メタデータ） (2024-06-25T17:43:13Z)
• Boosting Segment Anything Model Towards Open-Vocabulary Learning [69.42565443181017]
  Segment Anything Model (SAM)は、新しいパラダイムビジョン基盤モデルとして登場した。 SAMは様々な領域で応用や適応を発見できるが、その主な制限はオブジェクトの意味を把握できないことである。 我々は,SAMとオープン語彙オブジェクト検出器をエンドツーエンドフレームワークでシームレスに統合するSamborを提案する。
  論文  参考訳（メタデータ） (2023-12-06T17:19:00Z)
• Segment and Caption Anything [126.20201216616137]
  本稿では,地域キャプションを生成する機能を備えたセグメンション・アプライシング・モデルを提案する。 軽量なクエリベースの機能ミキサーを導入することで、地域固有の特徴と、後続キャプション生成のための言語モデルの埋め込み空間を整合させる。 提案手法の優位性を実証し,それぞれの設計選択を検証するために,広範な実験を行う。
  論文  参考訳（メタデータ） (2023-12-01T19:00:17Z)
• Interpretability at Scale: Identifying Causal Mechanisms in Alpaca [62.65877150123775]
  本研究では、Boundless DASを用いて、命令に従う間、大規模言語モデルにおける解釈可能な因果構造を効率的に探索する。 私たちの発見は、成長し、最も広くデプロイされている言語モデルの内部構造を忠実に理解するための第一歩です。
  論文  参考訳（メタデータ） (2023-05-15T17:15:40Z)
• SdAE: Self-distillated Masked Autoencoder [95.3684955370897]
  本稿では,自己蒸留マスク付きオートエンコーダネットワークSdAEを提案する。 300エポックの事前トレーニングで、バニラViT-BaseモデルはImageNet-1k分類において84.1%の微調整精度を達成する。
  論文  参考訳（メタデータ） (2022-07-31T15:07:25Z)
• Multi-Modal Zero-Shot Sign Language Recognition [51.07720650677784]
  マルチモーダルなゼロショット手話認識モデルを提案する。 C3DモデルとともにTransformerベースのモデルを使用して手の検出と深い特徴抽出を行う。 意味空間は、視覚的特徴をクラスラベルの言語的な埋め込みにマッピングするために使用される。
  論文  参考訳（メタデータ） (2021-09-02T09:10:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。