論文の概要: Sparse Autoencoders Can Interpret Randomly Initialized Transformers

• arxiv url: http://arxiv.org/abs/2501.17727v1
• Date: Wed, 29 Jan 2025 16:11:12 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-01-30 15:53:36.776907
• Title: Sparse Autoencoders Can Interpret Randomly Initialized Transformers
• Title（参考訳）: スパースオートエンコーダはランダム初期化変換器を解釈できる
• Authors: Thomas Heap, Tim Lawson, Lucy Farnik, Laurence Aitchison,
• Abstract要約: スパースオートエンコーダ (SAEs) は変換器の内部表現を解釈する技術として人気が高まっている。 SAEをランダムトランスフォーマーの「解釈」に適用する。すなわち、テキストデータではなく、ガウスからパラメータをIIDとしてサンプリングするトランスフォーマーである。 ランダムなトランスフォーマーとトレーニングされたトランスフォーマーも同様に解釈可能なSAEラテントを生成し、これをオープンソースの自己解釈性パイプラインを用いて定量的に確認する。
• 参考スコア（独自算出の注目度）: 21.142967037533175
• License:
• Abstract: Sparse autoencoders (SAEs) are an increasingly popular technique for interpreting the internal representations of transformers. In this paper, we apply SAEs to 'interpret' random transformers, i.e., transformers where the parameters are sampled IID from a Gaussian rather than trained on text data. We find that random and trained transformers produce similarly interpretable SAE latents, and we confirm this finding quantitatively using an open-source auto-interpretability pipeline. Further, we find that SAE quality metrics are broadly similar for random and trained transformers. We find that these results hold across model sizes and layers. We discuss a number of number interesting questions that this work raises for the use of SAEs and auto-interpretability in the context of mechanistic interpretability.
• Abstract（参考訳）: スパースオートエンコーダ (SAEs) は変換器の内部表現を解釈する技術として人気が高まっている。 本稿では,テキストデータではなく,パラメータをガウシアンからIIDにサンプリングするトランスフォーマーについて,SAEを「解釈」ランダムトランスフォーマーに適用する。 ランダムなトランスフォーマーとトレーニングされたトランスフォーマーも同様に解釈可能なSAEラテントを生成し、これをオープンソースの自己解釈性パイプラインを用いて定量的に確認する。 さらに、SAEの品質指標は、ランダムなトランスフォーマーやトレーニングされたトランスフォーマーと広く似ていることが判明した。 これらの結果がモデルのサイズやレイヤにまたがっていることが分かりました。 本研究は,機械的解釈可能性の文脈において,SAEの使用と自動解釈可能性について,多くの興味深い疑問を提起する。

関連論文リスト

• Transformers Simulate MLE for Sequence Generation in Bayesian Networks [18.869174453242383]
  In-context maximum max estimation (MLE) に基づくベイズネットワークにおける変圧器の自己回帰生成機能について検討する。 ベイジアンネットワークの条件確率を文脈に応じて推定できる単純な変圧器モデルが存在することを実証する。 さらに、このような変圧器が理論上存在するだけでなく、訓練を通じて効果的に得られることを、広範な実験で実証する。
  論文  参考訳（メタデータ） (2025-01-05T13:56:51Z)
• Extracting Finite State Machines from Transformers [0.3069335774032178]
  機械的解釈可能性の観点から正規言語で訓練された変圧器の訓練可能性について検討する。 有限個の記号が状態を決定するとき, 変圧器の訓練性に対して, より強い下界を経験的に見出す。 機械的な洞察により、1層トランスフォーマーが優れた長さの一般化で学習できる正規言語を特徴付けることができる。
  論文  参考訳（メタデータ） (2024-10-08T13:43:50Z)
• Algorithmic Capabilities of Random Transformers [49.73113518329544]
  埋め込み層のみを最適化したランダムトランスフォーマーによって、どのような関数が学習できるかを検討する。 これらのランダムなトランスフォーマーは、幅広い意味のあるアルゴリズムタスクを実行することができる。 以上の結果から,これらのモデルが訓練される前にも,アルゴリズム能力がトランスフォーマに存在することが示唆された。
  論文  参考訳（メタデータ） (2024-10-06T06:04:23Z)
• Are Transformers in Pre-trained LM A Good ASR Encoder? An Empirical Study [52.91899050612153]
  自動音声認識(ASR)のためのエンコーダとして再利用された事前訓練言語モデル(PLM)内のトランスフォーマー 本研究は,事前学習したLMのトランスフォーマーを組み込んだASRタスクにおいて,文字誤り率 (CER) とワード誤り率 (WER) の顕著な改善が認められた。 このことは、事前訓練されたトランスフォーマーに埋め込まれたセマンティックな技術を活用して、ASRシステムの能力を向上させる可能性を浮き彫りにしている。
  論文  参考訳（メタデータ） (2024-09-26T11:31:18Z)
• Can Transformers Learn Sequential Function Classes In Context? [0.0]
  インコンテキスト学習(ICL)は、NLPにおけるトランスフォーマーモデルの能力に革命をもたらした。 我々は,新しいスライディングウィンドウシーケンシャル関数クラスを導入し,GPT-2アーキテクチャを用いた玩具サイズのトランスフォーマーを用いて実験を行った。 解析により,これらのモデルが非テキストシーケンシャル関数クラスでトレーニングされた場合,実際にICLを活用できることが示唆された。
  論文  参考訳（メタデータ） (2023-12-19T22:57:13Z)
• Learning Transformer Programs [78.9509560355733]
  設計によって機械的に解釈可能なトランスフォーマーの訓練手順を導入する。 人書きプログラムをTransformerにコンパイルする代わりに、勾配に基づく最適化を用いてトレーニングできる改良されたTransformerを設計する。 Transformer Programsは適切なソリューションを自動的に見つけ、同等のサイズの標準のTransformerと同等に動作する。
  論文  参考訳（メタデータ） (2023-06-01T20:27:01Z)
• Scalable Transformers for Neural Machine Translation [86.4530299266897]
  トランスフォーマーは、そのキャパシティとシーケンス生成の並列トレーニングのため、ニューラルネットワーク翻訳(NMT)で広く採用されている。 本稿では,異なるスケールのサブトランスフォーマーを自然に含み,パラメータを共有できる,スケーラブルなトランスフォーマーを提案する。 スケーラブルトランスフォーマーのトレーニングの難しさに対処する3段階のトレーニングスキームが提案されている。
  論文  参考訳（メタデータ） (2021-06-04T04:04:10Z)
• Position Information in Transformers: An Overview [6.284464997330884]
  本稿では,トランスフォーマーモデルに位置情報を組み込む共通手法の概要について述べる。 本調査の目的は,Transformerにおける位置情報が活発で広範な研究領域であることを示すことである。
  論文  参考訳（メタデータ） (2021-02-22T15:03:23Z)
• Segatron: Segment-Aware Transformer for Language Modeling and Understanding [79.84562707201323]
  本稿では,セグメンテーション対応トランスフォーマー(Segatron)を提案する。 本稿ではまず,Transformerベースの言語モデルであるTransformer-XLにセグメント認識機構を導入する。 WikiText-103データセット上で17.1パープレキシティを実現することにより,Transformer-XLベースモデルと大規模モデルをさらに改善できることがわかった。
  論文  参考訳（メタデータ） (2020-04-30T17:38:27Z)
• Variational Transformers for Diverse Response Generation [71.53159402053392]
  変分変換器(VT)は、変分自己注意フィードフォワードシーケンスモデルである。 VTはトランスフォーマーの並列化性と大域的受容場計算とCVAEの変動特性を組み合わせる。 本稿では,1)大域潜伏変数を用いた談話レベルの多様性のモデル化,2)細粒潜伏変数の列によるトランスフォーマーデコーダの拡張,の2種類のVTについて検討する。
  論文  参考訳（メタデータ） (2020-03-28T07:48:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。