論文の概要: Tracr: Compiled Transformers as a Laboratory for Interpretability

• arxiv url: http://arxiv.org/abs/2301.05062v5
• Date: Fri, 3 Nov 2023 15:11:02 GMT
• ステータス: 処理完了
• システム内更新日: 2023-11-06 18:32:43.374549
• Title: Tracr: Compiled Transformers as a Laboratory for Interpretability
• Title（参考訳）: Tracr: 解釈可能性研究所としてのコンパイルトランス
• Authors: David Lindner and J\'anos Kram\'ar and Sebastian Farquhar and Matthew Rahtz and Thomas McGrath and Vladimir Mikulik
• Abstract要約: 人間の読みやすいプログラムをデコーダのみのトランスフォーマーモデルに"コンパイル"する方法を示す。 コンパイラであるTrcrは、既知の構造を持つモデルを生成する。 マルチステップアルゴリズムを実行する変換器の「重ね合わせ」について検討する。
• 参考スコア（独自算出の注目度）: 15.76027393879609
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We show how to "compile" human-readable programs into standard decoder-only transformer models. Our compiler, Tracr, generates models with known structure. This structure can be used to design experiments. For example, we use it to study "superposition" in transformers that execute multi-step algorithms. Additionally, the known structure of Tracr-compiled models can serve as ground-truth for evaluating interpretability methods. Commonly, because the "programs" learned by transformers are unknown it is unclear whether an interpretation succeeded. We demonstrate our approach by implementing and examining programs including computing token frequencies, sorting, and parenthesis checking. We provide an open-source implementation of Tracr at https://github.com/google-deepmind/tracr.
• Abstract（参考訳）: 人間の読みやすいプログラムを標準デコーダのみの変換モデルに"コンパイル"する方法を示す。 コンパイラであるTrcrは、既知の構造を持つモデルを生成する。 この構造は実験の設計に利用できる。 例えば、マルチステップアルゴリズムを実行するトランスフォーマーの「重ね合わせ」を研究するために使用します。 さらに、Trcrコンパイルされたモデルの既知の構造は、解釈可能性の評価のための基盤となる。 一般的に、トランスフォーマーが学んだ「プログラム」が不明であるため、解釈が成功したかどうかは不明である。 我々は,トークンの頻度計算,ソート,括弧チェックなどのプログラムを実装し,検証することで,このアプローチを実証する。 Tracrのオープンソース実装はhttps://github.com/google-deepmind/tracrで公開しています。

関連論文リスト

• Algorithmic Capabilities of Random Transformers [49.73113518329544]
  埋め込み層のみを最適化したランダムトランスフォーマーによって、どのような関数が学習できるかを検討する。 これらのランダムなトランスフォーマーは、幅広い意味のあるアルゴリズムタスクを実行することができる。 以上の結果から,これらのモデルが訓練される前にも,アルゴリズム能力がトランスフォーマに存在することが示唆された。
  論文  参考訳（メタデータ） (2024-10-06T06:04:23Z)
• Can Transformers Learn $n$-gram Language Models? [77.35809823602307]
  2種類のランダムな$n$-gram LMを学習するトランスフォーマーの能力について検討する。 例えば、$n$-gram LMに対する古典的な推定手法として、add-$lambda$ smoothing outperform transformerがある。
  論文  参考訳（メタデータ） (2024-10-03T21:21:02Z)
• Transformer Explainer: Interactive Learning of Text-Generative Models [65.91049787390692]
  Transformer Explainerは、GPT-2モデルを通じてTransformerについて学ぶために非専門家向けに設計されたインタラクティブな可視化ツールである。 ライブのGPT-2インスタンスをユーザのブラウザでローカルに実行し、ユーザが自身の入力を実験し、Transformerの内部コンポーネントとパラメータの協調動作をリアルタイムで観察することを可能にする。
  論文  参考訳（メタデータ） (2024-08-08T17:49:07Z)
• Learning Transformer Programs [78.9509560355733]
  設計によって機械的に解釈可能なトランスフォーマーの訓練手順を導入する。 人書きプログラムをTransformerにコンパイルする代わりに、勾配に基づく最適化を用いてトレーニングできる改良されたTransformerを設計する。 Transformer Programsは適切なソリューションを自動的に見つけ、同等のサイズの標準のTransformerと同等に動作する。
  論文  参考訳（メタデータ） (2023-06-01T20:27:01Z)
• Looped Transformers as Programmable Computers [48.00010456819222]
  本稿では,トランスフォーマーネットワークを,特定の重みでプログラミングし,ループに配置することで,ユニバーサルコンピュータとして利用するフレームワークを提案する。 我々の入力シーケンスは、データ読み書きのための命令とメモリからなるパンチカードとして機能する。 この変換器は、入力によって指示され、基本計算器、基本線形代数ライブラリ、およびバックプロパゲーションを用いたコンテキスト内学習アルゴリズムをエミュレートできることを示す。
  論文  参考訳（メタデータ） (2023-01-30T18:57:31Z)
• Thinking Like Transformers [64.96770952820691]
  本稿では,プログラミング言語の形式で変換器エンコーダの計算モデルを提案する。 RASPは、トランスフォーマーによって確実に学習できるタスクの解決策をプログラムするのにどのように使えるかを示す。 ヒストグラム、ソート、ダイク言語のためのRASPプログラムを提供する。
  論文  参考訳（メタデータ） (2021-06-13T13:04:46Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。