論文の概要: Tracr: Compiled Transformers as a Laboratory for Interpretability

• arxiv url: http://arxiv.org/abs/2301.05062v1
• Date: Thu, 12 Jan 2023 14:59:19 GMT
• ステータス: 処理完了
• システム内更新日: 2023-01-13 13:23:49.110202
• Title: Tracr: Compiled Transformers as a Laboratory for Interpretability
• Title（参考訳）: Tracr: 解釈可能性研究所としてのコンパイルトランス
• Authors: David Lindner and J\'anos Kram\'ar and Matthew Rahtz and Thomas McGrath and Vladimir Mikulik
• Abstract要約: 解釈可能性の研究は、機械学習(ML)モデルを理解するためのツールを構築することを目的としている。 解釈可能性研究のためのテストベッドとして手動でトランスフォーマーモデルを構築することを提案する。 本稿では,人間の読みやすいプログラムをトランスモデルの重みに翻訳するための「コンパイラ」であるTrcrを紹介する。
• 参考スコア（独自算出の注目度）: 5.377300868783192
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Interpretability research aims to build tools for understanding machine learning (ML) models. However, such tools are inherently hard to evaluate because we do not have ground truth information about how ML models actually work. In this work, we propose to build transformer models manually as a testbed for interpretability research. We introduce Tracr, a "compiler" for translating human-readable programs into weights of a transformer model. Tracr takes code written in RASP, a domain-specific language (Weiss et al. 2021), and translates it into weights for a standard, decoder-only, GPT-like transformer architecture. We use Tracr to create a range of ground truth transformers that implement programs including computing token frequencies, sorting, and Dyck-n parenthesis checking, among others. To enable the broader research community to explore and use compiled models, we provide an open-source implementation of Tracr at https://github.com/deepmind/tracr.
• Abstract（参考訳）: 解釈可能性の研究は、機械学習(ML)モデルを理解するためのツールを構築することを目的としている。 しかし、このようなツールは本質的に評価が難しい。なぜなら、私たちはMLモデルが実際にどのように機能するかに関する基礎的な真実情報を持っていないからです。 本研究では,解釈可能性研究のためのテストベッドとして手動でトランスフォーマーモデルを構築することを提案する。 本稿では,人間の可読プログラムをトランスフォーマーモデルの重みに翻訳する "コンパイラ" である tracr を紹介する。 Tracrはドメイン固有の言語であるRASP(Weiss et al. 2021)で書かれたコードを、標準のデコーダのみのGPTライクなトランスフォーマーアーキテクチャの重みに翻訳する。 Tracrを使って、トークンの周波数、ソート、Dyck-nの括弧チェックなどのプログラムを実装する、さまざまな真理変換器を作成します。 幅広い研究コミュニティがコンパイルされたモデルの探索と使用を可能にするために、我々はtracrのオープンソース実装をhttps://github.com/deepmind/tracrで提供している。

関連論文リスト

• Algorithmic Capabilities of Random Transformers [49.73113518329544]
  埋め込み層のみを最適化したランダムトランスフォーマーによって、どのような関数が学習できるかを検討する。 これらのランダムなトランスフォーマーは、幅広い意味のあるアルゴリズムタスクを実行することができる。 以上の結果から,これらのモデルが訓練される前にも,アルゴリズム能力がトランスフォーマに存在することが示唆された。
  論文  参考訳（メタデータ） (2024-10-06T06:04:23Z)
• Can Transformers Learn $n$-gram Language Models? [77.35809823602307]
  2種類のランダムな$n$-gram LMを学習するトランスフォーマーの能力について検討する。 例えば、$n$-gram LMに対する古典的な推定手法として、add-$lambda$ smoothing outperform transformerがある。
  論文  参考訳（メタデータ） (2024-10-03T21:21:02Z)
• Transformer Explainer: Interactive Learning of Text-Generative Models [65.91049787390692]
  Transformer Explainerは、GPT-2モデルを通じてTransformerについて学ぶために非専門家向けに設計されたインタラクティブな可視化ツールである。 ライブのGPT-2インスタンスをユーザのブラウザでローカルに実行し、ユーザが自身の入力を実験し、Transformerの内部コンポーネントとパラメータの協調動作をリアルタイムで観察することを可能にする。
  論文  参考訳（メタデータ） (2024-08-08T17:49:07Z)
• Learning Transformer Programs [78.9509560355733]
  設計によって機械的に解釈可能なトランスフォーマーの訓練手順を導入する。 人書きプログラムをTransformerにコンパイルする代わりに、勾配に基づく最適化を用いてトレーニングできる改良されたTransformerを設計する。 Transformer Programsは適切なソリューションを自動的に見つけ、同等のサイズの標準のTransformerと同等に動作する。
  論文  参考訳（メタデータ） (2023-06-01T20:27:01Z)
• Looped Transformers as Programmable Computers [48.00010456819222]
  本稿では,トランスフォーマーネットワークを,特定の重みでプログラミングし,ループに配置することで,ユニバーサルコンピュータとして利用するフレームワークを提案する。 我々の入力シーケンスは、データ読み書きのための命令とメモリからなるパンチカードとして機能する。 この変換器は、入力によって指示され、基本計算器、基本線形代数ライブラリ、およびバックプロパゲーションを用いたコンテキスト内学習アルゴリズムをエミュレートできることを示す。
  論文  参考訳（メタデータ） (2023-01-30T18:57:31Z)
• Thinking Like Transformers [64.96770952820691]
  本稿では,プログラミング言語の形式で変換器エンコーダの計算モデルを提案する。 RASPは、トランスフォーマーによって確実に学習できるタスクの解決策をプログラムするのにどのように使えるかを示す。 ヒストグラム、ソート、ダイク言語のためのRASPプログラムを提供する。
  論文  参考訳（メタデータ） (2021-06-13T13:04:46Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。