論文の概要: Tracr: Compiled Transformers as a Laboratory for Interpretability
- arxiv url: http://arxiv.org/abs/2301.05062v1
- Date: Thu, 12 Jan 2023 14:59:19 GMT
- ステータス: 処理完了
- システム内更新日: 2023-01-13 13:23:49.110202
- Title: Tracr: Compiled Transformers as a Laboratory for Interpretability
- Title(参考訳): Tracr: 解釈可能性研究所としてのコンパイルトランス
- Authors: David Lindner and J\'anos Kram\'ar and Matthew Rahtz and Thomas
McGrath and Vladimir Mikulik
- Abstract要約: 解釈可能性の研究は、機械学習(ML)モデルを理解するためのツールを構築することを目的としている。
解釈可能性研究のためのテストベッドとして手動でトランスフォーマーモデルを構築することを提案する。
本稿では,人間の読みやすいプログラムをトランスモデルの重みに翻訳するための「コンパイラ」であるTrcrを紹介する。
- 参考スコア(独自算出の注目度): 5.377300868783192
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Interpretability research aims to build tools for understanding machine
learning (ML) models. However, such tools are inherently hard to evaluate
because we do not have ground truth information about how ML models actually
work. In this work, we propose to build transformer models manually as a
testbed for interpretability research. We introduce Tracr, a "compiler" for
translating human-readable programs into weights of a transformer model. Tracr
takes code written in RASP, a domain-specific language (Weiss et al. 2021), and
translates it into weights for a standard, decoder-only, GPT-like transformer
architecture. We use Tracr to create a range of ground truth transformers that
implement programs including computing token frequencies, sorting, and Dyck-n
parenthesis checking, among others. To enable the broader research community to
explore and use compiled models, we provide an open-source implementation of
Tracr at https://github.com/deepmind/tracr.
- Abstract(参考訳): 解釈可能性の研究は、機械学習(ML)モデルを理解するためのツールを構築することを目的としている。
しかし、このようなツールは本質的に評価が難しい。なぜなら、私たちはMLモデルが実際にどのように機能するかに関する基礎的な真実情報を持っていないからです。
本研究では,解釈可能性研究のためのテストベッドとして手動でトランスフォーマーモデルを構築することを提案する。
本稿では,人間の可読プログラムをトランスフォーマーモデルの重みに翻訳する "コンパイラ" である tracr を紹介する。
Tracrはドメイン固有の言語であるRASP(Weiss et al. 2021)で書かれたコードを、標準のデコーダのみのGPTライクなトランスフォーマーアーキテクチャの重みに翻訳する。
Tracrを使って、トークンの周波数、ソート、Dyck-nの括弧チェックなどのプログラムを実装する、さまざまな真理変換器を作成します。
幅広い研究コミュニティがコンパイルされたモデルの探索と使用を可能にするために、我々はtracrのオープンソース実装をhttps://github.com/deepmind/tracrで提供している。
関連論文リスト
- On the Expressive Power of a Variant of the Looped Transformer [83.30272757948829]
我々はアルゴリズム能力でトランスフォーマーを強化するために、AlgoFormerと呼ばれる新しいトランスフォーマーブロックを設計する。
提案したAlgoFormerは、同じ数のパラメータを使用する場合、アルゴリズム表現においてはるかに高い精度を達成することができる。
いくつかの理論的および実証的な結果は、設計されたトランスフォーマーが、人間設計のアルゴリズムよりも賢い可能性があることを示している。
論文 参考訳(メタデータ) (2024-02-21T07:07:54Z) - Banach-Tarski Embeddings and Transformers [0.0]
任意のデータ構造を高次元ベクトルに埋め込む新しい構成を導入する。
これらの埋め込みは、変圧器の潜伏状態ベクトルの解釈可能なモデルを提供する。
埋め込み次元が十分に大きい場合、これらの埋め込みは元のデータ構造にデコード可能であることを示す。
論文 参考訳(メタデータ) (2023-11-15T21:30:26Z) - The Expressive Power of Transformers with Chain of Thought [35.25166532364007]
実際には、トランスフォーマーの推論は、答える前に中間トークン列を生成および条件にすることで改善することができる。
答えはYESであるが、増加量は中間生成量に大きく依存する。
また, 線形ステップでは, コンテクストに敏感な言語に変換器デコーダを配置し, 解解時間問題のクラスを正確に認識させる。
論文 参考訳(メタデータ) (2023-10-11T22:35:18Z) - Learning Transformer Programs [78.9509560355733]
設計によって機械的に解釈可能なトランスフォーマーの訓練手順を導入する。
人書きプログラムをTransformerにコンパイルする代わりに、勾配に基づく最適化を用いてトレーニングできる改良されたTransformerを設計する。
Transformer Programsは適切なソリューションを自動的に見つけ、同等のサイズの標準のTransformerと同等に動作する。
論文 参考訳(メタデータ) (2023-06-01T20:27:01Z) - Planning with Large Language Models for Code Generation [100.07232672883897]
Planning-Guided Transformer Decoding (PG-TD) は、計画アルゴリズムを用いてルックアヘッド検索を行い、トランスフォーマーを誘導してより良いプログラムを生成する。
我々は、公開コーディングチャレンジベンチマークのバックボーンとして、いくつかの大きな言語モデルを用いて、我々のフレームワークを実証的に評価する。
論文 参考訳(メタデータ) (2023-03-09T18:59:47Z) - Looped Transformers as Programmable Computers [48.00010456819222]
本稿では,トランスフォーマーネットワークを,特定の重みでプログラミングし,ループに配置することで,ユニバーサルコンピュータとして利用するフレームワークを提案する。
我々の入力シーケンスは、データ読み書きのための命令とメモリからなるパンチカードとして機能する。
この変換器は、入力によって指示され、基本計算器、基本線形代数ライブラリ、およびバックプロパゲーションを用いたコンテキスト内学習アルゴリズムをエミュレートできることを示す。
論文 参考訳(メタデータ) (2023-01-30T18:57:31Z) - Characterizing Intrinsic Compositionality in Transformers with Tree
Projections [72.45375959893218]
トランスのようなニューラルモデルは、入力の異なる部分間で情報を任意にルーティングすることができる。
3つの異なるタスクに対するトランスフォーマーは、トレーニングの過程でより木のようなものになることを示す。
これらの木はモデル挙動を予測し、より木のようなモデルは構成的一般化のテストにおいてより良く一般化する。
論文 参考訳(メタデータ) (2022-11-02T17:10:07Z) - Thinking Like Transformers [64.96770952820691]
本稿では,プログラミング言語の形式で変換器エンコーダの計算モデルを提案する。
RASPは、トランスフォーマーによって確実に学習できるタスクの解決策をプログラムするのにどのように使えるかを示す。
ヒストグラム、ソート、ダイク言語のためのRASPプログラムを提供する。
論文 参考訳(メタデータ) (2021-06-13T13:04:46Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。