論文の概要: Learning Transformer Programs
- arxiv url: http://arxiv.org/abs/2306.01128v2
- Date: Tue, 31 Oct 2023 00:47:31 GMT
- ステータス: 処理完了
- システム内更新日: 2023-11-01 23:53:15.118216
- Title: Learning Transformer Programs
- Title(参考訳): 学習用トランスフォーマープログラム
- Authors: Dan Friedman, Alexander Wettig, Danqi Chen
- Abstract要約: 設計によって機械的に解釈可能なトランスフォーマーの訓練手順を導入する。
人書きプログラムをTransformerにコンパイルする代わりに、勾配に基づく最適化を用いてトレーニングできる改良されたTransformerを設計する。
Transformer Programsは適切なソリューションを自動的に見つけ、同等のサイズの標準のTransformerと同等に動作する。
- 参考スコア(独自算出の注目度): 78.9509560355733
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Recent research in mechanistic interpretability has attempted to
reverse-engineer Transformer models by carefully inspecting network weights and
activations. However, these approaches require considerable manual effort and
still fall short of providing complete, faithful descriptions of the underlying
algorithms. In this work, we introduce a procedure for training Transformers
that are mechanistically interpretable by design. We build on RASP [Weiss et
al., 2021], a programming language that can be compiled into Transformer
weights. Instead of compiling human-written programs into Transformers, we
design a modified Transformer that can be trained using gradient-based
optimization and then automatically converted into a discrete, human-readable
program. We refer to these models as Transformer Programs. To validate our
approach, we learn Transformer Programs for a variety of problems, including an
in-context learning task, a suite of algorithmic problems (e.g. sorting,
recognizing Dyck languages), and NLP tasks including named entity recognition
and text classification. The Transformer Programs can automatically find
reasonable solutions, performing on par with standard Transformers of
comparable size; and, more importantly, they are easy to interpret. To
demonstrate these advantages, we convert Transformers into Python programs and
use off-the-shelf code analysis tools to debug model errors and identify the
"circuits" used to solve different sub-problems. We hope that Transformer
Programs open a new path toward the goal of intrinsically interpretable machine
learning.
- Abstract(参考訳): 機械的解釈可能性に関する最近の研究は、ネットワークの重みとアクティベーションを慎重に調べることでリバースエンジニアリングトランスフォーマーモデルを試みている。
しかし、これらのアプローチにはかなりの手作業が必要であり、基礎となるアルゴリズムの完全な忠実な記述を提供するには不足している。
本研究では,設計によって機械的に解釈可能なトランスフォーマーの訓練手順を紹介する。
私たちは、Transformerの重みにコンパイルできるプログラミング言語であるRASP [Weiss et al., 2021] をベースにしています。
人書きプログラムをTransformerにコンパイルする代わりに、勾配に基づく最適化を用いてトレーニングし、自動的に個別の人間可読プログラムに変換できる改良されたTransformerを設計する。
これらのモデルをTransformer Programsと呼ぶ。
提案手法を検証するために,テキスト内学習タスク,アルゴリズム上の問題(例えば,Dyck言語を分類,認識する),名前付きエンティティ認識やテキスト分類を含むNLPタスクなど,さまざまな問題に対してTransformer Programsを学習する。
トランスフォーマープログラムは、同等の大きさの標準トランスフォーマーと同等の性能で実行することで、合理的なソリューションを自動的に見つけることができる。
これらの利点を実証するために、トランスフォーマーをpythonプログラムに変換し、既製のコード解析ツールを使用してモデルエラーをデバッグし、さまざまなサブ問題を解くために使用される"サーキット"を特定します。
トランスフォーマープログラムが、本質的に解釈可能な機械学習の目標に向けて、新たな道を開くことを願っている。
関連論文リスト
- Do Efficient Transformers Really Save Computation? [34.15764596496696]
我々は、効率的な変換器、特にスパース変換器と線形変換器の機能と限界に焦点を当てる。
以上の結果から,これらのモデルは一般のDPタスクを解くのに十分な表現力を持っているが,期待とは裏腹に,問題のサイズに合わせてスケールするモデルサイズが必要であることが示唆された。
我々は,これらのモデルが標準のTransformerよりも効率的であるようなDP問題のクラスを同定する。
論文 参考訳(メタデータ) (2024-02-21T17:00:56Z) - On the Expressive Power of a Variant of the Looped Transformer [83.30272757948829]
我々はアルゴリズム能力でトランスフォーマーを強化するために、AlgoFormerと呼ばれる新しいトランスフォーマーブロックを設計する。
提案したAlgoFormerは、同じ数のパラメータを使用する場合、アルゴリズム表現においてはるかに高い精度を達成することができる。
いくつかの理論的および実証的な結果は、設計されたトランスフォーマーが、人間設計のアルゴリズムよりも賢い可能性があることを示している。
論文 参考訳(メタデータ) (2024-02-21T07:07:54Z) - Looped Transformers as Programmable Computers [48.00010456819222]
本稿では,トランスフォーマーネットワークを,特定の重みでプログラミングし,ループに配置することで,ユニバーサルコンピュータとして利用するフレームワークを提案する。
我々の入力シーケンスは、データ読み書きのための命令とメモリからなるパンチカードとして機能する。
この変換器は、入力によって指示され、基本計算器、基本線形代数ライブラリ、およびバックプロパゲーションを用いたコンテキスト内学習アルゴリズムをエミュレートできることを示す。
論文 参考訳(メタデータ) (2023-01-30T18:57:31Z) - Tracr: Compiled Transformers as a Laboratory for Interpretability [15.76027393879609]
人間の読みやすいプログラムをデコーダのみのトランスフォーマーモデルに"コンパイル"する方法を示す。
コンパイラであるTrcrは、既知の構造を持つモデルを生成する。
マルチステップアルゴリズムを実行する変換器の「重ね合わせ」について検討する。
論文 参考訳(メタデータ) (2023-01-12T14:59:19Z) - Transformers learn in-context by gradient descent [58.24152335931036]
自己回帰目標におけるトランスフォーマーの訓練は、勾配に基づくメタラーニングの定式化と密接に関連している。
トレーニングされたトランスフォーマーがメザ最適化器となる方法,すなわち,前方通過における勾配降下によるモデル学習方法を示す。
論文 参考訳(メタデータ) (2022-12-15T09:21:21Z) - Thinking Like Transformers [64.96770952820691]
本稿では,プログラミング言語の形式で変換器エンコーダの計算モデルを提案する。
RASPは、トランスフォーマーによって確実に学習できるタスクの解決策をプログラムするのにどのように使えるかを示す。
ヒストグラム、ソート、ダイク言語のためのRASPプログラムを提供する。
論文 参考訳(メタデータ) (2021-06-13T13:04:46Z) - Scalable Transformers for Neural Machine Translation [86.4530299266897]
トランスフォーマーは、そのキャパシティとシーケンス生成の並列トレーニングのため、ニューラルネットワーク翻訳(NMT)で広く採用されている。
本稿では,異なるスケールのサブトランスフォーマーを自然に含み,パラメータを共有できる,スケーラブルなトランスフォーマーを提案する。
スケーラブルトランスフォーマーのトレーニングの難しさに対処する3段階のトレーニングスキームが提案されている。
論文 参考訳(メタデータ) (2021-06-04T04:04:10Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。