論文の概要: Training Transformers as a Universal Computer
- arxiv url: http://arxiv.org/abs/2604.25166v1
- Date: Tue, 28 Apr 2026 03:15:44 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-04-29 16:49:17.691228
- Title: Training Transformers as a Universal Computer
- Title（参考訳）: ユニバーサルコンピュータとしてのトランスフォーマーの育成
- Authors: Ruize Xu, Chenxiao Yang, Yanhong Li, David McAllester,
- Abstract要約: そこで本研究では,マイクロPyでプログラムを実行することを学習する小型トランスフォーマーについて述べる。
ランダムに生成された無意味なMicroPyプログラムのトレーニングの後、学習されたトランスフォーマーは様々な人書きプログラムに一般化する。
この結果から,標準変圧器が汎用コンピュータとして動作するように訓練できるという実証的証拠が得られた。
- 参考スコア（独自算出の注目度）: 23.278595216300488
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: We demonstrate that a small transformer can learn to execute programs in MicroPy, a simplified yet computationally universal programming language. Given procedure definitions together with an expression to evaluate, the transformer predicts small-step execution using PENCIL scaffolding for space-efficient execution within a bounded context window. After training on randomly generated, meaningless MicroPy programs, the learned transformer generalizes to various human-written programs including bit copying and flipping, binary addition and multiplication, and SAT verification and solving. We note that the trained model can achieve out-of-distribution generalization; i.e., evaluate novel programs from distribution on programs. Since MicroPy can express any computation, our results provide empirical evidence that a standard transformer can be trained to act as a universal computer.
- Abstract（参考訳）: 小型変換器がマイクロPyでプログラムの実行を学習できることを実証する。
評価する式とともに手順定義が与えられた場合、トランスフォーマーは、境界付きコンテキストウィンドウ内での空間効率の高い実行のためにPENCILスキャフォールディングを用いて小さなステップ実行を予測する。
ランダムに生成された無意味なMicroPyプログラムのトレーニングの後、学習されたトランスフォーマーは、ビットコピーとフリップ、バイナリの追加と乗算、SAT検証と解決など、さまざまな人書きプログラムに一般化される。
トレーニングされたモデルでは,プログラムの配布から新たなプログラムを評価することで,アウト・オブ・ディストリビューションの一般化を実現することができることに留意する。
MicroPyは任意の計算を表現できるので、我々の結果は、標準トランスフォーマーがユニバーサルコンピュータとして機能するように訓練できるという実証的な証拠を提供する。
関連論文リスト
- Discovering Interpretable Algorithms by Decompiling Transformers to RASP [58.057999683173655]
最近の研究は、トランスフォーマーの計算がプログラミング言語のRASPファミリでシミュレート可能であることを示している。
訓練されたトランスフォーマーから簡単な解釈可能なプログラムを抽出する一般的な方法を提案する。
以上の結果から,トランスフォーマーがシンプルなRASPプログラムを内部的に実装しているという最も直接的な証拠が得られている。
論文 参考訳（メタデータ） (2026-02-09T16:22:29Z) - AlgoFormer: An Efficient Transformer Framework with Algorithmic Structures [80.28359222380733]
アルゴリズム機能を備えたトランスフォーマーを実現するために,AlgoFormerと呼ばれる新しいトランスフォーマーフレームワークを設計する。
特に、人間の設計した学習アルゴリズムの構造に触発されて、我々のトランスフォーマーフレームワークは、タスク前処理に責任を持つ事前変換器で構成されています。
いくつかの理論的および実証的な結果は、設計されたトランスフォーマーがアルゴリズム表現と学習を行う可能性があることを示すために提示される。
論文 参考訳（メタデータ） (2024-02-21T07:07:54Z) - Learning Transformer Programs [78.9509560355733]
設計によって機械的に解釈可能なトランスフォーマーの訓練手順を導入する。
人書きプログラムをTransformerにコンパイルする代わりに、勾配に基づく最適化を用いてトレーニングできる改良されたTransformerを設計する。
Transformer Programsは適切なソリューションを自動的に見つけ、同等のサイズの標準のTransformerと同等に動作する。
論文 参考訳（メタデータ） (2023-06-01T20:27:01Z) - Looped Transformers as Programmable Computers [48.00010456819222]
本稿では,トランスフォーマーネットワークを,特定の重みでプログラミングし,ループに配置することで,ユニバーサルコンピュータとして利用するフレームワークを提案する。
我々の入力シーケンスは、データ読み書きのための命令とメモリからなるパンチカードとして機能する。
この変換器は、入力によって指示され、基本計算器、基本線形代数ライブラリ、およびバックプロパゲーションを用いたコンテキスト内学習アルゴリズムをエミュレートできることを示す。
論文 参考訳（メタデータ） (2023-01-30T18:57:31Z) - Thinking Like Transformers [64.96770952820691]
本稿では,プログラミング言語の形式で変換器エンコーダの計算モデルを提案する。
RASPは、トランスフォーマーによって確実に学習できるタスクの解決策をプログラムするのにどのように使えるかを示す。
ヒストグラム、ソート、ダイク言語のためのRASPプログラムを提供する。
論文 参考訳（メタデータ） (2021-06-13T13:04:46Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。