論文の概要: Synthesis and Verification of Transformer Programs
- arxiv url: http://arxiv.org/abs/2602.16473v1
- Date: Wed, 18 Feb 2026 14:04:02 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-02-19 15:58:30.606879
- Title: Synthesis and Verification of Transformer Programs
- Title（参考訳）: 変圧器プログラムの合成と検証
- Authors: Hongjian Jiang, Matthew Hague, Philipp Rümmer, Anthony Widjaja Lin,
- Abstract要約: C-RASPは、トランスフォーマーで表現可能な概念をキャプチャするために最近示された単純なプログラミング言語である。
我々はC-RASPを自動検証するアルゴリズムを開発した。
第2のコントリビューションは、最初はC-RASPプログラムの学習に対処します。
- 参考スコア（独自算出の注目度）: 2.0415910628419067
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: C-RASP is a simple programming language that was recently shown to capture concepts expressible by transformers. In this paper, we develop new algorithmic techniques for automatically verifying C-RASPs. To this end, we establish a connection to the verification of synchronous dataflow programs in Lustre, which enables us to exploit state-of-the-art model checkers utilizing highly optimized SMT-solvers. Our second contribution addresses learning a C-RASP program in the first place. To this end, we provide a new algorithm for learning a C-RASP from examples using local search. We demonstrate efficacy of our implementation for benchmarks of C-RASPs in the literature, in particular in connection to the following applications: (1) transformer program optimization, and (2) constrained learning of transformer programs (based on a partial specification).
- Abstract（参考訳）: C-RASPは、トランスフォーマーで表現可能な概念をキャプチャするために最近示された単純なプログラミング言語である。
本稿では,C-RASPを自動検証するアルゴリズムを開発した。
この目的のために,我々はLustreにおける同期データフロープログラムの検証に接続し,高度に最適化されたSMT解法を用いて最先端のモデルチェッカーを活用できるようにする。
第2のコントリビューションは、最初はC-RASPプログラムの学習に対処します。
そこで本研究では,ローカル検索を用いてC-RASPを学習するアルゴリズムを提案する。
文献におけるC-RASPのベンチマーク実装の有効性を,(1)トランスフォーマープログラムの最適化,(2)トランスフォーマープログラムの制約付き学習(部分的仕様に基づく)について示す。
関連論文リスト
- Program Synthesis via Test-Time Transduction [26.30808249424997]
本稿では,プログラム合成タスクの新たな定式化であるトランスダクティブプログラム合成を紹介し,合成中のテスト入力を明示的に活用する。
提案手法は,Playgol,MBPP+,1D-ARC,MiniGrid上のプログラム的世界モデリングの4つのベンチマークで評価する。
提案手法は,プログラムの精度と効率性の両方において,プログラム合成を大幅に改善することを示す。
論文 参考訳（メタデータ） (2025-09-22T06:53:32Z) - Searching Latent Program Spaces [0.0]
ニューラルモデルに直接テストタイム検索を構築する新しいアーキテクチャであるLatent Program Network (LPN)を提案する。
テスト時にコンパクトな潜在空間を探索し、事前定義されたドメイン固有言語の必要性を回避します。
ARC-AGIベンチマークを用いて、プログラム空間を学習し、新しいタスクに適応するためにテスト時に検索できることを実証した。
論文 参考訳（メタデータ） (2024-11-13T15:50:32Z) - CORE: Common Random Reconstruction for Distributed Optimization with
Provable Low Communication Complexity [110.50364486645852]
コミュニケーションの複雑さは、トレーニングをスピードアップし、マシン番号をスケールアップする上で、大きなボトルネックになっています。
本稿では,機械間で送信される情報を圧縮するための共通Om REOmを提案する。
論文 参考訳（メタデータ） (2023-09-23T08:45:27Z) - Transformers as Statisticians: Provable In-Context Learning with
In-Context Algorithm Selection [88.23337313766353]
この研究はまず、変換器がICLを実行するための包括的な統計理論を提供する。
コンテクストにおいて、トランスフォーマーは、幅広い種類の標準機械学習アルゴリズムを実装可能であることを示す。
エンフィングル変換器は、異なるベースICLアルゴリズムを適応的に選択することができる。
論文 参考訳（メタデータ） (2023-06-07T17:59:31Z) - Improved Tree Search for Automatic Program Synthesis [91.3755431537592]
重要な要素は、有効なプログラムの空間における効率的な探索を可能にすることである。
ここでは2つの大きな異なるDSL上でのアート結果の状態を導くMCTSの変種を提案する。
論文 参考訳（メタデータ） (2023-03-13T15:09:52Z) - Thinking Like Transformers [64.96770952820691]
本稿では,プログラミング言語の形式で変換器エンコーダの計算モデルを提案する。
RASPは、トランスフォーマーによって確実に学習できるタスクの解決策をプログラムするのにどのように使えるかを示す。
ヒストグラム、ソート、ダイク言語のためのRASPプログラムを提供する。
論文 参考訳（メタデータ） (2021-06-13T13:04:46Z) - Neural Program Synthesis with a Differentiable Fixer [44.48509453344902]
本稿では,エンコーダとデコーダをベースとした合成アーキテクチャと,プログラムを識別可能な固定器を組み合わせた新しいプログラム合成手法を提案する。
RobustFillドメイン上でアーキテクチャをエンドツーエンドにトレーニングし、フィクスチャモジュールの追加によって、合成精度が大幅に向上することを示す。
論文 参考訳（メタデータ） (2020-06-19T01:49:46Z) - Synthetic Datasets for Neural Program Synthesis [66.20924952964117]
本稿では,プログラムと仕様の両方で合成データ分布のバイアスを制御し,評価するための新しい手法を提案する。
そこで我々は,Karel DSLと小さなCalculator DSLを用いて,これらの分布上でのディープネットワークのトレーニングにより,分散一般化性能が向上することが実証された。
論文 参考訳（メタデータ） (2019-12-27T21:28:10Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。