論文の概要: Transformers for Program Termination
- arxiv url: http://arxiv.org/abs/2604.00039v1
- Date: Wed, 25 Mar 2026 17:40:26 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-04-02 16:44:31.641207
- Title: Transformers for Program Termination
- Title(参考訳): プログラム終端変換器
- Authors: Yoav Alon, Cristina David,
- Abstract要約: トランスフォーマーアーキテクチャがソースコードから直接終端パターンを認識できるかどうかを検討する。
我々は,アンサンブル・フレームワークを設計し,アンサンブル・トランスフォーマー・エンコーダのアンサンブル・フレームワークを設計する。
終端推定のための構文を考慮した説明を生成する属性パイプラインを提案する。
- 参考スコア(独自算出の注目度): 1.2891210250935148
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: Determining whether a program terminates is a core challenge in program analysis with direct implications for correctness, verification, and security. We investigate whether transformer architectures can recognise termination patterns directly from source code and how their strengths can be amplified through ensembles. To overcome the extreme scarcity of non-terminating examples, we design an ensemble framework of compact transformer encoders, systematically trained with a suite of imbalance-aware loss functions and class-aware sampling techniques. By combining models trained with distinct loss functions, our ensembles achieve substantially stronger performance than any single transformer, outperforming both powerful off-the-shelf LLMs and graph-based methods. Finally, we introduce an attribution pipeline that produces syntax-aware explanations for the termination estimation.
- Abstract(参考訳): プログラムが終了するかどうかを決定することは、プログラム分析において、正確性、検証、セキュリティに関する直接的な意味を持つ中心的な課題である。
本稿では,トランスフォーマーアーキテクチャがソースコードから直接終端パターンを認識できるかどうかと,アンサンブルによってその強度を増幅する方法について検討する。
非終端例の極端な不足を克服するため,我々は,非均衡型損失関数群とクラス対応サンプリング技術を用いて体系的に訓練された,コンパクトトランスフォーマーエンコーダのアンサンブルフレームワークを設計した。
異なる損失関数で訓練されたモデルを組み合わせることで、我々のアンサンブルは、どのトランスフォーマーよりもはるかに強力な性能を達成し、強力なオフザシェルフLCMとグラフベースの手法の両方より優れています。
最後に、終端推定のための構文を考慮した説明を生成する属性パイプラインを導入する。
関連論文リスト
- Weights to Code: Extracting Interpretable Algorithms from the Discrete Transformer [65.38883376379812]
本稿では,連続表現と離散記号論理のギャップを埋めるアーキテクチャである離散変換器を提案する。
実証的には、Discrete TransformerはRNNベースのベースラインに匹敵するパフォーマンスを達成するだけでなく、連続的な変数ドメインへの解釈可能性を大幅に拡張する。
論文 参考訳(メタデータ) (2026-01-09T12:49:41Z) - Measuring Uncertainty in Transformer Circuits with Effective Information Consistency [0.0]
本研究では,トランスフォーマー回路のシャーフ/コホモロジーと因果出現の視点を開発する。
EICSは(i)局所ジャコビアンとアクティベーションから計算された正規化棚の不整合と(ii)回路レベルの因果発生のためのガウスEIプロキシを組み合わせる。
本稿では,スコアの解釈,計算オーバーヘッド(高速かつ高精度なモード),およびおもちゃの健全性チェック分析に関する実践的ガイダンスを提供する。
論文 参考訳(メタデータ) (2025-09-08T18:54:56Z) - Towards Interpretable Sequence Continuation: Analyzing Shared Circuits in Large Language Models [9.56229382432426]
本研究の目的は、トランスフォーマーモデルをアルゴリズム機能を実装する人間可読表現にリバースエンジニアリングすることである。
GPT-2 SmallとLlama-2-7Bの両方のキーサブ回路を回路解釈可能性解析により同定する。
このサブ回路は、インターバル回路、スペイン語の数字と月数継続、自然言語の単語問題など、様々な数学的なプロンプトに影響を及ぼすことを示す。
論文 参考訳(メタデータ) (2023-11-07T16:58:51Z) - End-to-End Meta-Bayesian Optimisation with Transformer Neural Processes [52.818579746354665]
本稿では,ニューラルネットワークを一般化し,トランスフォーマーアーキテクチャを用いて獲得関数を学習する,エンド・ツー・エンドの差別化可能な最初のメタBOフレームワークを提案する。
我々は、この強化学習(RL)によるエンドツーエンドのフレームワークを、ラベル付き取得データの欠如に対処できるようにします。
論文 参考訳(メタデータ) (2023-05-25T10:58:46Z) - Transformer-based Planning for Symbolic Regression [18.90700817248397]
シンボリック・レグレッションのためのトランスフォーマーに基づく計画戦略であるTPSRを提案する。
従来の復号法とは異なり、TPSRは精度や複雑さなど、微分不可能なフィードバックの統合を可能にする。
我々の手法は最先端の手法より優れており、モデルの適合・複雑性トレードオフ、象徴的能力、騒音に対する堅牢性を高めている。
論文 参考訳(メタデータ) (2023-03-13T03:29:58Z) - HEAT: Hardware-Efficient Automatic Tensor Decomposition for Transformer
Compression [69.36555801766762]
本稿では,分解可能な指数空間を効率的に探索できるハードウェア対応テンソル分解フレームワークHEATを提案する。
ハードウェア対応のBERT変異体は, エネルギー遅延を5.7倍に低減し, 精度が1.1%以下であることを示す。
論文 参考訳(メタデータ) (2022-11-30T05:31:45Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。