論文の概要: An empirical study on the limitation of Transformers in program trace generation
- arxiv url: http://arxiv.org/abs/2509.25073v1
- Date: Mon, 29 Sep 2025 17:17:07 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-09-30 22:32:20.154652
- Title: An empirical study on the limitation of Transformers in program trace generation
- Title（参考訳）: プログラムトレース生成におけるトランスフォーマーの制限に関する実証的研究
- Authors: Simeng Sun,
- Abstract要約: モデルが合成プログラムのステップバイステップ実行トレースを生成するタスクプログラムトレース生成(PTG)について、トランスフォーマーについて検討する。
我々は、代替位置エンコーディング、ソフトマックス置換、ハイブリッドモデル、短い畳み込みなど、様々な修正を施した小さなトランスフォーマーを訓練する。
- 参考スコア（独自算出の注目度）: 13.911805578039264
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: We study Transformers on the task \emph{program trace generation} (PTG), where models produce step-by-step execution traces for synthetic programs. Unlike existing algorithmic problems, PTG externalizes reasoning through long traces where each step is trivial. We train small Transformers with diverse modifications, including alternative position encodings, softmax replacements, hybrid model, and short convolutions. While these models achieve strong in-distribution accuracy, they exhibit systematic failures when generalizing to various factors (e.g., program length, trace steps), though some designs significantly improve generalization.
- Abstract（参考訳）: モデルが合成プログラムのステップバイステップ実行トレースを生成するタスク \emph{ program trace generation} (PTG) のトランスフォーマーについて検討する。
既存のアルゴリズム問題とは異なり、PTGは各ステップが自明な長いトレースを通して推論を外部化する。
我々は、代替位置エンコーディング、ソフトマックス置換、ハイブリッドモデル、短い畳み込みなど、様々な修正を施した小さなトランスフォーマーを訓練する。
これらのモデルは、分配精度が強いが、様々な要因(例えば、プログラムの長さ、トレースステップ)に一般化する際の体系的な失敗を示すが、いくつかの設計は一般化を著しく改善する。
関連論文リスト
- Do Efficient Transformers Really Save Computation? [32.919672616480135]
我々は、効率的な変換器、特にスパース変換器と線形変換器の機能と限界に焦点を当てる。
以上の結果から,これらのモデルは一般のDPタスクを解くのに十分な表現力を持っているが,期待とは裏腹に,問題のサイズに合わせてスケールするモデルサイズが必要であることが示唆された。
我々は,これらのモデルが標準のTransformerよりも効率的であるようなDP問題のクラスを同定する。
論文 参考訳（メタデータ） (2024-02-21T17:00:56Z) - Learning Transformer Programs [78.9509560355733]
設計によって機械的に解釈可能なトランスフォーマーの訓練手順を導入する。
人書きプログラムをTransformerにコンパイルする代わりに、勾配に基づく最適化を用いてトレーニングできる改良されたTransformerを設計する。
Transformer Programsは適切なソリューションを自動的に見つけ、同等のサイズの標準のTransformerと同等に動作する。
論文 参考訳（メタデータ） (2023-06-01T20:27:01Z) - Faith and Fate: Limits of Transformers on Compositionality [109.79516190693415]
3つの代表的構成課題にまたがる変圧器大言語モデルの限界について検討する。
これらのタスクは、問題をサブステップに分割し、これらのステップを正確な答えに合成する必要があります。
実験結果から,多段階合成推論を線形化部分グラフマッチングに還元することにより,トランスフォーマーLLMが構成課題を解くことが示唆された。
論文 参考訳（メタデータ） (2023-05-29T23:24:14Z) - Optimizing Non-Autoregressive Transformers with Contrastive Learning [74.46714706658517]
非自己回帰変換器(NAT)は、逐次順序ではなく全ての単語を同時に予測することにより、自動回帰変換器(AT)の推論遅延を低減する。
本稿では,データ分布ではなく,モデル分布からのサンプリングによるモダリティ学習の容易化を提案する。
論文 参考訳（メタデータ） (2023-05-23T04:20:13Z) - Transformer Acceleration with Dynamic Sparse Attention [20.758709319088865]
本稿では,トランスフォーマーの注意における動的間隔を効果的に活用する動的スパース注意(DSA)を提案する。
われわれのアプローチは、精度とモデルの複雑さのトレードオフを改善することができる。
論文 参考訳（メタデータ） (2021-10-21T17:31:57Z) - Applying the Transformer to Character-level Transduction [68.91664610425114]
この変換器は、様々な単語レベルのNLPタスクにおいて、繰り返しニューラルネットワークに基づくシーケンス・ツー・シーケンスモデルより優れていることが示されている。
十分なバッチサイズで、トランスフォーマーは文字レベルタスクの繰り返しモデルよりも優れていることを示す。
論文 参考訳（メタデータ） (2020-05-20T17:25:43Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。