論文の概要: What Accuracy Hides In Learned Transformer Programs

• arxiv url: http://arxiv.org/abs/2610.22891v1
• Date: Fri, 16 Oct 2026 03:45:47 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-20 00:56:07.758273
• Title: What Accuracy Hides In Learned Transformer Programs
• Title（参考訳）: 学習したトランスフォーマープログラムの正確さ
• Abstract要約: Transformer Programs (TP)はTransformerのアーキテクチャを制約し、その学習された計算を可読性のあるPythonコードとして抽出する。 本研究では,プログラム検査が精度スコアを超える洞察を与え,指導指導に役立てる方法について検討する。
• 参考スコア（独自算出の注目度）: 3.438031798983985
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Transformer Programs (TP) (Friedman et al., 2023) constrain a Transformer's architecture so that its learned computation can be extracted as readable Python code. TP expose learned computations, but token accuracy can hide incorrect complete answers. In this work, we examine how program inspection provides insights beyond accuracy scores and helps guide training. We first evaluated TP on nine algorithmic tasks. We compared token accuracy with accuracy on complete output sequences and checked for failures missed by sampled tests. Further, we assessed training data improvements informed by program inspection and failure analysis, finding gains in sequence accuracy on several tasks. We examined a counting task where a program achieved 100% accuracy on sampled test sequences but failed on another input using the symbols and lengths allowed during training. The program counted correctly, but the required answer was missing from its output labels. After adding training examples with larger counts, the retrained models passed exhaustive evaluation over the bounded domain. In the frequency ranking task, inspection showed how correct counts contributed to incorrect answers in programs trained before and after changes to the training data. Finally, we studied constraints imposed by TP training and operations. The TP training process can lead to accuracy losses late in training. Our reference constructions also show how composing the restricted TP operations can use many layers or large lookup tables.
• Abstract（参考訳）: Transformer Programs (TP) (Friedman et al , 2023) は、Transformerのアーキテクチャを制約し、その学習された計算を可読性Pythonコードとして抽出する。 TPは学習した計算を公開するが、トークンの精度は誤った完全な答えを隠すことができる。 本研究では,プログラム検査が精度スコアを超える洞察を与え,指導指導に役立てる方法について検討する。 まず,9つのアルゴリズムタスクでTPを評価した。 トークンの精度を完全出力シーケンスの精度と比較し, サンプル検定で欠落した故障を確認した。 さらに,プログラム検査および故障解析により得られたトレーニングデータの改善を評価し,複数のタスクにおけるシーケンス精度の獲得について検討した。 そこで本研究では,プログラムがサンプリングされたテストシーケンスに対して100%の精度を達成したが,学習中に許容されるシンボルと長さを用いて他の入力に対してフェールしたカウントタスクについて検討した。 プログラムは正しくカウントされたが、必要な答えは出力ラベルから欠落していた。 より大きな数でトレーニング例を追加すると、再訓練されたモデルは境界領域に対して徹底的な評価をパスした。 頻度ランキングタスクでは、トレーニングデータの変更前後のトレーニングプログラムにおいて、正しいカウントが誤った回答にどのように寄与するかが示された。 最後に,TPトレーニングと運用の制約について検討した。 TPトレーニングプロセスは、トレーニングの遅れで精度が低下する可能性がある。 我々の参照構造は、制限されたTP操作を構成する際に、多くのレイヤや大きなルックアップテーブルを使用する方法も示しています。

関連論文リスト

• RollVerify: Bridging Efficiency and Accuracy in Long-Tail Rollout Reinforcement Learning [52.85109240617592]
  RollVerifyは、部分的なロールアウト上に構築された軽量なReinforcement Learningフレームワークである。 訓練に入る前にサンプルを検証し、修復する。 トレーニングコストを削減しつつ、オンデマンドトレーニングに匹敵する精度を達成する。
  論文  参考訳（メタデータ） (2026-10-07T12:05:33Z)
• Understanding the Role of Training Data in Test-Time Scaling [56.12341509545198]
  線形回帰のための文脈内重み予測タスクを訓練した変圧器の試験時間スケーリング性能について検討した。 多様な、関連性があり、難しいタスクセットでのトレーニングが、テスト時間のスケーリングに最高のパフォーマンスをもたらすことを示す。
  論文  参考訳（メタデータ） (2025-10-04T01:38:48Z)
• Weak Supervision Performance Evaluation via Partial Identification [46.73061437177238]
  Programmatic Weak Supervision (PWS) は、地上の真理ラベルに直接アクセスすることなく、教師付きモデルトレーニングを可能にする。 本稿では,モデル評価を部分的同定問題としてフレーミングすることで,この問題に対処する新しい手法を提案する。 提案手法は,従来の弱監督評価手法において,ラベル付きデータを必要とせず,重要な指標に信頼性のあるバウンダリを導出する。
  論文  参考訳（メタデータ） (2023-12-07T07:15:11Z)
• Teaching Arithmetic to Small Transformers [39.72665384986095]
  本研究では,小形変圧器が算術演算を効率的に学習する方法について検討する。 まず,従来の学習データが算術学習に最も効果的でないことを示す。 次に、中間ステップの結果を含むチェーン・オブ・シンクスタイルのデータをトレーニングします。
  論文  参考訳（メタデータ） (2023-07-07T04:33:31Z)
• Bridging Precision and Confidence: A Train-Time Loss for Calibrating Object Detection [58.789823426981044]
  本稿では,境界ボックスのクラス信頼度を予測精度に合わせることを目的とした,新たな補助損失定式化を提案する。 その結果,列車の走行時間損失はキャリブレーション基準を超過し,キャリブレーション誤差を低減させることがわかった。
  論文  参考訳（メタデータ） (2023-03-25T08:56:21Z)
• Transformers Can Do Bayesian Inference [56.99390658880008]
  我々はPFN(Presideed Data Fitted Networks)を提案する。 PFNは、大規模機械学習技術におけるインコンテキスト学習を活用して、大規模な後部集合を近似する。 我々は、PFNがガウス過程をほぼ完璧に模倣し、難解問題に対する効率的なベイズ推定を可能にすることを示した。
  論文  参考訳（メタデータ） (2021-12-20T13:07:39Z)
• Learned Token Pruning for Transformers [39.181816379061374]
  Learned Token Pruning ()メソッドは、データがトランスフォーマーの異なるレイヤを通過すると、冗長なトークンを減らす。 複数のGLUEタスクに対して,提案手法の性能を広範囲に検証する。 予備的な結果はTesla T4とIntel Haswellの1.4倍と1.9倍のスループット向上を示す。
  論文  参考訳（メタデータ） (2021-07-02T09:00:13Z)
• DoT: An efficient Double Transformer for NLP tasks with tables [3.0079490585515343]
  DoTは、問題を2つのサブタスクに分解するダブルトランスフォーマーモデルである。 少ない精度でDoTはトレーニング時間と推論時間を少なくとも50%改善することを示した。
  論文  参考訳（メタデータ） (2021-06-01T13:33:53Z)
• Information-Theoretic Probing with Minimum Description Length [74.29846942213445]
  我々は,最小記述長 (MDL) を持つ情報理論探索法である標準プローブの代替案を提案する。 MDL Probingでは、ラベルを予測するためのプローブのトレーニングが、データを効果的に送信するための教えとして再キャストされる。 これらの手法は結果に一致し、標準プローブよりも情報的かつ安定であることを示す。
  論文  参考訳（メタデータ） (2020-03-27T09:35:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。