論文の概要: Most Transformer Modifications Still Do Not Transfer at 1-3B: A 2020-2026 Update to Narang et al. (2021) with Downstream Evaluation and a Noise Floor

• arxiv url: http://arxiv.org/abs/2605.20798v1
• Date: Wed, 20 May 2026 06:43:34 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-21 19:19:56.534424
• Title: Most Transformer Modifications Still Do Not Transfer at 1-3B: A 2020-2026 Update to Narang et al. (2021) with Downstream Evaluation and a Noise Floor
• Title（参考訳）: 変圧器の変圧器改質は1-3Bでまだ行われていない:2020-2026 年 奈良市等へのアップデート(2021年) 下流評価と騒音床
• Authors: Yang Zhao, Jiahao Lu, Bin Huang, Guhua Zhang, Jie Zhou,
• Abstract要約: 我々は,厳密なアイソデータ,アイソコンピュート,アイソレシピ制御,マルチシードベースラインノイズフロアとCLIMB-12下流評価を主指標として,1.2Bおよび3Bで20個のトランスフォーマーを検証した。 20の修正のうち、2つの明確なボンフェロニ補正は1.2Bであり、そのうちの1つは、共有レシピの下で3Bで安定的に訓練することができない。 我々は,1-3Bのアーキテクチャ比較において,ノイズフロアの報告,下流評価,大規模安定性試験が必須であると結論付けている。
• 参考スコア（独自算出の注目度）: 32.18134535997269
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Narang et al. (2021) evaluated 40+ Transformer modifications at T5-base scale and concluded that most did not transfer. Five years later, the typical working regime has moved to 1-3B parameters, downstream evaluation has replaced pretraining perplexity, and a substantially different catalogue of modifications has emerged. We revisit their question by testing 20 post-2021 Transformer modifications at 1.2B and 3B under strict iso-data, iso-compute, iso-recipe control, with a multi-seed baseline noise floor and CLIMB-12 downstream evaluation as the primary metric. The central finding reproduces theirs at this curated set: most modifications do not transfer. Of the 20 modifications, only two clear Bonferroni correction at 1.2B; one of those two further fails to train stably at 3B under the shared recipe. We also find that the loss-downstream gap reported by Tay et al. (2023) enlarges several-fold for attention-output modifications: two significant failures converge to within 2-3% of baseline validation loss yet drop 6-16 CLIMB-points. We conclude that noise-floor reporting, downstream evaluation, and cross-scale stability testing are now prerequisites for architecture comparisons at 1-3B.
• Abstract（参考訳）: Narang et al (2021) は、40以上のトランスフォーマーを T5-base スケールで評価し、ほとんどは転移しないと結論付けた。 5年後、典型的な作業体制は1-3Bパラメータに移行し、下流の評価は事前訓練の難易度に置き換わり、修正のカタログが大幅に異なる。 我々は,厳密なアイソデータ,アイソコンピュート,アイソレシピコントロール,マルチシードベースラインノイズフロアとCLIMB-12下流評価を主指標として,2021年以降の変換器を1.2Bおよび3Bで20回試験することによって,これらの問題を再検討する。 中心的な発見は、この硬化した集合でそれらの集合を再現する:ほとんどの修正は移動しない。 20の修正のうち2つの明確なボンフェロニ補正は1.2Bであり、そのうちの1つは共有レシピの下で3Bで安定的に訓練することができない。 また,Tay et al (2023) が報告した損失-ダウンストリームギャップは,2つの重大な障害がベースライン検証損失の 2-3% 以内に収束するが,6-16 CLIMB-point は減少する。 我々は,1-3Bのアーキテクチャ比較において,ノイズフロアの報告,下流評価,大規模安定性試験が必須であると結論付けている。

関連論文リスト

• EVA-0: Test-Time Model Evolution with Only Two Forward Passes per Sample [55.284129005947484]
  厳格な2方向予算の下でテスト時間モデルの進化について検討する。 ゼロオーダーテストタイム最適化における3つの重要な障害を明らかにする。 最小零階適応フレームワーク EVA-0 を提案する。
  論文  参考訳（メタデータ） (2026-05-15T09:26:02Z)
• Feature-Augmented Transformers for Robust AI-Text Detection Across Domains and Generators [0.10923877073891443]
  我々はHC3 PLUSで変圧器ベースの検出器を訓練し、ホールドアウト検証におけるバランスの取れた精度を最大化することにより、単一判定閾値を校正する。 HC3 PLUS の領域内、マルチドメインのマルチジェネレータ M4 ベンチマークへのクロスデータセット転送、および外部 AI-Text-Detection-Pile 上での評価を行う。 我々の最良のモデル(DeBERTa-v3-base+FeatAttn)はM4上で85.9%のバランスの取れた精度を達成する。
  論文  参考訳（メタデータ） (2026-05-05T16:52:26Z)
• TEMPO: Scaling Test-time Training for Large Reasoning Models [87.61789183311856]
  テストタイムトレーニング(TTT)は、推論時間中にラベルのないテストインスタンスにモデルパラメータを適用する。 TTTフレームワークであるTEMPOを提案する。これは、ラベル付きデータセット上で定期的な批評家の再検討を行い、ラベル付き質問に対するポリシー修正をインターリーブする。
  論文  参考訳（メタデータ） (2026-04-21T10:01:04Z)
• Hybrid Gated Flow (HGF): Stabilizing 1.58-bit LLMs via Selective Low-Rank Correction [0.766310831583367]
  Hybrid Gated Flow (HGF) は1.58ビットの3進バックボーンと学習可能な低ランクのFP16修正パスを結合したデュアルストリームアーキテクチャである。 我々は,HGF 5.4 が BitNet の 1.0294 と比較して 0.9306 のバリデーション損失を達成し,純三次量子化と FP16 ベースライン間の品質ギャップの約55% を回復することを示した。
  論文  参考訳（メタデータ） (2026-02-05T03:47:17Z)
• RefineBench: Evaluating Refinement Capability of Language Models via Checklists [71.02281792867531]
  本研究は,2つの改良モード(ガイドリファインメントと自己リファインメント)を評価する。 ガイド付き改良では、プロプライエタリなLMと大きなオープンウェイトLMの両方が目標フィードバックを利用して、5ターン以内のほぼ完全なレベルへの応答を洗練できる。 これらの結果は、フロンティアLMは誤った反応を自己調整するためにブレークスルーを必要とすることを示唆している。
  論文  参考訳（メタデータ） (2025-11-27T07:20:52Z)
• CBAM-SwinT-BL: Small Rail Surface Defect Detection Method Based on Swin Transformer with Block Level CBAM Enhancement [2.48550866840644]
  本研究では, Swin Transformer (SwinT) をベースラインとして, Convolutional Block Attention Module (CBAM) を組み込んで拡張する。 提案手法は,スウィントランスブロックにCBAMを組み込むことにより,レール欠陥検出の性能を著しく向上させる。 実験およびアブレーション研究は、このフレームワークの有効性を証明した。
  論文  参考訳（メタデータ） (2024-09-30T09:11:13Z)
• DeepNet: Scaling Transformers to 1,000 Layers [106.33669415337135]
  トランスフォーマーの残差接続を修正するための新しい正規化関数(DeepNorm)を導入する。 詳細な理論解析により、モデル更新は安定な方法でバウンドできることが示されている。 トランスフォーマーを1,000層まで拡張することに成功したが、これは従来のディープトランスフォーマーよりも1桁も深い。
  論文  参考訳（メタデータ） (2022-03-01T15:36:38Z)
• Scale Efficiently: Insights from Pre-training and Fine-tuning Transformers [57.931830650323]
  本稿では,事前学習および微調整型変圧器によるスケーリングの洞察について述べる。 モデルのサイズだけでなく、モデル形状が下流の微調整に重要であることを示す。 再設計したモデルにより、下流の微調整品質が向上する。
  論文  参考訳（メタデータ） (2021-09-22T12:29:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。