論文の概要: Transformer Scalability Crisis: The First Comprehensive Empirical Analysis of Performance Walls in Modern Language Models

• arxiv url: http://arxiv.org/abs/2605.15413v1
• Date: Thu, 14 May 2026 20:57:15 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-18 21:22:26.103118
• Title: Transformer Scalability Crisis: The First Comprehensive Empirical Analysis of Performance Walls in Modern Language Models
• Title（参考訳）: Transformer Scalability Crisis: 現代言語モデルにおけるパフォーマンスウォールの包括的実証分析
• Authors: Mahdi Naser Moghadasi, Faezeh Ghaderi,
• Abstract要約: 本稿では,7つの異なるアーキテクチャカテゴリにまたがる118変圧器モデルの大規模評価を行う。 私たちの体系的なベンチマーク手法は、重要なスケーラビリティ危機を明らかにします。 以上の結果から,O(n2)注目の複雑さが測定可能な性能壁へと変換されるという,最初の定量的証拠が得られた。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Despite the remarkable success of transformer architectures in natural language processing, their scalability limitations remain poorly understood through systematic empirical analysis. This paper presents the first comprehensive large-scale evaluation of 118 transformer models across seven distinct architectural categories, revealing fundamental performance walls that manifest as hard deployment constraints. Our systematic benchmarking methodology uncovers a critical scalability crisis: while 88.1% of models successfully process sequences up to 512 tokens, this drops dramatically to 44.9% at 1024 tokens, with complete failure (0%) at 2048 tokens. Through rigorous analysis of loading times, memory consumption, and computational efficiency across sequence lengths from 128 to 2048 tokens, we demonstrate that compressed models achieve superior parameter efficiency (649.2 tokens/sec/M parameters) compared to large generative models (12.5 tokens/sec/M). Our findings challenge prevailing scaling assumptions and provide the first quantitative evidence that the theoretical O(n2) attention complexity translates into measurable performance walls. This work establishes new benchmarking methodologies for transformer evaluation and provides critical insights for practical deployment decisions in production environments.
• Abstract（参考訳）: 自然言語処理におけるトランスフォーマーアーキテクチャの顕著な成功にもかかわらず、そのスケーラビリティの限界は、体系的な経験分析によって理解されていないままである。 本稿では、7つの異なるアーキテクチャカテゴリにわたる118のトランスフォーマーモデルの大規模な評価を行い、ハードデプロイメントの制約として表される基本的な性能壁を明らかにする。 88.1%のモデルは512トークンまでのシーケンス処理に成功したが、これは1024トークンで44.9%に劇的に低下し、2048トークンで完全な障害(0%)となった。 本研究では,128トークンから2048トークン間の負荷時間,メモリ消費,計算効率を厳密に解析することにより,圧縮されたモデルが大きな生成モデル(12.5トークン/sec/Mパラメータ)に比べて優れたパラメータ効率(649.2トークン/sec/Mパラメータ)を達成することを示す。 以上の結果から,O(n2)注目の複雑さが測定可能な性能壁へと変換されるという,最初の定量的証拠が得られた。 本研究は,トランスフォーマー評価のための新しいベンチマーク手法を確立し,実運用環境における実用的デプロイメント決定のための重要な洞察を提供する。

関連論文リスト

• Robust Reasoning Benchmark [2.622879924644665]
  LLM推論の堅牢性を評価するため,14の手法からなる摂動パイプラインを提案する。 このパイプラインをAIME 2024データセットに適用し、その結果のベンチマークで8つの最先端モデルを評価します。 その結果, 7B から 120B までの開度モデルと Claude Opus 4.6 がその後の問題に対して精度劣化を示した。
  論文  参考訳（メタデータ） (2026-03-26T22:19:33Z)
• Brevity Constraints Reverse Performance Hierarchies in Language Models [0.0]
  ベンチマーク問題の7.7%では、より大きな言語モデルは10-100倍のパラメータにもかかわらず、より小さな言語モデルよりも28.4ポイント低い。 我々は,このメカニズムを,過度な作業を通じてエラーを発生させる自発的なスケール依存的冗長性として認識する。 この結果から,大規模モデルの性能を最大化するには,スケールアウェア・プロンプト・エンジニアリングが必要であることが判明した。
  論文  参考訳（メタデータ） (2026-03-11T06:47:41Z)
• ReLE: A Scalable System and Structured Benchmark for Diagnosing Capability Anisotropy in Chinese LLMs [37.23311145049677]
  本稿では,機能異方性(Capability Anisotropy)を診断するためのスケーラブルなシステムであるReLEを提案する。 我々は,207,843サンプルからなる領域$times$ Capability SymbolicMatrixの304モデルを評価した。
  論文  参考訳（メタデータ） (2026-01-24T09:57:59Z)
• From Memorization to Creativity: LLM as a Designer of Novel Neural-Architectures [48.83701310501069]
  大規模言語モデル(LLM)は、プログラム合成において優れているが、ニューラルネットワーク設計(信頼性、性能、構造的ノベルティ)を自律的にナビゲートする能力は、未調査のままである。 コード指向LLMをクローズドループ合成フレームワークに配置し、22の教師付き微調整サイクルの進化を解析することによって、この問題に対処する。
  論文  参考訳（メタデータ） (2026-01-06T13:20:28Z)
• Dynamic Template Selection for Output Token Generation Optimization: MLP-Based and Transformer Approaches [0.0]
  動的テンプレート選択は応答品質を損なうことなく大幅なコスト削減を実現する。 この研究は、機械学習の理論的基礎を持つ形式的問題定式化、それに対応する複雑性解析を伴う4つのアルゴリズム、生産システム全体にわたる広範な実証検証など、いくつかの重要な要素に貢献している。
  論文  参考訳（メタデータ） (2025-11-17T21:00:22Z)
• The Digital Sous Chef -- A Comparative Study on Fine-Tuning Language Models for Recipe Generation [2.497854684676663]
  本稿では,GPT-2大モデル(774M)とGPT-2小モデル(124M)と,RecipeDB 5-cuisineコーパス上の従来のLSTM/RNNベースラインとを比較検討した。 キーとなるコントリビューションは、23個の共通分数トークンとカスタム構造マーカーで語彙を拡大するトークン化戦略です。
  論文  参考訳（メタデータ） (2025-08-20T13:53:13Z)
• Inner Thinking Transformer: Leveraging Dynamic Depth Scaling to Foster Adaptive Internal Thinking [51.154226183713405]
  本稿では,レイヤ計算を暗黙の思考ステップとして再定義する内的思考変換器を提案する。 ITTは162Mパラメータのみを使用して466Mトランスフォーマーの96.5%のパフォーマンスを達成し、トレーニングデータを43.2%削減し、11のベンチマークでTransformer/Loopの変種を上回るパフォーマンスを実現した。
  論文  参考訳（メタデータ） (2025-02-19T16:02:23Z)
• Critical Tokens Matter: Token-Level Contrastive Estimation Enhances LLM's Reasoning Capability [53.51560766150442]
  臨界トークンは推論軌道内の要素であり、誤った結果に大きな影響を及ぼす。 本稿では,これらのトークンをロールアウトサンプリングによって識別する新しいフレームワークを提案する。 クリティカルトークンの識別と置換がモデル精度を大幅に向上させることを示す。
  論文  参考訳（メタデータ） (2024-11-29T18:58:22Z)
• Multiplicative noise and heavy tails in stochastic optimization [62.993432503309485]
  経験的最適化は現代の機械学習の中心であるが、その成功における役割はまだ不明である。 分散による離散乗法雑音のパラメータによく現れることを示す。 最新のステップサイズやデータを含む重要な要素について、詳細な分析を行い、いずれも最先端のニューラルネットワークモデルで同様の結果を示す。
  論文  参考訳（メタデータ） (2020-06-11T09:58:01Z)
• Simplified Self-Attention for Transformer-based End-to-End Speech Recognition [56.818507476125895]
  本稿では,プロジェクション層の代わりにFSMNメモリブロックを用いてクエリとキーベクトルを生成する,簡易な自己アテンション層(SSAN)を提案する。 我々は,公的なAISHELL-1,1000時間内,20,000時間大規模マンダリンタスクにおけるSSANベースおよび従来のSANベースのトランスフォーマーの評価を行った。
  論文  参考訳（メタデータ） (2020-05-21T04:55:59Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。