論文の概要: LEAP: Layer-wise Exit-Aware Pretraining for Efficient Transformer Inference

• arxiv url: http://arxiv.org/abs/2605.01058v1
• Date: Fri, 01 May 2026 19:45:26 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-05 20:33:49.559742
• Title: LEAP: Layer-wise Exit-Aware Pretraining for Efficient Transformer Inference
• Title（参考訳）: LEAP: 効率的なトランスフォーマー推論のためのレイヤワイドエグジットアウェア事前学習
• Authors: Shashank Kapadia, Deep Naryan Mishra, Sujal Reddy Alugubelli, Haoan Wang, Saipraveen Vabbilisetty, Rishi Bhatia, Anupriya Sharma,
• Abstract要約: 層状蒸留と収束に基づく早期出口は、変圧器推論の2つの主要な計算効率パラダイムを表す。 本稿では、この非互換性を緩和する補助訓練目標であるLEAP(Layer-wise Exit-Aware Pretraining)を紹介する。 LEAP-MiniLMは1.61$times$のウォールクロック・スピードアップを達成し、91.9%のサンプルが7層で排出され、1.80$times$の理論的層還元を達成した。
• 参考スコア（独自算出の注目度）: 0.5277024349608834
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Layer-aligned distillation and convergence-based early exit represent two predominant computational efficiency paradigms for transformer inference; yet we establish that they exhibit systematic incompatibility under standard deployment conditions for convergence-based early exit. Distillation objectives that align intermediate student layers to teacher representations suppress the representational convergence that early-exit mechanisms exploit, rendering such mechanisms ineffective on distilled models. We introduce LEAP (Layer-wise Exit-Aware Pretraining), an auxiliary training objective that reconciles this incompatibility. LEAP requires no architectural modifications; it augments standard distillation with a single constraint ensuring intermediate layers approximate final-layer representations. LEAP-MiniLM achieves 1.61$\times$ measured wall-clock speedup (batch=1, NVIDIA L4) at $θ$=0.95, with 91.9% of samples exiting by layer 7 and 1.80$\times$ theoretical layer reduction, where standard distilled models achieve zero effective speedup. We validate across sentence similarity (STS-B: 0.760 $\pm$ 0.006) and retrieval benchmarks (BEIR), providing operational guidance including latency measurements, decision thresholds, and deployment criteria.
• Abstract（参考訳）: 層状蒸留と収束型早期出口はトランスフォーマー推論の2つの主要な計算効率パラダイムを示すが,収束型早期出口の標準配置条件下では系統的不整合性を示す。 中間的学生層を教師表現に整合させる蒸留目的は、初期の出口機構が活用する表現収束を抑え、蒸留モデルではその機構が有効でない。 本稿では、この非互換性を緩和する補助訓練目標であるLEAP(Layer-wise Exit-Aware Pretraining)を紹介する。 LEAPは、アーキテクチャ上の変更は必要とせず、中間層が最終層を近似するように単一の制約で標準蒸留を強化している。 LEAP-MiniLMは1.61$\times$測定ウォールクロックのスピードアップ(バッチ=1, NVIDIA L4)を$θ$=0.95で達成し、91.9%のサンプルが第7層から排出され、1.80$\times$理論層で還元される。 文の類似性(STS-B: 0.760 $\pm$ 0.006)と検索ベンチマーク(BEIR)を検証し、レイテンシ測定、決定しきい値、デプロイメント基準などの運用ガイダンスを提供します。

関連論文リスト

• Self-Adversarial One Step Generation via Condition Shifting [11.426065945265647]
  APEXは、フローモデルから不均一に抽出された逆補正信号のフレームワークである。 私たちの0.6BモデルはFLUX-Schnell 12B(20$times$ more parameters)を1ステップ品質で上回ります。 Qwen-Image 20BのLoRAチューニングにより、APEXは6時間でNFE=1のGenEvalスコア0.89に達し、最初の50ステップの教師(0.87)を超え、15.33$times$推論スピードアップを提供する。
  論文  参考訳（メタデータ） (2026-04-14T05:54:33Z)
• A1: A Fully Transparent Open-Source, Adaptive and Efficient Truncated Vision-Language-Action Model [112.9420001646428]
  VLA(Vision-Language-Action)モデルは、オープンワールドロボット操作の強力なパラダイムとして登場したが、実際の展開はコストに制約されることが多い。 我々は、低コストで高スループットな推論のために設計された、完全にオープンソースで透明なVLAフレームワークであるA1を提示する。 A1は最先端の成功率を達成すると同時に、推論コストを大幅に削減する。
  論文  参考訳（メタデータ） (2026-04-07T10:18:40Z)
• SIMPLER: Efficient Foundation Model Adaptation via Similarity-Guided Layer Pruning for Earth Observation [3.1313965020437546]
  SIMPLERは,予測とデプロイメントのコストを削減できるアーキテクチャ選択手法である。 Prithvi-EO-2では、SIMPLERは最大79%のパラメータを持ち、ベースライン性能は94%であり、2.1倍のトレーニングスピードアップと2.6倍の推論スピードアップをもたらす。
  論文  参考訳（メタデータ） (2026-03-20T11:38:32Z)
• EcoSpa: Efficient Transformer Training with Coupled Sparsity [79.5008521101473]
  トランスフォーマーは現代のAIのバックボーンとなっているが、その高い計算要求は重要なシステム課題を引き起こしている。 EcoSpaは、結合した重み行列対を共同で評価し、スパース化する効率的な構造的スパース訓練法である。
  論文  参考訳（メタデータ） (2025-11-09T11:23:43Z)
• Token Compensator: Altering Inference Cost of Vision Transformer without Re-Tuning [63.43972993473501]
  視覚変換器(ViT)の訓練と推論を高速化するトークン圧縮 しかし、下流タスクに適用した場合、圧縮度はトレーニングと推論の段階で不一致となる。 本稿では,2段階間の圧縮度を分離するモデル演算フレームワークを提案する。
  論文  参考訳（メタデータ） (2024-08-13T10:36:43Z)
• Inverse-Free Fast Natural Gradient Descent Method for Deep Learning [52.0693420699086]
  本稿では,第1期における逆転のみを必要とする高速な自然勾配降下法を提案する。 FNGDは1次法の平均和と類似性を示し、FNGDの計算複雑性は1次法に匹敵する。
  論文  参考訳（メタデータ） (2024-03-06T05:13:28Z)
• Constraint-aware and Ranking-distilled Token Pruning for Efficient Transformer Inference [18.308180927492643]
  ToPは、未精製モデルの最終層から初期精製モデルまで有効なトークンランキングを蒸留する、希釈型トークン蒸留技術である。 ToPは、GLUE上での競合精度を達成しつつ、BERTの平均FLOPを8.1倍削減し、Intel CPU上では7.4倍の遅延速度を提供する。
  論文  参考訳（メタデータ） (2023-06-26T03:06:57Z)
• COST-EFF: Collaborative Optimization of Spatial and Temporal Efficiency with Slenderized Multi-exit Language Models [16.586312156966635]
  トランスフォーマーベースの事前訓練言語モデル(PLM)は、高い能力にもかかわらず過度のオーバーヘッドに悩まされている。 既存の静的圧縮モデルは、入力インスタンス間の様々な複雑さに気づいていない。 静的モデル圧縮と動的推論アクセラレーションを統合したPLMの協調最適化を提案する。
  論文  参考訳（メタデータ） (2022-10-27T15:06:40Z)
• Layer Reduction: Accelerating Conformer-Based Self-Supervised Model via Layer Consistency [31.572652956170252]
  トランスフォーマーをベースとした自己教師型モデルは特徴抽出器として訓練され、多くの下流音声タスクで最先端のパフォーマンスを実現している。 従来のBERT法と同等の性能を維持しつつ、7.8Xパラメータの削減、41.9%のトレーニングスピードアップ、37.7%の推論スピードアップを実験的に達成した。
  論文  参考訳（メタデータ） (2021-04-08T08:21:59Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。