論文の概要: Your Transformer Is Secretly Elastic

• arxiv url: http://arxiv.org/abs/2610.20588v1
• Date: Wed, 14 Oct 2026 17:58:08 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-15 21:06:16.29776
• Title: Your Transformer Is Secretly Elastic
• Title（参考訳）: 変圧器はひっそりと弾力性がある
• Abstract要約: 本研究では,事前学習したトランスフォーマーを1つのモデルに変形させるリトレーニングフリー手法を提案する。 22Mから8Bまでの27個のトランスエンコーダを用いて,スムーズな劣化率を最大60%まで生成する。
• 参考スコア（独自算出の注目度）: 46.417041776406414
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Scaling up transformers has produced models with broad capabilities, deployed across heterogeneous hardware and fluctuating workloads. Yet, model families offer only a few fixed sizes (e.g., S, B, L), forcing users to commit to a model based on hardware and latency constraints. This rigidity is often suboptimal under varying query loads. We introduce a retraining-free method that elastifies pre-trained transformers into a single model that adapts on-the-fly across a continuum of computational budgets. Our key contribution is a differentiable relaxation of the functional unit-ranking problem: unlike prior work, which optimizes a single importance weight per MLP block or attention head, we rank every individual MLP neuron and attention head jointly, on a common scale, by minimizing the model's loss under soft pruning across many sparsity targets, all at once. Across 27 vision and text transformer encoders ranging from 22M to 8B parameters, our method yields smooth degradation up to 60% sparsity and outperforms one-shot baselines under deep pruning. For example, pruning DINOv3 ViT-H+/16 to 50% sparsity removes 427M parameters while reducing ImageNet-1k linear-probing accuracy by only 0.8%, without the need for weight correction or retraining. At 60% sparsity, a pruned AugReg ViT-B/16 model achieves up to $1.80\times$ higher throughput and $1.26\times$ lower single-query latency on an A100 GPU. Elastic models are produced in minutes, with construction time scaling sub-linearly with parameter count.
• Abstract（参考訳）: トランスフォーマーのスケールアップは、ヘテロジニアスなハードウェアと変動するワークロードにデプロイされた、幅広い機能を持つモデルを生み出した。 しかし、モデルファミリはいくつかの固定サイズ(S、B、Lなど)しか提供せず、ユーザーはハードウェアとレイテンシの制約に基づいたモデルにコミットせざるを得ない。 この剛性はしばしば、様々なクエリ負荷の下で最適以下である。 本研究では,事前学習したトランスフォーマーを,連続的な計算予算にまたがってオンザフライに適応する単一モデルに変換するリトレーニングフリー手法を提案する。 MLPブロックやアテンションヘッドあたりの1つの重みを最適化する先行作業とは異なり、各MLPニューロンとアテンションヘッドを共通のスケールで共同でランク付けします。 2Mから8Bパラメータの27のビジョンおよびテキストトランスフォーマーエンコーダを用いて,スムーズな劣化を最大60%まで生成し,一発ベースラインよりも高い性能を示した。 例えば、DINOv3 ViT-H+/16を50%の間隔にプルーニングすると、427Mパラメータが取り除かれ、ImageNet-1kリニアプローブの精度は、重量補正や再トレーニングを必要とせずにわずか0.8%削減される。 60%の間隔で、AugReg ViT-B/16モデルは、A100 GPU上で最大1.80\times$高いスループットと1.26\times$低いシングルクエリレイテンシを実現する。 弾性モデルは数分で生成され、構成時間はパラメータ数とともにサブラインでスケーリングされる。

関連論文リスト

• Lightweight Transformer Models for On-Device Fault Detection: A Benchmark Study on Resource-Constrained Deployment [0.0]
  オンデバイス障害検出により、クラウド依存のないリアルタイム診断が可能になるが、リソース制約のあるハードウェアに機械学習モデルをデプロイするには、正確性、レイテンシ、モデルサイズ間の慎重にトレードオフが必要である。 本稿では,従来のML手法と,バイナリ故障検出のための軽量トランスフォーマーアーキテクチャを比較したベンチマークを提案する。 その結果, センサデータから, 軽量トランスフォーマーは従来のMLと87.8%のF1で一致したが, モデルサイズは100倍, レイテンシは9000倍であった。
  論文  参考訳（メタデータ） (2026-06-23T05:54:33Z)
• One-for-All: A Lightweight Stabilized and Parameter-Efficient Pre-trained LLM for Time Series Forecasting [4.364999214109123]
  One-for-Allは、時系列分析のためにトレーニング済みの大規模言語モデルを適用するためのフレームワークである。 rsLoRAは、低いランクでの証明可能な勾配安定性を可能にする数学的に基底的なランク安定化機構を導入している。 One-for-Allは最先端の効率と精度のトレードオフを達成する。
  論文  参考訳（メタデータ） (2026-03-31T13:54:43Z)
• Compressing Transformer Language Models via Matrix Product Operator Decomposition: A Case Study on PicoGPT [0.0]
  トランスフォーマーベースの言語モデルは、NLPタスク間で強力なパフォーマンスを実現するが、その2次パラメータスケーリングは、リソース制約のあるハードウェアへのデプロイを高くする。 変圧器の原理圧縮法として行列積演算子分解について検討する。 MPOは、重み行列を低ランクコアの鎖に分解し、近似品質は結合次元chiによって制御される。
  論文  参考訳（メタデータ） (2026-03-30T14:57:47Z)
• Elastic ViTs from Pretrained Models without Retraining [74.5386166956142]
  ビジョンファウンデーションモデルは優れたパフォーマンスを達成するが、事前決定されたサイズの限られたセットでしか利用できない。 本稿では, プルーニングされた視覚変換器のためのシングルショットネットワーク近似であるSnapViTを紹介する。 提案手法は,進化的アルゴリズムを用いて近似した勾配情報とクロスネットワーク構造相関を効率的に結合する。
  論文  参考訳（メタデータ） (2025-10-20T16:15:03Z)
• Diversity-Guided MLP Reduction for Efficient Large Vision Transformers [62.33249256133204]
  トランスフォーマーモデルは優れたスケーリング特性を実現し、モデルキャパシティの増大により性能が向上する。 大規模モデルパラメータは、計算とメモリの大幅なコストにつながる。 そこで本稿では,大規模な視覚変換器のパラメータを著しく削減するDGMR法を提案する。
  論文  参考訳（メタデータ） (2025-06-10T08:59:27Z)
• Global Vision Transformer Pruning with Hessian-Aware Saliency [93.33895899995224]
  この研究はヴィジュアルトランスフォーマー(ViT)モデルの共通設計哲学に挑戦する。 遅延を意識した規則化による直接遅延低減を実現し,すべての層や構造に匹敵する新しいヘッセン型構造解析基準を導出する。 DeiT-Baseモデルで反復的なプルーニングを実行すると、NViT(Novel ViT)と呼ばれる新しいアーキテクチャファミリが生まれ、パラメータをより効率的に利用する新しいパラメータが現れる。
  論文  参考訳（メタデータ） (2021-10-10T18:04:59Z)
• Exploring Sparse Expert Models and Beyond [51.90860155810848]
  Mixture-of-Experts (MoE) モデルは、無数のパラメータを持つが、一定の計算コストで有望な結果が得られる。 本稿では,専門家を異なるプロトタイプに分割し,上位1ドルのルーティングに$k$を適用する,エキスパートプロトタイピングというシンプルな手法を提案する。 この戦略は, モデル品質を向上させるが, 一定の計算コストを維持するとともに, 大規模モデルのさらなる探索により, 大規模モデルの訓練に有効であることが示唆された。
  論文  参考訳（メタデータ） (2021-05-31T16:12:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。