Fugu-MT 論文翻訳(概要): Supernova: Achieving More with Less in Transformer Architectures

論文の概要: Supernova: Achieving More with Less in Transformer Architectures

arxiv url: http://arxiv.org/abs/2507.15773v1
Date: Mon, 21 Jul 2025 16:27:48 GMT
ステータス: 翻訳完了
システム内更新日: 2025-07-22 20:51:32.482452
Title: Supernova: Achieving More with Less in Transformer Architectures
Title（参考訳）: Supernova: トランスフォーマーアーキテクチャの進歩
Authors: Andrei-Valentin Tanase, Elena Pelican,
Abstract要約: Supernovaはデコーダのみの変換器で、計算効率を維持しながらより大きなモデルの性能を実現する。重要な革新は、最先端の圧縮性能を実現するカスタム128,000バイトレベルのBPEトークンライザである。
参考スコア（独自算出の注目度）: 0.0
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: We present Supernova, a 650M-parameter decoder-only transformer that demonstrates how careful architectural design and tokenization innovation can achieve the performance of larger models while maintaining computational efficiency. Our architecture combines Rotary Positional Embeddings (RoPE), Grouped Query Attention (GQA) with a 3:1 compression ratio, RMSNorm for computational efficiency, and SwiGLU activation functions. A critical innovation is our custom 128,000-vocabulary byte-level BPE tokenizer, which achieves state-of-the-art compression performance. Through detailed analysis, we show that Supernova achieves 90% of the performance of 1B-parameter models while using 53% fewer parameters and requiring only 100B training tokens--an order of magnitude less than competing models. Our findings challenge the prevailing scaling paradigm, demonstrating that architectural efficiency and tokenization quality can compensate for reduced parameter counts.
Abstract（参考訳）: 提案するSupernovaは6億5000万パラメトリックデコーダのみのトランスフォーマーで,アーキテクチャ設計とトークン化の革新が,計算効率を維持しつつ,より大きなモデルの性能を実現することができることを示す。本アーキテクチャでは,RoPE(Rotary Positional Embeddings),GQA(Grouped Query Attention)を3:1圧縮比,計算効率のRMSNorm,SwiGLUアクティベーション関数を組み合わせた。重要な革新は、最先端の圧縮性能を実現するカスタム128,000バイトレベルのBPEトークンライザである。詳細な分析により,Supernovaはパラメータを53%少なくし,100Bのトレーニングトークンしか必要とせず,1Bパラメータモデルの性能の90%を達成できることを示した。提案手法は,設計効率とトークン化品質がパラメータ数削減に寄与することを示した。

関連論文リスト

S2A: A Unified Framework for Parameter and Memory Efficient Transfer Learning [8.602744958104969]
本研究では,微調整時の活性化のメモリフットプリントを低減するため,新しいPETLフレームワークであるStructure to Activation (S2A)を提案する。具体的には,1)パラメトリックモデル構造におけるアクティベーションモジュールの設計(バイアス,プロンプト,サイドモジュール)からなり,パラメータやアクティベーションメモリの大幅な削減を実現している。提案手法は既存のPETL技術よりも優れており,GPUメモリフットプリントの4倍の削減を実現しているだけでなく,可変パラメータの少ない精度で競合性能を示す。
論文参考訳（メタデータ） (2025-03-11T08:10:03Z)
Atleus: Accelerating Transformers on the Edge Enabled by 3D Heterogeneous Manycore Architectures [18.355570259898]
Atleusと呼ばれる3次元ヘテロジニアスアーキテクチャの設計を提案する。 Atleusには、トランスフォーマーモデルを加速するために特別に最適化された異種コンピューティングリソースが組み込まれている。 Atleusは, 性能およびエネルギー効率の点で, 既存の最先端技術よりも56倍, 64.5倍高い性能を示した。
論文参考訳（メタデータ） (2025-01-16T15:11:33Z)
Mixture of Hidden-Dimensions Transformer [50.40325486463241]
隠れ次元の空間性について検討し、訓練されたトランスフォーマーがわずかなトークン次元しか利用していないことを観察する。スパース条件付アクティベーションアーキテクチャであるMoHD(Mixture of Hidden Dimensions)を提案する。 50%のアクティベーションパラメータが減少し、3.7%のハイパフォーマンスを実現し、3倍のパラメータを一定のアクティベーションコストで拡張する。
論文参考訳（メタデータ） (2024-12-07T13:15:22Z)
Hymba: A Hybrid-head Architecture for Small Language Models [65.94140459055244]
Hymbaは、ハイブリッドヘッド並列アーキテクチャを特徴とする、小さな言語モデルのファミリーである。重要な情報を保持するプロンプトに先立って,学習可能なメタトークンを導入する。このモデルは、層間鍵値共有と部分的スライディングウィンドウアテンションを組み込むことにより、さらに最適化される。
論文参考訳（メタデータ） (2024-11-20T19:51:25Z)
Embedding-Free Transformer with Inference Spatial Reduction for Efficient Semantic Segmentation [15.377463849213033]
EFAは、グローバルな非線型性の機能に焦点を当てた、新しいグローバルなコンテキストモデリングメカニズムである。 ISR法では,推論フェーズにおけるキー値の分解能を低減し,計算性能とトレードオフのギャップを軽減できる。 EDAFormerは、既存のトランスフォーマーベースのセマンティックセグメンテーションモデルと比較して、効率的な計算で最先端のパフォーマンスを示す。
論文参考訳（メタデータ） (2024-07-24T13:24:25Z)
Efficient Learning With Sine-Activated Low-rank Matrices [25.12262017296922]
低ランク分解過程に正弦波関数を統合する新しい理論枠組みを提案する。提案手法は,視覚変換器(ViT),Large Language Models(LLMs),NeRF(Neural Radiance Fields),および3次元形状モデリング(3D shape modelling)において,既存の低ランクモデルに対するプラグインとして証明されている。
論文参考訳（メタデータ） (2024-03-28T08:58:20Z)
E^2VPT: An Effective and Efficient Approach for Visual Prompt Tuning [55.50908600818483]
新しいタスクのための微調整された大規模な事前学習型ビジョンモデルは、パラメーター集約化が進んでいる。本稿では,大規模なトランスフォーマーモデル適応のための効果的かつ効率的なビジュアルプロンプトチューニング(E2VPT)手法を提案する。提案手法は2つのベンチマークにおいて,最先端のベースラインを上回っている。
論文参考訳（メタデータ） (2023-07-25T19:03:21Z)
Scaling Pre-trained Language Models to Deeper via Parameter-efficient Architecture [68.13678918660872]
行列積演算子(MPO)に基づくより有能なパラメータ共有アーキテクチャを設計する。 MPO分解はパラメータ行列の情報を再編成し、2つの部分に分解することができる。私たちのアーキテクチャは、モデルのサイズを減らすために、すべてのレイヤで中央テンソルを共有しています。
論文参考訳（メタデータ） (2023-03-27T02:34:09Z)
Model-to-Circuit Cross-Approximation For Printed Machine Learning Classifiers [4.865819809855699]
プリントエレクトロニクス(PE)は、オンデマンド製造、低い非再帰エンジニアリングコスト、サブセント製造コストを約束する。 PEにおける大きな特徴サイズは、PEにおける複雑なMLモデルの実現を禁止している。本稿では,PEにおける複雑なMLモデルを実現するため,自動層間近似フレームワークを提案する。
論文参考訳（メタデータ） (2023-03-14T22:11:34Z)
GOHSP: A Unified Framework of Graph and Optimization-based Heterogeneous Structured Pruning for Vision Transformer [76.2625311630021]
視覚変換器(ViT)は、様々なコンピュータビジョンタスクにおいて非常に印象的な経験的性能を示している。この問題を緩和するために、構造化プルーニングはモデルサイズを圧縮し、実用的な効率を実現するための有望な解決策である。グラフと最適化に基づく構造的プルーニング(Structured Pruning)を統合化したフレームワークであるGOHSPを提案する。
論文参考訳（メタデータ） (2023-01-13T00:40:24Z)
AlphaTuning: Quantization-Aware Parameter-Efficient Adaptation of Large-Scale Pre-Trained Language Models [19.640997611256168]
我々は,事前学習された言語モデルの学習後の量子化と,対象タスクの量子化パラメータの一部のみを微調整するAlphaTuningを提案する。具体的には、AlphaTuningはバイナリ符号化量子化を使用して、完全精度パラメータをバイナリパラメータとスケーリングファクタの別個のセットに分解する。 GPT-2 や OPT に適用されたAlphaTuning は,4ビット量子化条件下での圧縮率 >10x を実現し,トレーニング可能なパラメータ数 >1,000x の削減を図りながら,様々な下流タスクの完全な微調整と競合することを示した。
論文参考訳（メタデータ） (2022-10-08T00:36:00Z)
Global Vision Transformer Pruning with Hessian-Aware Saliency [93.33895899995224]
この研究はヴィジュアルトランスフォーマー(ViT)モデルの共通設計哲学に挑戦する。遅延を意識した規則化による直接遅延低減を実現し,すべての層や構造に匹敵する新しいヘッセン型構造解析基準を導出する。 DeiT-Baseモデルで反復的なプルーニングを実行すると、NViT(Novel ViT)と呼ばれる新しいアーキテクチャファミリが生まれ、パラメータをより効率的に利用する新しいパラメータが現れる。
論文参考訳（メタデータ） (2021-10-10T18:04:59Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。