論文の概要: Prism Transformer: Progressive Head Schedules for Hierarchical Attention Processing
- arxiv url: http://arxiv.org/abs/2606.27449v1
- Date: Thu, 25 Jun 2026 18:18:32 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-06-29 18:24:25.285853
- Title: Prism Transformer: Progressive Head Schedules for Hierarchical Attention Processing
- Title（参考訳）: Prism Transformer:階層型アテンション処理のためのプログレッシブヘッドスケジューリング
- Abstract要約: マルチヘッドアテンションは、すべての層におけるすべてのヘッドに等しく隠れた次元を分割し、モデル深度全体にわたって同じ表現的な部分空間次元を強制する。
静的な均一なヘッド構成をプログレッシブなヘッドスケジュールに置き換える新しいアーキテクチャパラダイムであるPrism Transformerを導入する。
Prism Transformerは、単調にレイヤー間のヘッダ数を増やすことで、ローカルからグローバルへの表現階層を自然に確立する。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Multi-head attention conventionally partitions the hidden dimension equally across all heads at every layer, enforcing an identical representational subspace dimension (dh = dmodel/h) throughout the models depth. In this work, we identify this uniform allocation as a fundamental structural bottleneck: due to their restricted dimensional space, early-layer heads are unable to faithfully capture complex, high-dimensional contextual patterns. To resolve this, we introduce the Prism Transformer, a novel architectural paradigm that replaces the static, uniform head configuration with a progressive head schedule. By monotonically increasing the head count across layers, the Prism Transformer naturally establishes a local-to-global representational hierarchy: early layers leverage fewer, exceptionally wide heads to capture complex, local compositional patterns, while deep layers deploy many, narrow heads to decompose these patterns into specialized linguistic features. Crucially, this structural shift is parameter-neutral, compute-neutral, and introduces zero training or inference overhead, preserving identical weight matrices and FLOP budgets as the standard Transformer. Across three model scales (124M, 354M, and 757M), the Prism Transformer consistently outperforms uniform baselines, achieving consistent reductions in validation loss alongside consistent gains on downstream zero-shot benchmarks (including PIQA, HellaSwag, ARC-Easy, and WinoGrande). Our findings demonstrate that non-uniform subspace allocation unlocks latent capacity within the standard Transformer budget, enabling more effective use of model capacity.
- Abstract（参考訳）: マルチヘッドアテンションは伝統的に、隠された次元をすべての層で均等に分割し、モデル深度を通して同じ表現的部分空間次元(dh = dmodel/h)を強制する。
本研究では,この一様配置を基本的な構造的ボトルネックとして認識する: 制限された次元空間のため,初期層頭部は複雑で高次元の文脈パターンを忠実に捉えることができない。
この問題を解決するために,静的な均一なヘッド構成をプログレッシブなヘッドスケジュールに置き換える新しいアーキテクチャパラダイムであるPrism Transformerを導入する。
初期層は、複雑な局所的な構成パターンを捉えるために、より少ない、例外的に広い頭部を利用する一方、深い層は、多くの狭い頭部を配置し、これらのパターンを特殊言語の特徴に分解する。
重要なことに、この構造シフトはパラメータニュートラルであり、計算ニュートラルであり、トレーニングや推論のオーバーヘッドをゼロにし、標準トランスフォーマーと同じ重み行列とFLOP予算を保存する。
3つのモデルスケール(124M、354M、757M)にわたって、Prism Transformerは一貫して均一なベースラインを上回り、下流のゼロショットベンチマーク(PIQA、HellaSwag、ARC-Easy、WinoGrandeなど)で一貫した利得とともに、検証損失の一貫して減少を達成する。
その結果,非一様部分空間割り当ては標準トランスフォーマー予算内で遅延容量を解放し,モデルキャパシティをより効果的に活用できることが示唆された。
関連論文リスト
- Tapered Language Models [17.586289013051864]
エビデンスによれば、層は最終的な出力に不均一に寄与し、後にそれを変換するのではなく、残基を精製する。
我々の制御された実験は、固定された予算の下で、以前の層により多くのキャパシティを割り当て、後で層を減らせば均一幅のベースライン上でのパープレキシティが向上し、逆アロケーションが悪くなることを示している。
論文 参考訳（メタデータ） (2026-06-22T17:56:25Z) - Variable-Width Transformers [57.07167443557886]
本稿では,$times$-shaped > former architectureを提案する。
我々の設計は、パラメータフリーの残留リサイズ機構を利用して、中間層を狭めながら、より広い早期層と後期層を維持している。
平均的な層幅を減らすことで、このアーキテクチャは全体のFLOPを少なくし、KVキャッシュメモリを小さくし、I/Oコストを削減できる。
論文 参考訳（メタデータ） (2026-06-16T17:59:03Z) - BA-T: An Iterative Transformer for Two-View Bundle Adjustment [53.16990349592508]
暗黙のトークン空間における繰り返し可能なレイヤとして,BAスタイルの構造化更新を実装した反復変換器であるBA-Tを提案する。
実験により、BA-Tは反復間におけるポーズと再構成の精度を徐々に改善することが示された。
BA-Tは、奥行き重心に対するコンパクトで効率的で構造的な代替手段を提供し、軽量アーキテクチャ内で正確な3D再構成を可能にする。
論文 参考訳（メタデータ） (2026-06-02T07:51:14Z) - SP-MoMamba: Superpixel-driven Mixture of State Space Experts for Efficient Image Super-Resolution [99.56535031145211]
状態空間モデル(SSM)は、効率的な単一画像超解像(SR)のための強力なパラダイムとして登場した。
我々は、コンテント対応SRのための状態空間の専門家による超ピクセル駆動の混合である textbfSP-MoMamba を提案する。
私たちの中核となる考え方は、従来の剛性スキャンを、スーパーピクセルを基本単位として扱うことによって、テキストのセマンティックなレベルのインタラクションに変換することです。
論文 参考訳（メタデータ） (2026-05-25T14:19:59Z) - Structured Multidimensional Representation Learning for Large Language Models [0.0]
トランスフォーマーアーキテクチャは、幅広いパターン認識と自然言語処理タスクで最先端のパフォーマンスを達成する。
三次元テンソルのL-積に基づく埋め込み空間の構造的スペクトル分解を導入する。
提案するL-Transformerは,少ない埋め込みで動作するp並列変換器とスペクトル的に等価であることを示す。
論文 参考訳（メタデータ） (2026-03-05T22:34:45Z) - Hybrid Dual-Path Linear Transformations for Efficient Transformer Architectures [0.0]
本稿では,アフィン変換を2つのトポロジカルな経路に分解するHybrid Dual-Path Linear (HDPL)演算子について紹介する。
FineWeb-Eduデータセットの実験では、HDPLアーキテクチャが標準のLlamaスタイルのベースラインより優れていることが示されている。
本稿では,トランスフォーマーのバックボーン内での確率的潜在空間の明示的な物質化が,重要な建築的余裕として果たす役割について論じる。
論文 参考訳（メタデータ） (2026-02-05T20:16:10Z) - Rethinking Vision Transformer Depth via Structural Reparameterization [16.12815682992294]
本稿では,訓練期間中に機能する分岐型構造パラメータ化手法を提案する。
提案手法では, 変圧器ブロック内の並列分岐を利用して, 合理化シングルパスモデルに体系的に統合する。
ViT-Tinyに適用した場合、このフレームワークは、ImageNet-1Kの分類精度を維持しながら、元の12層アーキテクチャを6層、4層、もしくは3層に改善する。
論文 参考訳（メタデータ） (2025-11-24T21:28:55Z) - LoG3D: Ultra-High-Resolution 3D Shape Modeling via Local-to-Global Partitioning [26.88556500272625]
非符号距離場(UDF)に基づく新しい3次元変分オートエンコーダフレームワークを提案する。
私たちの中心となるイノベーションは、UDFを統一サブボリュームであるUBlockに分割することで処理する、ローカルからグローバルなアーキテクチャです。
再現精度と生成品質の両面での最先端性能を実証し,表面の滑らかさと幾何学的柔軟性を向上した。
論文 参考訳（メタデータ） (2025-11-13T07:34:43Z) - Understanding Transformers for Time Series: Rank Structure, Flow-of-ranks, and Compressibility [90.894232610821]
我々は、ランク構造のレンズを通してトランスフォーマーを解析する。
時系列埋め込みは急激な減衰特異値スペクトルを示すことを示す。
関連する$Q/K/V$プロジェクションが正確な低ランク近似を持つことを示す。
論文 参考訳（メタデータ） (2025-10-02T23:56:17Z) - SGFormer: Spherical Geometry Transformer for 360 Depth Estimation [52.23806040289676]
パノラマ歪みは360度深度推定において大きな課題となる。
本稿では,SGFormer という球面形状変換器を提案し,上記の問題に対処する。
また、様々な解像度で空間構造を補うために、クエリベースの大域的条件位置埋め込みを提案する。
論文 参考訳（メタデータ） (2024-04-23T12:36:24Z) - On the Convergence of Encoder-only Shallow Transformers [62.639819460956176]
エンコーダのみの浅部変圧器のグローバル収束理論を現実的な条件下で構築する。
我々の結果は、現代のトランスフォーマー、特にトレーニング力学の理解を深める道を開くことができる。
論文 参考訳（メタデータ） (2023-11-02T20:03:05Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。