論文の概要: The Effect of Layer Ordering in Hybrid Architectures

• arxiv url: http://arxiv.org/abs/2610.18104v1
• Date: Tue, 13 Oct 2026 10:20:42 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-17 07:26:17.061413
• Title: The Effect of Layer Ordering in Hybrid Architectures
• Title（参考訳）: ハイブリッドアーキテクチャにおける層秩序化の効果
• Abstract要約: 支配的なハイブリッドアーキテクチャはタスク固有であることを示す。 学習したハイブリッドアーキテクチャは、標準的なトレーニングにおいて、理論的な結果に合致する層秩序の分離を示す。 この研究は、フロンティアスケールハイブリッドのトレーニングとスケーリングに関連するタスク依存型ハイブリッドアーキテクチャ設計に関する洞察を確立する。
• 参考スコア（独自算出の注目度）: 42.26730883142587
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Hybrid attention is rapidly becoming the dominant architectural choice for frontier models. Despite their successes, such architectures complicate model design by introducing additional choices, including the types and locations of layers. This combinatorially large design space has been studied empirically, but given the vast expense of training and evaluating models with different configurations, a principled understanding of the effects of layer selection and ordering is needed. We provide the first such analysis, showing that the dominant hybrid architecture is highly task-specific. Concretely, for any layer configuration, we prove that there exists a task where we can construct a model with this configuration that provably outperforms any other model of any different configuration under fixed resource constraints. Empirically, we observe that for standard training, learned hybrid architectures exhibit separations between layer orderings that match our theoretical findings. For instance, under the same memory budget, the optimal architecture predicted by our theory for a segmented retrieval task consistently achieves perfect accuracy, whereas the next strongest plateaus below 0.5. These results extend to deeper models, where ``containing'' the dominant architecture for a task indicates whether the model attains high performance. In addition, we investigate the mechanisms learned by hybrids, observing that Transformer layers contribute the largest share of performance on associative recall across architectures. This work establishes insights into task-dependent hybrid architecture design relevant to the training and scaling of frontier-scale hybrids.
• Abstract（参考訳）: ハイブリッドな関心は、フロンティアモデルの主要なアーキテクチャ選択になりつつある。 彼らの成功にもかかわらず、そのようなアーキテクチャはモデル設計を複雑にし、レイヤーのタイプや場所を含む追加の選択肢を導入する。 この組合せ的に大きなデザイン空間は経験的に研究されてきたが、異なる構成のモデルのトレーニングと評価に膨大な費用がかかるため、層選択と順序付けの効果の原則的な理解が必要である。 最初にこのような分析を行い、支配的なハイブリッドアーキテクチャがタスク固有であることを示します。 具体的には、任意のレイヤ構成に対して、この構成でモデルを構築することができるタスクが存在することを証明します。 経験的に、学習したハイブリッドアーキテクチャは、標準的なトレーニングにおいて、理論的な結果に合致する層秩序の分離を示す。 例えば、同じメモリ予算の下では、セグメント化検索タスクの理論によって予測される最適アーキテクチャは、0.5未満の次の最強高原に対して、常に完全精度を達成する。 これらの結果はより深いモデルにまで拡張され、タスクにおける支配的なアーキテクチャである '` contained'' は、そのモデルが高いパフォーマンスを達成するかどうかを示す。 さらに、トランスフォーマー層がアーキテクチャ全体にわたる連想リコールにおいて最大のパフォーマンスのシェアを占めていることを観察し、ハイブリッドによって学習されたメカニズムについて検討する。 この研究は、フロンティアスケールハイブリッドのトレーニングとスケーリングに関連するタスク依存型ハイブリッドアーキテクチャ設計に関する洞察を確立する。

関連論文リスト

• Understanding and Enhancing Mamba-Transformer Hybrids for Memory Recall and Language Modeling [59.84975924845338]
  我々は、メモリ利用と全体的な性能のレンズを通してハイブリッドアーキテクチャを解析する。 逐次ハイブリッドはより短いコンテキストでより良く機能する一方、並列ハイブリッドはより長いコンテキストでより効果的である。 パラフレーズを付加したデータセットを継続的にトレーニングするデータ中心のアプローチを導入し、他の機能を保ちながらリコールをさらに強化する。
  論文  参考訳（メタデータ） (2025-10-30T18:19:52Z)
• Hybrid Architectures for Language Models: Systematic Analysis and Design Insights [17.46576657832284]
  Mambaのような構造化状態空間モデルと自己認識機構を結合した大規模言語モデルは、モデリング品質と計算効率の間の魅力的なバランスを達成できる。 本稿では,層間(逐次)もしくは層内(並列)融合に基づくハイブリッドアーキテクチャの総合評価を行う。
  論文  参考訳（メタデータ） (2025-10-06T13:30:07Z)
• Composer: A Search Framework for Hybrid Neural Architecture Design [15.254101403488562]
  計算プリミティブを異なる比率で組み合わせたハイブリッドモデルアーキテクチャは、トランスフォーマーを超える有望な性能を示している。 モジュール型ハイブリッドモデルアーキテクチャ検索フレームワークであるComposerの設計において、原則化されたアプローチを取ります。 Composer を用いて,Llama 3.2 より優れたハイブリッド LLM アーキテクチャを新たに発見する。
  論文  参考訳（メタデータ） (2025-10-01T00:51:36Z)
• Exploring Synergistic Ensemble Learning: Uniting CNNs, MLP-Mixers, and Vision Transformers to Enhance Image Classification [2.907712261410302]
  私たちは、異なるアーキテクチャ間の相補性を探求する以前の作業を構築し、改善します。 それぞれのアーキテクチャの整合性を保ち、それらをアンサンブル技術を使って組み合わせます。 この研究の直接的な成果は、ImageNet上の以前の最先端の単一分類ネットワークの精度を上回る分類ネットワークのアンサンブルを作成することである。
  論文  参考訳（メタデータ） (2025-04-12T04:32:52Z)
• Exploring the design space of deep-learning-based weather forecasting systems [56.129148006412855]
  本稿では,異なる設計選択がディープラーニングに基づく天気予報システムに与える影響を系統的に分析する。 UNet、完全畳み込みアーキテクチャ、トランスフォーマーベースモデルなどの固定グリッドアーキテクチャについて検討する。 固定グリッドモデルの強靭な性能とグリッド不変アーキテクチャの柔軟性を組み合わせたハイブリッドシステムを提案する。
  論文  参考訳（メタデータ） (2024-10-09T22:25:50Z)
• Mechanistic Design and Scaling of Hybrid Architectures [114.3129802943915]
  我々は、様々な計算プリミティブから構築された新しいハイブリッドアーキテクチャを特定し、テストする。 本研究では,大規模計算最適法則と新しい状態最適スケーリング法則解析を用いて,結果のアーキテクチャを実験的に検証する。 我々は,MAD合成法と計算-最適パープレキシティを相関させ,新しいアーキテクチャの正確な評価を可能にする。
  論文  参考訳（メタデータ） (2024-03-26T16:33:12Z)
• Understanding Deep Architectures with Reasoning Layer [60.90906477693774]
  本研究では,アルゴリズムの収束,安定性,感度といった特性が,エンドツーエンドモデルの近似と一般化能力と密接に関連していることを示す。 私たちの理論は、深いアーキテクチャを推論層で設計するための有用なガイドラインを提供することができます。
  論文  参考訳（メタデータ） (2020-06-24T00:26:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。