論文の概要: Modern Transformers Are Implicit Hybrids: From Functional Differentiation to Principled Hybrid Architecture Design

• arxiv url: http://arxiv.org/abs/2609.02986v1
• Date: Wed, 02 Sep 2026 14:49:30 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-04 18:28:38.813495
• Title: Modern Transformers Are Implicit Hybrids: From Functional Differentiation to Principled Hybrid Architecture Design
• Title（参考訳）: モダントランスフォーマーは、機能的差別化から原則的ハイブリッドアーキテクチャ設計へ
• Abstract要約: FA(Full Attention)とLA(Linear Attention)を組み合わせたハイブリッドアーキテクチャは、ますます注目されている。 我々は、RoPEベースのトランスフォーマーによって学習されたヘッドレベルの機能的組織において、エビデンスに基づく基盤を求める。 我々はそれらをHwH(Head-wise Hybrid Architecture)でインスタンス化し、グローバル検索にはNoPE FA、局所的な位置モデリングにはLAを用いる。
• 参考スコア（独自算出の注目度）: 19.539663057036375
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Hybrid architectures combining Full Attention (FA) and Linear Attention (LA) are increasingly prominent, yet their allocation remains heuristic. We seek an evidence-grounded basis in head-level functional organization learned by RoPE-based Transformers. Behavioral probes do not yield a complete taxonomy, so we propose two intervention metrics: RoPE Frequency Importance Score (RFIS), measuring how each frequency affects a head's attention distribution, and RoPE Positional Dependence (RPD), isolating dependence on rotary positional modulation. On Qwen3-series models and Llama3.1, RFIS suggests and RPD verifies a complete taxonomy of retrieval and positional heads separated by a salient mid-low-frequency band. Controlled Transformers show that this boundary follows the training-length positional scale; we term it the Global Positional Band (GPBand). The analysis suggests a potential cause of zero-shot length-extrapolation failure and yields two principles: positional modeling should operate only locally, with global access through position-independent retrieval; and both functions should be assigned at head granularity with layer-specific allocation. We instantiate them in Head-wise Hybrid Architecture (HwH), using NoPE FA for global retrieval and LA for local positional modeling. With an FA-to-LA ratio below 1:3, HwH retains strong language modeling and commonsense reasoning while improving retrieval and substantially strengthening zero-shot long-context extrapolation over Transformer, LA, and a layer-wise hybrid baseline. Ablations validate both principles and component roles, highlighting principled hybrid architecture design as a promising route toward future foundation models.
• Abstract（参考訳）: FA(Full Attention)とLA(Linear Attention)を組み合わせたハイブリッドアーキテクチャが注目されているが、そのアロケーションはヒューリスティックである。 我々は、RoPEベースのトランスフォーマーによって学習されたヘッドレベルの機能的組織において、エビデンスに基づく基盤を求める。 行動プローブは完全な分類にはならないため、各周波数が頭部の注意分布にどのように影響するかを測定するRFIS(RoPE Frequency Importance Score)と、回転位置変調への依存性を分離するRPD(RoPE Positional Dependence)の2つの介入指標を提案する。 Qwen3シリーズモデルとLlama3.1では、RFISとRCDは、正中低周波帯によって分離された検索と位置頭部の完全な分類を検証している。 制御されたトランスフォーマーは、この境界がトレーニング長の位置スケールに従っていることを示し、我々はこれをグローバル位置バンド(GPBand)と呼ぶ。 この分析は、ゼロショット長外乱の潜在的な原因を示唆し、位置モデリングは局所的にのみ動作し、位置に依存しない検索を通じてグローバルにアクセスすること、両方の関数は、層固有の割り当てで頭部の粒度に割り当てられること、の2つの原則を導出する。 我々はそれらをHwH(Head-wise Hybrid Architecture)でインスタンス化し、グローバル検索にはNoPE FA、局所的な位置モデリングにはLAを用いる。 FA-to-LA比が1:3未満のHwHは、検索を改善し、Transformer, LA, and a layer-wise hybrid baseline上のゼロショット長文補間を大幅に強化しながら、強力な言語モデリングとコモンセンス推論を維持している。 アブレーションは原則とコンポーネントの役割の両方を検証し、将来的な基盤モデルへの道筋として原則化されたハイブリッドアーキテクチャ設計を強調します。

関連論文リスト

• Sheaf-Based Federated Representation Learning [11.430396441085579]
  SFRL(Sheaf-based Federated Representation Learning) 我々は、局所モデルの勾配更新とエッジワイド制約マップの閉形式Procrustes更新を交互に行う、SFRL(Sheaf-FRL)と呼ばれる分散アルゴリズムを開発した。 応用として,セマンティックコミュニケーションの文脈における協調的な分類課題を考える。
  論文  参考訳（メタデータ） (2026-08-08T16:38:34Z)
• Scaling Behavior Foundation Model for Humanoid Robots [77.31115920959364]
  行動基礎モデル(BFM)は、大規模な行動データを活用することで課題に対処する有望なソリューションとして登場した。 提案手法は制御忠実度とタスク一般化の大幅な改善をもたらすことを示す。 これらの結果は、BFMをスケーラブルで汎用的なヒューマノイド制御の原則的かつ効果的な基盤として確立する。
  論文  参考訳（メタデータ） (2026-07-16T16:08:27Z)
• HydraHead: From Head-Level Functional Heterogeneity to Specialized Attention Hybridization [54.02338209487246]
  我々はHydraHeadを紹介した。HydraHeadは、フルアテンション(FA)とリニアアテンション(LA)をヘッド軸に沿ってハイブリッド化する新しいアーキテクチャである。 HydraHeadは、検索クリティカルなヘッドを識別し、FAのみを保存する、解釈可能性駆動の選択戦略を備えている。 ベースラインを512Kのコンテキスト長で69%以上改善し、ネイティブコンテキスト長256Kと同等の大きさのモデルであるQwen3.5に近づいた。
  論文  参考訳（メタデータ） (2026-06-18T11:14:38Z)
• ReHARK: Refined Hybrid Adaptive RBF Kernels for Robust One-Shot Vision-Language Adaptation [3.8707695363745214]
  ReHARKは、グローバルな近位正規化を通じて、少数ショット適応を再解釈する、トレーニング不要のフレームワークである。 ワンショット適応のための新しい最先端技術がReHARKによって確立され、平均精度は65.83%である。
  論文  参考訳（メタデータ） (2026-03-12T04:59:09Z)
• Revisiting LRP: Positional Attribution as the Missing Ingredient for Transformer Explainability [53.21677928601684]
  階層的関連性伝播は、ディープラーニングにおける説明可能性に対する最も有望なアプローチの1つである。 そこで我々は,様々な位置符号化手法にまたがる属性の伝播を目的とした,理論的なLRP規則を提案する。 本手法は,視力とNLP説明可能性の両面において,最先端の課題を著しく上回っている。
  論文  参考訳（メタデータ） (2025-06-02T18:07:55Z)
• Fourier Test-time Adaptation with Multi-level Consistency for Robust Classification [10.291631977766672]
  本稿では,Fourier Test-Time Adaptation (FTTA) と呼ばれる新しい手法を提案する。 FTTAは、予測の自己監督を行うために、ペア入力の信頼性の高い多レベル整合性測定を構築する。 異なる形態と器官を持つ3つの大きな分類データセットで広範囲に検証された。
  論文  参考訳（メタデータ） (2023-06-05T02:29:38Z)
• Global-to-Local Modeling for Video-based 3D Human Pose and Shape Estimation [53.04781510348416]
  フレーム内精度とフレーム間スムーズさにより,映像に基づく3次元人間のポーズと形状推定を評価する。 エンドツーエンドフレームワークGLoT(Global-to-Local Transformer)における長期的・短期的相関のモデル化を構造的に分離することを提案する。 我々のGLoTは、一般的なベンチマーク(3DPW、MPI-INF-3DHP、Human3.6M)において、最も低いモデルパラメータを持つ従来の最先端の手法を上回る。
  論文  参考訳（メタデータ） (2023-03-26T14:57:49Z)
• Focal and Global Spatial-Temporal Transformer for Skeleton-based Action Recognition [34.38874828210301]
  我々はFG-STFormer(Focal and Global Space-Temporal Transformer Network)を提案する。 1)FG-SFormer:焦点継手と大域部分結合空間変換器の2つのキーコンポーネントを備える。 拡張側頭骨畳み込みは、大域的自己保持機構に統合され、関節または身体部分の局所的側頭骨運動パターンを明示的に捉える。
  論文  参考訳（メタデータ） (2022-10-06T05:57:15Z)
• Your Transformer May Not be as Powerful as You Expect [88.11364619182773]
  連続列列列関数を近似できるかどうかに関して, RPE ベースの変換器のパワーを数学的に解析する。 RPEをベースとしたトランスフォーマーでは,ニューラルネットワークの深さや幅がどんなに深くても近似できない連続列列列列関数が存在することを示す。 我々は,その条件を満たす,Universal RPE-based (URPE) Attentionと呼ばれる新しいアテンションモジュールを開発する。
  論文  参考訳（メタデータ） (2022-05-26T14:51:30Z)
• FAMLP: A Frequency-Aware MLP-Like Architecture For Domain Generalization [73.41395947275473]
  本稿では、変換周波数領域において、ドメイン固有の特徴をフィルタリングする新しい周波数認識アーキテクチャを提案する。 3つのベンチマークの実験では、最先端の手法をそれぞれ3%、4%、9%のマージンで上回った。
  論文  参考訳（メタデータ） (2022-03-24T07:26:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。