論文の概要: M3Former: Fine-Grained Cross-Layer Mixing for Transformers

• arxiv url: http://arxiv.org/abs/2611.02436v1
• Date: Mon, 02 Nov 2026 02:57:47 GMT
• ステータス: 情報取得中
• システム内更新日: 2026-11-03 20:14:07.32032
• Title: M3Former: Fine-Grained Cross-Layer Mixing for Transformers
• Title（参考訳）: M3Former:変圧器用細粒クロス層ミキシング
• Abstract要約: 残余接続により、各Transformerブロックは、すべてのブロックの入力にブロードキャストされる1つの固定和によってのみ、以前のすべてのレイヤにアクセスできる。 本稿では,3つの制約をすべて除去するM3(Multi-Role Multi-Group Mixing Residual)を提案する。 100Mから1.4Bパラメータまで、M3FormerはTransformerと粗い粒度のクロス層接続を各サイズで上回る。
• 参考スコア（独自算出の注目度）: 29.37156912967218
• License:
• Abstract: Residual connections give each Transformer block access to all earlier layers only through one fixed sum, broadcast to all of the block's inputs. This broadcast bottleneck imposes three constraints: the query, key, value and residual inputs of a block, which we call its roles, read the same vector; all hidden dimensions within a role share one set of weights over earlier layers; and every earlier layer has the same fixed weight for every token. We propose the Multi-Role Multi-Group Mixing Residual (M3), which removes all three: every role, and every group of hidden dimensions within a role, reads its own token-dependent mixture of all earlier layers. M3 starts as an exact residual connection and adds as little as 1.4% parameters and 1.8% FLOPs. From 100M to 1.4B parameters, M3Former outperforms the Transformer and coarse-grained cross-layer connections at every size, matching a Transformer 1.19-1.34x the size of the one it modifies, trained with 1.4-1.8x the compute. Relaxing only some of the constraints recovers only part of this gain. M3Former also improves sparse mixture-of-experts models of up to 4.6B parameters and trains more stably in deeper networks. Code: https://github.com/Kingchet10/m3former
• Abstract（参考訳）: 残余接続により、各Transformerブロックは、すべてのブロックの入力にブロードキャストされる1つの固定和によってのみ、以前のすべてのレイヤにアクセスできる。 このブロードキャストのボトルネックは、3つの制約を課している: ブロックのクエリ、キー、値、残余の入力は、そのロールを呼び出し、同じベクトルを読み、ロール内のすべての隠された次元は、以前のレイヤよりも1セットの重みを共有します。 本論文では,M3(Multi-Role Multi-Group Mixing Residual)を提案する。このM3(Multi-Role Multi-Group Mixing Residual)は,各ロールとロール内の隠された次元のすべてのグループを,それ以前のすべてのレイヤのトークン依存の混合を読み取る。 M3は完全な残差接続として始まり、1.4%のパラメータと1.8%のFLOPを追加する。 100Mから1.4Bのパラメータから、M3FormerはTransformerと粗い粒度のクロス層接続を各サイズで上回り、Transformer 1.19-1.34xの値に一致する。 制約のいくつかだけを緩和すれば、この利益の一部しか回復できない。 M3Formerは、最大4.6Bパラメータのスパース混合モデルを改善し、より深いネットワークで安定的に訓練する。 コード:https://github.com/Kingchet10/m3former

関連論文リスト

• Manifold-Constrained Residual Adaptation with Frame-Adaptive Layer Aggregation for Speaker Verification [43.84109036113216]
  大規模な自己教師型音声モデルは、話者検証のための強力な表現を提供するが、完全な微調整は高価である。 従来のアダプタは、各層の出力を変更するために小さなトレーニング可能なモジュールを挿入するが、元の残余接続は変更しない。 本研究では,各トランスフォーマー残状態の隠れ次元をN群に分割し,シンクホーン正規化行列を用いて情報交換を行うマニフォールド制約残留適応器(MCRA)を提案する。 フレーム適応層集約(FALA)も提案する。これは、すべての発話間で共有される単一の学習クエリを用いて、層重みを計算するアテンションベースのアグリゲーション手法である。
  論文  参考訳（メタデータ） (2026-10-19T06:47:48Z)
• SMELT: Scaling Laws for Compute-Matched MoE Looped Transformers [50.00050394179417]
  ループ変換器はレイヤの共有ブロックを繰り返すことで効果的な深さを増大させるが、ほとんどの評価は固定モデルサイズと比較される。 混合演算変換器のループ化について検討し, トーケン毎のFLOP, 総非埋め込みパラメータ, およびKVキャッシュを密にマッチングする。 一連のアブリケーションを通じて、私たちはSMELTと呼ばれるレシピに到達します。これは3つの予算のすべてで未ループのBaselineにマッチしながら、レイヤの中央半分を2回ループします。
  論文  参考訳（メタデータ） (2026-09-01T14:52:57Z)
• Multi-Head Attention Residuals [18.056247839398512]
  MHAR(Multi-Head Attention Residuals)は標準変圧器の100M,350M,1Bでのバリデーション損失を改善する。 MHARは、ルーティングクエリをサブスペース毎のHに再設定し、それぞれが深さ履歴に対して独自のソフトマックスを持つ。 トレーニングされたクエリの直接調査では、学習されたサブスペースの不一致が下層のドライバであることを確認している。
  論文  参考訳（メタデータ） (2026-07-22T06:51:51Z)
• One Model, Many Budgets: Elastic Latent Interfaces for Diffusion Transformers [80.19461768457622]
  Elastic Latent Interface Transformer (ELIT) は、入力画像サイズを計算から切り離すための、ドロップインでDiT互換のメカニズムである。 読み取りと書き込み クロスアテンション・レイヤは空間トークンとラテントの間で情報を移動し、重要な入力領域を優先する。 ImageNet-1K 512pxでは、ELITの平均利得は35.3%、FIDおよびFDDスコアは39.6%である。
  論文  参考訳（メタデータ） (2026-03-12T17:57:04Z)
• LoMix: Learnable Weighted Multi-Scale Logits Mixing for Medical Image Segmentation [27.68818512667956]
  LoMixは、新しい混合スケール出力を生成する、差別化可能なプラグイン・アンド・プレイモジュールである。 それぞれのトレーニングプロセスをどのようにガイドするかを学ぶ。 全てのオリジナルまたはミュータントマップは、ネットワークパラメータと共最適化されたソフトプラス損失重みが与えられる。
  論文  参考訳（メタデータ） (2025-10-27T04:25:57Z)
• MUDDFormer: Breaking Residual Bottlenecks in Transformers via Multiway Dynamic Dense Connections [0.4999814847776097]
  MUDD接続は任意のTransformerアーキテクチャにシームレスに統合できる。 実験の結果、MUDDFormerは様々なモデルアーキテクチャや言語モデリングのスケールでトランスフォーマーを著しく上回っていることがわかった。
  論文  参考訳（メタデータ） (2025-02-13T10:26:27Z)
• Mixture-of-Mamba: Enhancing Multi-Modal State-Space Models with Modality-Aware Sparsity [56.0251572416922]
  状態空間モデル(SSM)は、シーケンシャルモデリングのためのトランスフォーマーの効率的な代替手段として登場した。 本稿では,Mambaブロックのモダリティ特異的パラメータ化により,モダリティを意識した疎結合を実現する新しいSSMアーキテクチャを提案する。 マルチモーダル事前学習環境におけるMixture-of-Mambaの評価を行った。
  論文  参考訳（メタデータ） (2025-01-27T18:35:05Z)
• Mixture-of-Modules: Reinventing Transformers as Dynamic Assemblies of Modules [96.21649779507831]
  そこで我々は,Mix-of-modules (MoM) と呼ばれる新しいアーキテクチャを提案する。 MoMは、任意の層がその位置に関係なくトークンを計算することができるという直感によって動機付けられている。 MoMはトランスフォーマーのための統一されたフレームワークを提供するだけでなく、冗長性を減らすための柔軟で学習可能なアプローチを提供する。
  論文  参考訳（メタデータ） (2024-07-09T08:50:18Z)
• What's Hidden in a One-layer Randomly Weighted Transformer? [100.98342094831334]
  1層にランダムに重み付けされたニューラルネットワークの中に埋もれており、素晴らしいパフォーマンスを達成することができる。 IWSLT14/WMT14でトレーニングされたTransformerの小型/ベースの性能は98%/92% (34.14/25.24 BLEU) に匹敵する。
  論文  参考訳（メタデータ） (2021-09-08T21:22:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。