論文の概要: Multi-Head Attention Residuals

• arxiv url: http://arxiv.org/abs/2607.27230v1
• Date: Wed, 22 Jul 2026 06:51:51 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-31 21:37:00.255695
• Title: Multi-Head Attention Residuals
• Title（参考訳）: マルチヘッドアテンション残量
• Abstract要約: MHAR(Multi-Head Attention Residuals)は標準変圧器の100M,350M,1Bでのバリデーション損失を改善する。 MHARは、ルーティングクエリをサブスペース毎のHに再設定し、それぞれが深さ履歴に対して独自のソフトマックスを持つ。 トレーニングされたクエリの直接調査では、学習されたサブスペースの不一致が下層のドライバであることを確認している。
• 参考スコア（独自算出の注目度）: 18.056247839398512
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Transformers propagate information across depth through a single additive residual stream: every sublayer reads only the most recent state. Attention residuals relax this by letting each sublayer attend, through a learned softmax. However, that read uses a single query shared across the entire width, so every feature subspace must read the depth history through one distribution. The cost of this forced compromise grows with how much the subspaces disagree about which layers to read, and disagreement grows with model width. We introduce Multi-Head Attention Residuals (MHAR): the routing query is reshaped into H per-subspace heads, each with its own softmax over the depth history. The read becomes block-diagonal, the reshape adds zero parameters and negligible compute, and H = 1 recovers attention residuals exactly. Trained from scratch on a deduplicated Nemotron-based anneal corpus that is quality-filtered and STEM- and code-heavy, MHAR improves validation loss over a standard Transformer at 100M, 350M, and 1B (-0.061, -0.149, and -0.140). It achieves the best result among four methods in every setting, with the gain increasing from 100M to the larger scales. The head count is a real design axis rather than a free knob: validation loss is U-shaped with respect to H, with a flat optimum at H = 4 or H = 8 across scales. We adopt H = 8 for large-scale models; over-splitting beyond this point (H = 16) consistently gives back part of the gain. A direct probe of the trained queries confirms that learned subspace disagreement is the underlying driver. Fused Triton routing kernels increase attention-residual training throughput from 0.2-0.5x to 0.55-0.88x of the baseline while maintaining near-baseline peak memory. An identity-preserving conversion using delta attention residuals supports 8B mid-training, yielding improvements of +3.2 on GSM8K and +3.1 on GPQA.
• Abstract（参考訳）: トランスフォーマーは1つの加算残差ストリームを通して情報を伝播し、すべてのサブレイヤが最新の状態だけを読み取る。 注意残差は、学習されたソフトマックスを通して各サブレイヤーを参加させることでこれを緩和する。 しかし、その読み込みは、幅全体にわたって共有される単一のクエリを使用するため、すべての機能サブスペースは、1つのディストリビューションを通して深度履歴を読まなければならない。 この強制的な妥協のコストは、サブスペースがどのレイヤを読むべきかにどの程度の差があるかによって増大し、モデルの幅で不一致が増大する。 我々はMHAR(Multi-Head Attention Residuals)を導入し、ルーティングクエリはサブスペースあたりのHに変換される。 読み取りはブロック対角となり、再形はゼロパラメータと無視可能な計算を追加し、H = 1 は注意残差を正確に回復する。 1M,350M,1B(1-0.061,-0.149,-0.140)の標準トランスフォーマーの検証損失を改善する。 それぞれの設定で4つの方法の中で最良の結果が得られ、ゲインは1億からより大きなスケールへと増大する。 検証損失はHに対してU字型であり、H = 4 または H = 8 での平坦な最適値である。 我々は、大規模モデルに対して H = 8 を採用する。 トレーニングされたクエリの直接調査では、学習されたサブスペースの不一致が下層のドライバであることを確認している。 融合したトリトンルーティングカーネルは、ベースラインの0.2-0.5xから0.55-0.88xまで、ほぼベースラインのピークメモリを維持しながら、注意-残留トレーニングスループットを向上させる。 デルタアテンション残差を用いたアイデンティティ保存変換は8Bミッドトレーニングをサポートし、GSM8Kでは+3.2、GPQAでは+3.1の改善をもたらす。

関連論文リスト

• On the Design of Qwen3.8-Next Architecture: Evaluation, Efficiency, and Training Stability [57.03393882933515]
  Qwen3.8-Flash-Nextは125Bパラメータ、トークンあたり6Bアクティベートされ、加速器から保持されるn-gram埋め込みテーブルの51Bパラメータを持つスパースミックス・オブ・エキスパートモデルである。 トレーニング前の14のベンチマークでは、このモデルは前モデルの397B-A17Bを8点、残りを少なくとも2.6ポイント、アクティベートされたパラメータが1/3、トレーニングトークンが1/3、トレーニング用FLOPが1/9であった。
  論文  参考訳（メタデータ） (2026-08-31T06:35:07Z)
• Wiring Beats Blending: What Transfers Between Transformer Sizes -- and What Doesn't [0.0]
  Wecharacterize the 1.4B->410M conversion in the Pythia family end to end。 重量の残留物は、ノイズアンダーシャッフル制御と統計的に区別できない。 補償は普遍的よりもトークン効率が高く低予算の勝利である。
  論文  参考訳（メタデータ） (2026-08-03T19:44:08Z)
• Per-Token Fixed-Point Convergence in Depth-Recurrent Transformers [0.0]
  出力が安定すると、各トークンが4.94平均ループで均一な深さ8品質に達すると、各トークンを停止する訓練自由規則を示す。 同じモデルから抽出された収束ラベルに基づいて訓練された線形ルータは、ほぼ完全な深さを必要とし、還元しない。 実際の高速化ではなく,3点壁面ブラケットを用いたFLOPプロキシとしての平均深度を報告する。
  論文  参考訳（メタデータ） (2026-07-15T23:38:44Z)
• RDQ: Residual Distribution Quantization for Large Language Models [3.7323766833175718]
  大規模言語モデルの学習後の量子化は、4ビット精度以下で急激に低下する。 本稿では、カスケード誤差補償を中心とするPTQフレームワークRDQ(Residual Distribution Quantization)を提案する。 全ての出力は標準グループ-128非対称量子化であり、Qualcomm AIMET、GGUF、およびランタイムオーバーヘッドゼロの標準推論スタックにデプロイ可能である。
  論文  参考訳（メタデータ） (2026-07-11T05:54:00Z)
• Hidden Decoding at Scale: Latent Computation Scaling for Large Language Models [75.80275843320511]
  トランスフォーマーのバックボーンを固定したまま、各トークンにより多くの計算を割り当てることで、既存のバックボーンが改善を続けることができるかどうかを検討する。 継続事前学習中に適用されたシーケンス長スケーリング手法であるHidden Decodingを提案する。
  論文  参考訳（メタデータ） (2026-07-09T07:37:59Z)
• CARVE: Content-Aware Recurrent with Value Efficiency for Chunk-Parallel Linear Attention [0.0]
  リカレントモデルは思い出すために忘れなければならないが、芸術の状態は保存されているものを参照せずに、何を削除するかを決定する。 このメモリブラインドゲーティングは、主要なデルタルールアーキテクチャ(GDN-2)における3つの結合欠陥の1つである。 我々はCARVEを導入し、鍵軸のみを消去するという3つの問題を1つの原理で解決する。
  論文  参考訳（メタデータ） (2026-06-25T16:16:51Z)
• Learning to Solve Generative ODEs Beyond the Linear Span [50.13853710831612]
  空間残留演算子を用いてスカラー係数更新を増強する軽量ニューラルソルバであるSpanLiftを提案する。 SpanLiftは、ピクセル空間の拡散、潜水流のマッチング、降水は今、最先端の数ステップのサンプリングを実現している。
  論文  参考訳（メタデータ） (2026-06-07T15:22:13Z)
• Right Makes Might: Aligning Verified Hidden States Empowers RL Reasoning [55.264863369127774]
  現在の方法では、それぞれの正しいロールアウトを単一の報酬ビットに減らし、隠れた状態間で共有される幾何学的構造を無視している。 本稿では,RLトレーニングにおけるアンカートークンにおける正ロールアウトの最終層を,トレーニングと推論の両方においてゼロオーバーヘッドで整列する補助損失関数Hidden-Alignを提案する。 8つの数学的推論ベンチマークでは、Hidden-AlignはDAPOベースラインの平均パス@1をQwen3-1.7B, 4B, 14Bで3.8, 6.2, 5.4ポイント改善し、3つのスケールで一貫したパス@kゲインを得る。
  論文  参考訳（メタデータ） (2026-06-02T06:51:15Z)
• CRMA: A Spectrally-Bounded Backbone for Modular Continual Fine-Tuning of LLMs [0.0]
  我々は、内部混合行列 M がシンクホーン正規化による全ての前方通過において二重確率である残留アダプタ CRMA を紹介する。 5つのドメインにまたがるMistral-7Bでは、モジュラー・パー・タスクのLoRAは、+42.96%+/-5.5(ナイーブ微調整)から-0.17%+/-0.17までのバックボーンの損失相対的ドリフトを仲介する。
  論文  参考訳（メタデータ） (2026-05-29T21:50:23Z)
• Scaling DoRA: High-Rank Adaptation via Factored Norms and Fused Kernels [83.99688944263843]
  DoRA(Weight-De Low-Rank Adaptation)は、LoRAを方向から分離することで拡張する。 d_in = 8192 とランク r = 384 では、単一のモジュールのノルムは bf16 で512MB の過渡的なワーキングメモリを必要とする。 因子ノルムは、二乗ノルムを O(d_out r + r2) 中間体を通して計算可能な基底、交差、およびグラマー項に分解し、密積を除去する。
  論文  参考訳（メタデータ） (2026-03-23T17:57:24Z)
• Mixture-of-Depths Attention [65.80640499676542]
  スケーリングディープは、大規模言語モデル(LLM)のキードライバーである。 我々はMix of-Depths attention (MoDA)を紹介する。 MoDAにより、各アテンションヘッドは、現在の層におけるシーケンスKVペアと、前の層からの深さKVペアに出席することができる。
  論文  参考訳（メタデータ） (2026-03-16T17:59:55Z)
• Robust Layerwise Scaling Rules by Proper Weight Decay Tuning [50.11170157029911]
  現代のスケール不変アーキテクチャでは、トレーニングは急速に劣化したグラデーション状態に入る。 我々は,AdamWに対して,幅をまたいだサブ層ゲインを保ったウェイトデカイスケーリングルールを導入する。 この結果は,パラメータが設定した定常スケールを明示的に制御することにより,ほぼ入出力体制を超えて$mu$Pを拡大する。
  論文  参考訳（メタデータ） (2025-10-17T02:58:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。