Fugu-MT 論文翻訳(概要): xHC: Expanded Hyper-Connections

論文の概要: xHC: Expanded Hyper-Connections

arxiv url: http://arxiv.org/abs/2607.14530v1
Date: Thu, 16 Jul 2026 03:31:03 GMT
ステータス: 翻訳完了
システム内更新日: 2026-07-17 17:01:32.973428
Title: xHC: Expanded Hyper-Connections
Title（参考訳）: xHC: 拡張されたハイパーコネクション
Abstract要約: ハイパーコネクション(HC)はトランスフォーマーの残余ストリームを$N$並列ストリームに拡張する。既存のHCファミリーメソッドは通常、$N=4$で停止する。 N=4$を超える有意義な拡張を実現するための最初のHCファミリー法であるxHCを提案する。
参考スコア（独自算出の注目度）: 66.01585568493898
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Hyper-Connections (HC) expand the residual stream of Transformers into $N$ parallel streams, providing a form of memory scaling beyond model width and depth. Manifold-Constrained HC (mHC) stabilizes this formulation at scale. The large gains from $N{=}1$ to $N{=}4$ suggest residual-stream expansion as a promising scaling axis. However, existing HC-family methods typically stop at $N{=}4$. Our experiments reveal why: scaling mHC beyond this point yields diminishing performance gains and rapidly increasing training cost. We attribute this limitation to two bottlenecks: insufficient write-back information for an expanding number of streams and residual-mixing generation whose cost scales cubically with $N$. To address both bottlenecks, we propose xHC (Expanded Hyper-Connections), the first HC-family method to achieve meaningful expansion beyond $N{=}4$. xHC combines temporal feature augmentation for richer write-back with a sparse residual-stream architecture that updates only $k=4$ of the $N=16$ streams while retaining dense access to the full residual state. Across 18B and 28B MoE models, xHC delivers strong and consistent downstream improvements. On an 18B MoE model, xHC improves the average downstream score by 4.0 points over mHC, while adding only modest training FLOPs over the vanilla baseline. Scaling-law experiments show that the vanilla and mHC require $1.50\times$ and $1.19\times$ the compute of xHC, respectively, to reach the same loss. Practical large-$N$ training also requires controlling memory traffic from the expanded residual state. We therefore introduce xHC-Flash, which reduces the per-sublayer memory traffic from $73.5C$ to $40C$, comparable to the $34C$ required by mHC at $N{=}4$, while retaining the gains of full xHC. Together, xHC and xHC-Flash make large-$N$ residual-stream expansion effective and practical for LLM pre-training.
Abstract（参考訳）: ハイパーコネクション(HC)はトランスフォーマーの残留ストリームを$N$並列ストリームに拡張し、モデル幅と深さを超えたメモリスケーリングの形式を提供する。 Manifold-Constrained HC (mHC) はこの定式化を大規模に安定化させる。 N{=}1$から$N{=}4$への大きなゲインは、期待できるスケーリング軸として残留ストリーム展開を示唆する。しかし、既存のHC-ファミリーメソッドは通常$N{=}4$で停止する。この点を超えてmHCをスケールすることは、パフォーマンスの向上を減少させ、トレーニングコストを急速に増加させます。この制限には2つのボトルネックがある: 増大するストリームに対する書き込みバック情報不足と、コストが$N$と3倍にスケールする残差混合生成である。両方のボトルネックに対処するため、最初のHCファミリー法であるxHC(Expanded Hyper-Connections)を提案し、$N{=}4$を超える有意義な拡張を実現する。 xHCは、よりリッチな書き込みバックのための時間的機能拡張と、完全な残留状態への密アクセスを維持しながら、$N=16$ストリームのk=4$だけを更新するスパース残ストリームアーキテクチャを組み合わせる。 18Bモデルと28B MoEモデル全体で、xHCは強い、一貫性のある下流の改善を提供する。 18B MoEモデルでは、xHCは平均ダウンストリームスコアをmHCで4.0ポイント改善し、バニラベースライン上でのトレーニングFLOPのみを追加する。スケーリング法則の実験では、バニラとmHCは同じ損失に達するためにそれぞれ1.50\times$と1.19\times$のxHC計算が必要であることが示されている。実践的な大規模N$トレーニングでは、拡張された残留状態からのメモリトラフィックも制御する必要がある。したがって、サブレイヤごとのメモリトラフィックを73.5C$から40C$に減らし、mHCが要求する$N{=}4$の$34C$に匹敵する。 xHC と xHC-Flash を併用することにより,LLM プレトレーニングにおいて,大容量N$残差ストリーム拡張を効果的かつ実用的なものにすることができる。

関連論文リスト

Fixed State, Long Reach: What a Constant-Size Cache Buys Block Diffusion at Scale [18.318746660954663]
ブロック拡散はブロックバイブロックを復号することでキャッシュを復元する。我々はこのレシピを大規模に研究し,300Bトークン上に3つの3Bブロック拡散復号器を事前学習した。
論文参考訳（メタデータ） (2026-09-09T23:37:47Z)
FluxBin: Flexible LUT-based Ultra-low-bit LLM Inference by Algorithm-Kernel Synergy [32.21687694159134]
FluxBinは高度に最適化されたカーネルとバイナリ量子化を合成するアルゴリズムである。 FluxBinは最大5.92ドルのスピードアップと10.19ドルの省エネを達成する。これにより、70Bスケールのモデルを1つのA100ベースにデプロイし、メモリを4倍に削減できる。
論文参考訳（メタデータ） (2026-08-16T08:01:06Z)
Scaling Parallel Sequence Models to Foundation-Scale Vision Encoders [123.58723804218151]
ビジョンファウンデーションモデルは、自己注意の二次的なコストによってボトルネックとなる。 2次元空間伝搬伝搬に基づくC-GSPNを提案する。
論文参考訳（メタデータ） (2026-05-30T14:29:43Z)
Minimax Optimal Variance-Aware Regret Bounds for Multinomial Logistic MDPs [56.28491566735463]
既存のマルコフ決定過程のアルゴリズムは、$smashtildeO(dH2sqrtT)$を後悔する。本稿では,最悪の場合において既存の境界を復元し,構造化されたMDPに対して改善する,$smashtildeO(dH2bar_TsqrtT)$の後悔を実現するアルゴリズムを提案する。
論文参考訳（メタデータ） (2026-05-19T12:39:32Z)
IsoQuant: Hardware-Aligned SO(4) Isoclinic Rotations for LLM KV Cache Compression [0.4496256885343706]
四元数代数に基づくブロックワイズ回転フレームワークと、SO(4)$の等クリニック分解を提案する。 IsoQuantは、平均的なカーネルレベルのスピードアップを4.5times$--$4.7times$ over RotorQuantで達成し、ピーク時のスピードアップは6times$以上である。
論文参考訳（メタデータ） (2026-03-30T13:37:45Z)
KromHC: Manifold-Constrained Hyper-Connections with Kronecker-Product Residual Matrices [6.968486021891596]
本研究は, 残留行列の小さいアンダーラインKronecker生成物を用いて, アンダーラインmHCの残留行列をパラメトリゼーションするtextbfKromHCを提案する。実験により、KromHCは、訓練可能なパラメータを著しく少なくしながら、最先端のmHC変種にマッチし、さらに優れることを示した。
論文参考訳（メタデータ） (2026-01-29T11:43:05Z)
mHC-GNN: Manifold-Constrained Hyper-Connections for Graph Neural Networks [0.0]
我々は最近Transformersのために提案されたManifold-Constrained Hyper-Connection (mhc)citepxie2025mhcをグラフニューラルネットワークに適用する。提案手法であるmHC-GNNは,ノード表現を$n$並列ストリームに拡張し,ストリーム混合行列をBirkhoffポリトープに制約する。
論文参考訳（メタデータ） (2026-01-05T17:25:45Z)
1D Cluster State Generation On Superconducting Hardware [0.0]
測定に基づく量子計算は、量子計算を行うためのリソースとして絡み合いを利用する。リソースとして絡み合いを使ってクラスタ状態を生成することは、MBQCを採用する上で重要なボトルネックである。 4-qubitクラスタ状態に対する解析的導出と数値検証を行う。
論文参考訳（メタデータ） (2025-08-29T17:24:35Z)
XQuant: Breaking the Memory Wall for LLM Inference with KV Cache Rematerialization [58.92253769255316]
LLM推論はメモリフットプリントと帯域幅の要求のために困難である。 XQuantは、ハードウェアプラットフォームの急速に増加する計算能力を利用して、メモリボトルネックを取り除く。 XQuant-CLは、極端な圧縮のためにX埋め込みの層間類似性を利用する。
論文参考訳（メタデータ） (2025-08-14T06:52:38Z)
SVDQuant: Absorbing Outliers by Low-Rank Components for 4-Bit Diffusion Models [61.474101404805545]
拡散モデルは高品質なイメージを生成することができるが、スケールするにつれて、メモリ要求が増加し、より高いレイテンシがデプロイメント上の課題を引き起こす。この制限を克服する新しい4ビット量子化パラダイムであるSVDQuantを提案する。 We reduce the memory usage for the 12B FLUX.1 models by 3.5$times$, achieved 3.0$times$ speedup over the 4-bit weight-only Quantization (W4A16) baseline。
論文参考訳（メタデータ） (2024-11-07T18:59:58Z)
1$\ imes$N Block Pattern for Network Sparsity [90.43191747596491]
我々は,この制限を破るために,ブロック間隔パターン(ブロックプルーニング)を1時間で定義する新しい概念を提案する。このパターンはMobileNet-V2の上位1の精度でフィルタプルーニングよりも約3.0%改善されている。また、重み付けによるCortex-A7 CPUの56.04msの推論も得る。
論文参考訳（メタデータ） (2021-05-31T05:50:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。