論文の概要: How Does mHC Use Its Residual Streams? Selective Routing and Near-Identity Mixing
- arxiv url: http://arxiv.org/abs/2609.05309v1
- Date: Fri, 04 Sep 2026 16:02:20 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-07 18:15:24.110648
- Title: How Does mHC Use Its Residual Streams? Selective Routing and Near-Identity Mixing
- Title（参考訳）: mHCは残留ストリームをどのように利用するか? 選択的なルーティングと近距離密度混合
- Abstract要約: ハイパーコネクションとその多様体に制約のある変種 mHC は、1つのストリームから n への残留経路を広げる。
本研究では,DeepSeek-V4-Flashの4流残留経路におけるこれらの特性について,実効的なストリーム数,ストリーム間残留重量,ストリーム間コサイン類似性を用いて検討した。
- 参考スコア（独自算出の注目度）: 27.28406965127085
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Hyper-Connections and their manifold-constrained variant mHC widen a residual pathway from one stream to n, yet how trained models use this capacity remains unclear: how broadly blocks read and write, how strongly the residual pathway mixes streams, and whether the streams carry distinct representations. We examine these properties in the four-stream residual pathway of DeepSeek-V4-Flash using effective stream counts, cross-stream residual weights, and inter-stream cosine similarity. Read/write routing is concentrated but varies across depth: a typical attention or FFN site effectively uses about two streams, while the dominant stream changes across layers and the representations remain directionally distinct. Residual mixing is modest and occurs primarily in early layers; in layers 22-42, the pathway mostly carries each stream forward separately. Targeted interventions establish the functional significance of these patterns. Replacing the late mixers by identity increases C4 perplexity by only 1.9% and preserves the six-task average score, whereas replacing the early mixers increases perplexity by 41%. Fixing each early mixer to its C4 diagnostic mean increases perplexity by only 0.2% and reduces the average score by 0.25 percentage points, showing that its site-specific structure matters more than its token-wise variation on the evaluated metrics. Likewise, retaining the three largest routing weights per token at every site increases perplexity by at most 2.7% and changes the average score by at most 0.4 points. Thus, the studied model realizes only part of the flexibility afforded by four-stream mHC: individual blocks rarely require all four streams, and late residual mixing provides little measured benefit.
- Abstract（参考訳）: ハイパーコネクトとそれらの多様体に制約のある変種 mHC は、あるストリームから n への残留経路を広げるが、いかに訓練されたモデルがこの容量を使用するかは定かではない。
本研究では,DeepSeek-V4-Flashの4流残留経路におけるこれらの特性について,実効的なストリーム数,ストリーム間残留重量,ストリーム間コサイン類似性を用いて検討した。
典型的な注意またはFFNサイトは2つのストリームを効果的に利用し、支配的なストリームは層間で変化し、表現は方向によって異なる。
残留ミキシングは穏やかであり、主に初期の層で発生し、22-42層では、経路は主に各ストリームを別々に転送する。
標的とした介入は、これらのパターンの機能的重要性を確立する。
後期ミキサーをアイデンティティで置き換えると、C4パープレキシティはわずか1.9%増加し、6タスクの平均スコアは維持されるが、初期のミキサーを置き換えるとパープレキシティは41%上昇する。
早期ミキサーをC4診断に固定すると、難易度はわずか0.2%増加し、平均スコアは0.25ポイント低下する。
同様に、各サイトにおけるトークン当たりの3つの最大のルーティングウェイトを保持することは、パープレキシティを少なくとも2.7%増加させ、平均スコアを少なくとも0.4ポイント変更する。
したがって, 実験モデルでは, 個々のブロックが4つのストリームすべてを必要とすることは稀であり, 遅延残留混合は, 測定された利益をほとんど得られない。
関連論文リスト
- From Concentration to Differentiation and Back: Routing Effective Rank in MoE Reasoning Cohorts [61.695980784491475]
テストタイムスケーリングは、推論ロールアウトのコホートを生成するが、推論が展開するにつれて内部計算がどのように再編成されるかについて、標準的なラベルのない説明はない。
本稿では,MoEの専門家による類似性から構築したクロスロールアウトグラフのエントロピー有効次元性であるルーティング有効ランクデフを導入する。
論文 参考訳（メタデータ） (2026-09-06T05:43:22Z) - oHC: Orthogonal Hyper-Connections on SO(4) via Quaternions [28.273021522179423]
ハイパーコネクション(HC)はトランスフォーマーの1つの残留ストリームを$n$並列ストリームに置き換え、学習した$n×n$残留行列を各層に混合する。
マトリックスを無拘束にしておくと、混合ステップが残留ストリームを再スケールする因子に制限がなく、その因子は層にまたがって化合物を分解し、トレーニングを不安定にする。
我々は, 残留行列を回転群 $SO(n)$ に制限し, 混合ステップが任意の方向の残留ストリームを増幅も減衰もしないように, 直交ハイパーコネクション (oHC) を提案する。
論文 参考訳（メタデータ） (2026-09-02T14:45:42Z) - On the Design of Qwen3.8-Next Architecture: Evaluation, Efficiency, and Training Stability [57.03393882933515]
Qwen3.8-Flash-Nextは125Bパラメータ、トークンあたり6Bアクティベートされ、加速器から保持されるn-gram埋め込みテーブルの51Bパラメータを持つスパースミックス・オブ・エキスパートモデルである。
トレーニング前の14のベンチマークでは、このモデルは前モデルの397B-A17Bを8点、残りを少なくとも2.6ポイント、アクティベートされたパラメータが1/3、トレーニングトークンが1/3、トレーニング用FLOPが1/9であった。
論文 参考訳（メタデータ） (2026-08-31T06:35:07Z) - Spectral-Embedded Operator Learning for Three-Phase Interfacial Flow: A Ternary Cahn-Hilliard-Navier-Stokes Benchmark [0.6008132390640294]
本稿では,多チャンネルインタフェースを優先したターゲットに対して,トランク座標の表現が重要であるかどうかを検討するために,三相界面フローベンチマークを提案する。
9次元のパラメータ空間にまたがる 1,024 Sobol-sampled シミュレーションから,物理パラメータから5チャネルの時空場へのマッピングを学習する。
以上の結果から,チェビシェフ表現はこの3相流の強い非周期壁正規構造と時間構造に対して特に有効であることが示唆された。
論文 参考訳（メタデータ） (2026-08-29T05:45:42Z) - PTQ4SNN: Membrane-Aware Post-Training Quantization for Spiking Neural Networks [51.21235018272886]
スパイキングニューラルネットワーク(SNN)はスパースとイベント駆動の計算を可能にするが、その低ビット展開は不完全である。
本稿では,小さなキャリブレーションセットのみを用いて,重みと繰り返し膜状態の同時定量化を行う膜認識後量子化フレームワークPTQ4SNNを提案する。
静的および事象に基づく分類とセマンティックセグメンテーションの実験により、PTQ4SNNはW4量子化と約4ビットの膜精度の下でモデル精度を効果的に保存することを示した。
論文 参考訳（メタデータ） (2026-08-07T10:16:25Z) - WAV: Multi-Resolution Block Residual Routing for Deep Decoder-Only Transformers [1.2973070941583096]
WAV v1はデコーダのみのトランスフォーマーのための軽量な残差ルーティング手法である。
これは、Block AttnResに対する損失をTinyStoriesで0.4960から0.4738、Text8で0.9363から0.9305に削減する。
論文 参考訳（メタデータ） (2026-06-04T16:15:27Z) - Analyzing Stream Collapse in Hyper-Connections: From Diagnosis to Mitigation [48.87937677659571]
ハイパーコネクションは、単一のトランスフォーマー残ストリームを複数のストリームに置き換え、ストリームインデックスに置換対称性を導入する。
我々は、この対称性が実際にどのように解決されるか、ストリームがバランスの取れた方法で専門化しているか、それとも支配的なストリーム利用を示すかを検討する。
論文 参考訳（メタデータ） (2026-06-02T11:00:49Z) - scHelix: Asymmetric Dual-Stream Integration via Explicit Gene-Level Disentanglement [84.88065404629079]
scHelixは、機能がどのように処理されるかを根本的に変更するデータセット適応フレームワークである。
scHelixは、停止段階のグラフキャッシュを備えたデュアルストリームスパース拡散エンコーダを使用する。
scHelixは最先端のメソッドより優れています。
論文 参考訳（メタデータ） (2026-05-18T15:55:13Z) - QYOLO: Lightweight Object Detection via Quantum Inspired Shared Channel Mixing [2.571702746660217]
この研究は、真のアーキテクチャ圧縮を実現する量子インスパイアされたチャネルミキシングフレームワークであるQYOLOを紹介する。
提案ブロックは,共有学習可能なパラメータを持つ正弦波混合機構を用いて,グローバルチャネルの校正を行う。
QYOLOv8sは0.1ppの劣化で21.8%の低減を実現し、完全精度のパリティは圧縮コストなしで回収される。
論文 参考訳（メタデータ） (2026-04-29T08:47:27Z) - Structure-Informed Estimation for Pilot-Limited MIMO Channels via Tensor Decomposition [51.56484100374058]
本稿では、スパース観測から低ランクテンソル完備化としてパイロットリミテッドチャネル推定を定式化する。
合成チャネル実験による最小二乗平均二乗誤差(NMSE)の最小二乗平均誤差(LS)に対する改善
DeepMIMO線トレーシングチャネルの評価では、純粋なテンソル法よりも24-44%NMSEが減少している。
論文 参考訳（メタデータ） (2026-02-03T23:38:05Z) - ProReflow: Progressive Reflow with Decomposed Velocity [52.249464542399636]
フローマッチングは、拡散モデルの拡散過程を数ステップまたは1ステップ生成のために直線に再フローすることを目的としている。
局所的な時間ステップで拡散モデルを段階的に再フローし,拡散全体を進行させるプログレッシブ・リフローを導入する。
また,フローマッチングにおける方向整合の重要性を強調し,位置整合性を考慮したV-Predictionを導入する。
論文 参考訳（メタデータ） (2025-03-05T04:50:53Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。