論文の概要: Analyzing Stream Collapse in Hyper-Connections: From Diagnosis to Mitigation

• arxiv url: http://arxiv.org/abs/2606.03483v1
• Date: Tue, 02 Jun 2026 11:00:49 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-03 22:00:04.952247
• Title: Analyzing Stream Collapse in Hyper-Connections: From Diagnosis to Mitigation
• Title（参考訳）: ハイパーコネクションにおけるストリーム崩壊の解析:診断から緩和まで
• Authors: Ekaterina Alimaskina, Gleb Molodtsov, Aleksandr Beznosikov,
• Abstract要約: ハイパーコネクションは、単一のトランスフォーマー残ストリームを複数のストリームに置き換え、ストリームインデックスに置換対称性を導入する。 我々は、この対称性が実際にどのように解決されるか、ストリームがバランスの取れた方法で専門化しているか、それとも支配的なストリーム利用を示すかを検討する。
• 参考スコア（独自算出の注目度）: 48.87937677659571
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Hyper-Connections (HC) replace the single Transformer residual stream with multiple streams, introducing a permutation symmetry over stream indices. We study how this symmetry is resolved in practice: whether streams specialize in a balanced way or exhibit dominant-stream usage. Using fine-grained diagnostics for HC-based language models, we trace how multi-stream representations are actually used. We find that after an early seeding stage, residual mixing often remains close to identity, limiting a core HC mechanism for exchanging information between streams. Moreover, both signal and interpretable features concentrate in a dominant stream, and the nominally multi-stream residual connection can underutilize its capacity, behaving closer to a single-stream residual pathway. Finally, we show that breaking symmetry at stream initialization reduces dominant behavior and improves performance across \textit{m}HC variants. Our code is publicly available.
• Abstract（参考訳）: ハイパーコネクション(HC)は、1つのトランスフォーマー残ストリームを複数のストリームに置き換え、ストリームインデックスに置換対称性を導入する。 我々は、この対称性が実際にどのように解決されるか、すなわち、ストリームがバランスの取れた方法で専門化するか、支配的なストリーム利用を示すかを検討する。 HCに基づく言語モデルのためのきめ細かい診断法を用いて、マルチストリーム表現が実際にどのように使われているかを追跡する。 初期のシード段階の後、残留混合はしばしば同一性に近づき、ストリーム間で情報を交換するためのコアHCメカニズムが制限されることが判明した。 さらに、信号と解釈可能な両方の特徴は支配的なストリームに集中しており、名目上はマルチストリーム残差接続はその容量を弱め、単一ストリーム残差経路に近いものにすることができる。 最後に,ストリーム初期化時の対称性の破れが支配的挙動を減少させ,<textit{m}HC 変種間の性能を向上させることを示す。 私たちのコードは公開されています。

関連論文リスト

• Evaluating Transformer and LSTM Frameworks for Prediction in Ungauged Basins [4.077787659104315]
  未掘削の盆地では、直接観測の欠如は不確実性を高め、極端な事象を予想する能力を制限する。 本研究は, エンコーダのみのトランスフォーマーが, 水文情報に制限された上流ストリームフロー推論において, LSTMよりも有利であるか否かを評価する。
  論文  参考訳（メタデータ） (2026-06-01T18:57:20Z)
• scHelix: Asymmetric Dual-Stream Integration via Explicit Gene-Level Disentanglement [84.88065404629079]
  scHelixは、機能がどのように処理されるかを根本的に変更するデータセット適応フレームワークである。 scHelixは、停止段階のグラフキャッシュを備えたデュアルストリームスパース拡散エンコーダを使用する。 scHelixは最先端のメソッドより優れています。
  論文  参考訳（メタデータ） (2026-05-18T15:55:13Z)
• Flow Matching with Optimized Subclass Priors for Medical Image Augmentation [10.504309161945065]
  本稿では,2段階の事前情報を提供するオフライン戦略を提案する。 それぞれの粗いラベルをガウス混合モデリングによりコヒーレントなサブモーメントに分割する。 サブモードごとの開始分布を再集中し、再スケールするサブクラス条件のソース分布を学習する。
  論文  参考訳（メタデータ） (2026-05-15T12:05:15Z)
• Ablate and Rescue: A Causal Analysis of Residual Stream Hyper-Connections [5.356431232110434]
  並列ストリームが情報をどのように符号化し活用するかを探索する,最初のオープンソースのmHC言語モデルを提案する。 本稿では,残差ストリームの因果関係を推論時に直接因果関係で比較できる,系統的なストリーム・アブレーション・レスキュー・フレームワークを提案する。
  論文  参考訳（メタデータ） (2026-03-16T05:24:44Z)
• JPmHC Dynamical Isometry via Orthogonal Hyper-Connections [2.4311915994390403]
  JPmHCは、n個の並列ストリームに作用するトレーニング可能な線形ミキサーでIDスキップを置き換えるフレームワークである。 緩やかな病理を予防し、安定性を高める。 両眼的ベースラインに比べて、より高速な収束、高い精度、計算コストの低減を実現している。
  論文  参考訳（メタデータ） (2026-02-20T16:06:01Z)
• Trajectory Stitching for Solving Inverse Problems with Flow-Based Models [68.36374645801901]
  フローベースの生成モデルは、逆問題を解決するための強力な先行要因として現れてきた。 1つの初期コードではなく、中間潜在状態の列として軌道を表すMS-Flowを提案する。 画像の回復と逆問題に対するMS-Flowの有効性を示す。
  論文  参考訳（メタデータ） (2026-02-09T11:36:41Z)
• Variational Bayesian Flow Network for Graph Generation [54.94088904387278]
  グラフ生成のための変分ベイズフローネットワーク(VBFN)を提案する。 VBFNは、構造化精度で支配されるトラクタブルジョイントガウス変分信念ファミリーに対して変分リフトを行う。 合成グラフと分子グラフのデータセットでは、VBFNは忠実度と多様性を改善し、ベースライン法を超えている。
  論文  参考訳（メタデータ） (2026-01-30T03:59:38Z)
• FlowDPS: Flow-Driven Posterior Sampling for Inverse Problems [51.99765487172328]
  逆問題解決のための後部サンプリングは,フローを用いて効果的に行うことができる。 Flow-Driven Posterior Smpling (FlowDPS) は最先端の代替手段よりも優れています。
  論文  参考訳（メタデータ） (2025-03-11T07:56:14Z)
• Flowformer: Linearizing Transformers with Conservation Flows [77.25101425464773]
  本研究では,フローネットワーク理論に基づくインダクティブバイアスのないトランスフォーマーを線形化する。 ソースコンペティション用シンクの流入流と、シンクアロケーション用ソースの流出流をそれぞれ保存することにより、フローアテンションは本質的に情報的注意を発生させる。
  論文  参考訳（メタデータ） (2022-02-13T08:44:10Z)
• Dimensionless Anomaly Detection on Multivariate Streams with Variance Norm and Path Signature [3.1248842798600607]
  多変量ストリームに対する次元無次元異常検出法を提案する。 まず、無限次元特徴空間を扱うために、マハラノビス距離の一般化である分散ノルムを提案する。 次に、分散ノルムと、ストリームのグローバルな特徴を提供する反復積分の無限の集合であるパスシグネチャを組み合わせる。 我々はSigMahaKNNがストリーム再パラメータ化やストリーム結合に不変であることを示し、経路シグネチャの切り離しレベルに応じてグレードされた識別能力を有することを示す。
  論文  参考訳（メタデータ） (2020-06-05T14:42:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。