論文の概要: oHC: Orthogonal Hyper-Connections on SO(4) via Quaternions
- arxiv url: http://arxiv.org/abs/2609.02672v1
- Date: Wed, 02 Sep 2026 14:45:42 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-03 17:53:18.418369
- Title: oHC: Orthogonal Hyper-Connections on SO(4) via Quaternions
- Title（参考訳）: oHC:四元数によるSO(4)上の直交ハイパーコネクション
- Abstract要約: ハイパーコネクション(HC)はトランスフォーマーの1つの残留ストリームを$n$並列ストリームに置き換え、学習した$n×n$残留行列を各層に混合する。
マトリックスを無拘束にしておくと、混合ステップが残留ストリームを再スケールする因子に制限がなく、その因子は層にまたがって化合物を分解し、トレーニングを不安定にする。
我々は, 残留行列を回転群 $SO(n)$ に制限し, 混合ステップが任意の方向の残留ストリームを増幅も減衰もしないように, 直交ハイパーコネクション (oHC) を提案する。
- 参考スコア（独自算出の注目度）: 28.273021522179423
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Hyper-Connections (HC) replace the single residual stream of a Transformer with $n$ parallel ones, mixing them at every layer with a learned $n \times n$ residual matrix. Leaving that matrix unconstrained places no limit on the factor by which the mixing step rescales the residual streams, and that factor compounds across layers, which destabilizes training. Manifold-constrained Hyper-Connections (mHC) address this by restricting the matrix to the doubly stochastic matrices. That caps the factor at one, so the mixing can no longer amplify any direction, but nothing bounds it from below. We prove that inside this set the mixing step can reduce the norm of the residual streams only by shrinking the differences between the streams, while their mean is left unchanged; and since the reduction accumulates over layers, the streams grow more alike and their diversity is spent with depth. We therefore propose Orthogonal Hyper-Connections (oHC), restricting the residual matrix to the rotation group $SO(n)$, so that the mixing step can neither amplify nor attenuate the residual streams in any direction, which keeps training stable and no longer forces the differences between the streams to contract. Specifically, at the four streams used by recent HC models we parameterize the group in closed form by a pair of unit quaternions, which adds no parameters, replaces the iterative projection with a fixed pattern of signed additions, and can be constructed faster than mHC. We evaluate oHC across a comprehensive set of downstream tasks, where it outperforms the single-stream residual baseline, mHC and iHC, which fixes the residual matrix to the identity.
- Abstract（参考訳）: ハイパーコネクション(HC)はトランスフォーマーの1つの残留ストリームを$n$並列ストリームに置き換え、学習した$n \times n$残留行列を各層に混合する。
マトリックスを無拘束にしておくと、混合ステップが残留ストリームを再スケールする因子に制限がなく、その因子は層にまたがって化合物を分解し、トレーニングを不安定にする。
Manifold-Constrained Hyper-Connection (mHC) は、行列を2つの確率行列に制限することでこの問題に対処する。
そのため、混合はもはやいかなる方向も増幅することができないが、下からは何も束縛されない。
このセット内での混合ステップは、ストリーム間の差を小さくすることでのみ残留ストリームのノルムを減少させるが、平均は変わらないことが証明され、その削減は層の上に蓄積されるので、ストリームはよりよく成長し、多様性は深さと共に消費される。
そこで我々は, 残留行列を回転群 $SO(n)$ に制限し, 混合ステップが任意の方向の残留ストリームを増幅も減衰もせず, トレーニングを安定に保ち, ストリーム間の差異を収縮させないように, 直交ハイパーコネクション (oHC) を提案する。
具体的には、最近のHCモデルで使用される4つのストリームにおいて、一対の単位四元数によって群を閉じた形でパラメータ化し、パラメータを追加せず、反復射影を符号付き加算の固定パターンに置き換え、mHCよりも高速に構築することができる。
下流タスクの包括的セットでoHCを評価し,mHCとiHCという単一ストリーム残差ベースラインを上回り,残差行列を同一性に固定する。
関連論文リスト
- Nonlocality-induced critical-length hierarchy from non-Hermitian competition [48.9823527611878]
2つの連結鎖からなる短距離系において、競合は臨界長法則$N_csimln D$に導かれる。
ここでは、長距離ホッピングがこの臨界挙動を根本的に再編成し、異なるスケーリング法則の階層を生成することを示す。
この結果は,プログラム可能なトポ誘電回路,フォトニック格子,デジタル量子シミュレータでテスト可能なプラットフォーム非依存のフレームワークを提供する。
論文 参考訳（メタデータ） (2026-08-03T18:00:18Z) - CoCurve: Cross-Module Co-Pruning Curvature for Training-Free Structured LLM Pruning [47.406985340436925]
CoCurveはキャリブレーションのみの、微調整なしの手法で、注意とFFNのユニットを共同で刺激する。
これは1つの予算付き二次プログラムに還元され、ラベル、微調整、リカバリを伴わず、共有された注目の下で1ショットで解決される。
論文 参考訳（メタデータ） (2026-07-20T05:27:57Z) - Closed-Form Spectral Regularization for Multi-Task Model Merging [96.82449201305234]
モデルマージは、個別に調整された複数の専門家をトレーニングデータなしで単一のマルチタスクモデルに結合する。
State-of-the-art merging method formulate merging as a layer-wise interference problem。
本稿では,逐次降下の勾配-流路に一致するソフト指数フィルタを組み合わせた閉形式手法SWUDIを提案する。
論文 参考訳（メタデータ） (2026-06-05T14:00:47Z) - Analyzing Stream Collapse in Hyper-Connections: From Diagnosis to Mitigation [48.87937677659571]
ハイパーコネクションは、単一のトランスフォーマー残ストリームを複数のストリームに置き換え、ストリームインデックスに置換対称性を導入する。
我々は、この対称性が実際にどのように解決されるか、ストリームがバランスの取れた方法で専門化しているか、それとも支配的なストリーム利用を示すかを検討する。
論文 参考訳（メタデータ） (2026-06-02T11:00:49Z) - TBP-mHC: full expressivity for manifold-constrained hyper connections through transportation polytopes [0.0]
ハイパーコネクション(HC)は、複数の残留ストリームに学習可能な混合を導入することで、残留ネットワークを改善する。
輸送ビルホフポリトープ(TBP)パラメータ化とその再帰的変種(RTBP)を提案する。
提案手法は,バーホフポリトープの完全表現性を維持しながら,反復正規化と爆発を回避する。
論文 参考訳（メタデータ） (2026-05-20T20:31:10Z) - scHelix: Asymmetric Dual-Stream Integration via Explicit Gene-Level Disentanglement [84.88065404629079]
scHelixは、機能がどのように処理されるかを根本的に変更するデータセット適応フレームワークである。
scHelixは、停止段階のグラフキャッシュを備えたデュアルストリームスパース拡散エンコーダを使用する。
scHelixは最先端のメソッドより優れています。
論文 参考訳（メタデータ） (2026-05-18T15:55:13Z) - Beyond the Birkhoff Polytope: Spectral-Sphere-Constrained Hyper-Connections [10.82991070567946]
制約のない混合は、アイデンティティマッピング特性を残留接続に妨害し、不安定なトレーニングを引き起こす。
スペクトル球学習ハイパーコネクション(sHC)を提案する。
sHCは負のエントリを許容し、選択的な特徴の多様化のための抽出的相互作用を解き放つ。
論文 参考訳（メタデータ） (2026-03-21T18:03:03Z) - Rejection Mixing: Fast Semantic Propagation of Mask Tokens for Efficient DLLM Inference [58.189320101488725]
DLLMは高速な非自己回帰推論を約束するが、並列デコーディングにおいて厳しい品質と速度のトレードオフを被る。
我々は、連続表現を離散デコードプロセスに統合することでこの問題に対処する。
本稿では,初期マスキング状態と最終復号化トークン状態の中間として,新しい連続混合状態を導入するフレームワークであるReMixを提案する。
論文 参考訳（メタデータ） (2026-02-26T11:08:11Z) - KromHC: Manifold-Constrained Hyper-Connections with Kronecker-Product Residual Matrices [6.968486021891596]
本研究は, 残留行列の小さいアンダーラインKronecker生成物を用いて, アンダーラインmHCの残留行列をパラメトリゼーションするtextbfKromHCを提案する。
実験により、KromHCは、訓練可能なパラメータを著しく少なくしながら、最先端のmHC変種にマッチし、さらに優れることを示した。
論文 参考訳（メタデータ） (2026-01-29T11:43:05Z) - mHC-lite: You Don't Need 20 Sinkhorn-Knopp Iterations [5.518733929171501]
制約のない残留行列は訓練安定性を損なうことがある。
DeepSeek's Manifold-Constrained Hyper-Connections (mHC) は、これらの行列を反復シンクホーン-クノップ(SK)正規化を通じてバーホフポリトープに投影する。
論文 参考訳（メタデータ） (2026-01-09T11:19:14Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。