論文の概要: Beyond the Birkhoff Polytope: Spectral-Sphere-Constrained Hyper-Connections

• arxiv url: http://arxiv.org/abs/2603.20896v1
• Date: Sat, 21 Mar 2026 18:03:03 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-03-24 19:11:39.138643
• Title: Beyond the Birkhoff Polytope: Spectral-Sphere-Constrained Hyper-Connections
• Title（参考訳）: バーホフのポリトープの向こう:スペクトル-球面-制限されたハイパーコネクション
• Authors: Zhaoyi Liu, Haichuan Zhang, Ang Li,
• Abstract要約: 制約のない混合は、アイデンティティマッピング特性を残留接続に妨害し、不安定なトレーニングを引き起こす。 スペクトル球学習ハイパーコネクション(sHC)を提案する。 sHCは負のエントリを許容し、選択的な特徴の多様化のための抽出的相互作用を解き放つ。
• 参考スコア（独自算出の注目度）: 10.82991070567946
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Hyper-Connections (HC) generalize residual connections into multiple streams, employing residual matrices for cross-stream feature mixing to enrich model expressivity. However, unconstrained mixing disrupts the identity mapping property intrinsic to the residual connection, causing unstable training. To address this, Manifold-Constrained Hyper-Connections (mHC) and its variant restrict these matrices to the Birkhoff polytope (doubly stochastic matrices) via Sinkhorn iterations or permutation-based parameterizations. We reveal three limitations of this polytope constraint: (1) identity degeneration, where learned matrices collapse around the identity and diminish cross-stream interactions, (2) an expressivity bottleneck, as the non-negativity constraint prevents subtractive feature disentanglement, and (3) parameterization inefficiencies, manifesting as unstable Sinkhorn iterations or the factorial-scaling overhead of permutation-based parameterizations. To overcome these flaws, we propose Spectral-Sphere-Constrained Hyper-Connections (sHC). By geometrically shifting the feasible set from a rigid polytope to a spectral norm sphere, sHC allows negative entries, unlocking subtractive interactions for selective feature diversification. This shift eliminates unstable Sinkhorn projections and factorial parameterization, enabling expressive, non-degenerate residual matrices while preserving training stability.
• Abstract（参考訳）: ハイパーコネクション(HC)は複数のストリームへの残差接続を一般化し、モデル表現性を高めるためにクロスストリーム特徴混合に残留行列を用いる。 しかし、制約のない混合は、残留接続に固有のアイデンティティマッピング特性を阻害し、不安定なトレーニングを引き起こす。 これを解決するために、マニフォールド制約されたハイパーコネクト(mHC)とその変種は、これらの行列をシンクホーン反復または置換に基づくパラメータ化を介してバーホフ多面体(二重確率行列)に制限する。 このポリトープ制約は,(1) 学習行列が同一性を中心に崩壊し,ストリーム間相互作用が減少するアイデンティティ・デジェネレーション,(2) 非負性性制約が引き起こす特徴のゆがみを抑えるための表現的ボトルネック,(3) パラメータ化の非効率性,(3) 不安定なシンクホーン反復あるいは置換に基づくパラメータ化の因果的オーバーヘッドを示す。 これらの欠陥を克服するために、スペクトル球制約ハイパーコネクション(sHC)を提案する。 厳密なポリトープからスペクトルノルム球への実現可能な集合を幾何学的にシフトさせることで、sHCは負のエントリを許容し、選択的な特徴の多様化のために従属的な相互作用を解き放つ。 このシフトは、不安定なシンクホーン射影と因子的パラメータ化を排除し、訓練安定性を維持しながら、表現的かつ非退化的な残留行列を可能にする。

関連論文リスト

• JPmHC Dynamical Isometry via Orthogonal Hyper-Connections [2.4311915994390403]
  JPmHCは、n個の並列ストリームに作用するトレーニング可能な線形ミキサーでIDスキップを置き換えるフレームワークである。 緩やかな病理を予防し、安定性を高める。 両眼的ベースラインに比べて、より高速な収束、高い精度、計算コストの低減を実現している。
  論文  参考訳（メタデータ） (2026-02-20T16:06:01Z)
• The Homogeneity Trap: Spectral Collapse in Doubly-Stochastic Deep Networks [1.7523718031184992]
  構造保存深層構造に固有の臨界スペクトル劣化現象を同定する。 最大エントロピーバイアスは混合作用素を均一なバリセンターへ誘導し、従属特異値 を抑えることを示す。 ネットワークの有効深度にリンクするスペクトル境界を導出し、高エントロピー制約が浅層受容場への特徴変換を制限することを示す。
  論文  参考訳（メタデータ） (2026-01-05T13:09:42Z)
• Random-Matrix-Induced Simplicity Bias in Over-parameterized Variational Quantum Circuits [72.0643009153473]
  本稿では,観測可能な期待値とパラメータ勾配の両方がシステムサイズに指数関数的に集中するHaar型普遍性クラスに,表現的変分アンサーゼが入ることを示す。 その結果、そのような回路によって誘導される仮説クラスは、近点関数の狭い族に高い確率で崩壊する。 テンソル-ネットワークベースおよびテンソル-ハイパーネットワークパラメータ化を含むテンソル構造VQCは、ハール型普遍性クラスの外にある。
  論文  参考訳（メタデータ） (2026-01-05T08:04:33Z)
• Graph-based Clustering Revisited: A Relaxation of Kernel $k$-Means Perspective [73.18641268511318]
  本稿では,クラスタリング結果を導出するための正規制約のみを緩和するグラフベースのクラスタリングアルゴリズムを提案する。 二重制約を勾配に変換するために、非負の制約をクラス確率パラメータに変換する。
  論文  参考訳（メタデータ） (2025-09-23T09:14:39Z)
• Absorb and Converge: Provable Convergence Guarantee for Absorbing Discrete Diffusion Models [66.0716790920952]
  吸収率行列を用いた離散拡散モデルに対する第1次有限時間誤差境界と収束速度解析を提供する。 我々は、吸収率行列の下での$tau$-leapingと均一化サンプリングの双方に対する最初の収束保証を確立する。 適切な仮定の下では、早期に停止することなく収束保証を提供する。
  論文  参考訳（メタデータ） (2025-06-02T23:14:35Z)
• Spiral flow of quantum quartic oscillator with energy cutoff [0.0]
  補正行列のカットオフ依存性は三次元ベクトルのスパイラル運動によって説明できる。 この極限サイクルと浮動小数点挙動の基本的な組み合わせは、さらなる研究を保証している。
  論文  参考訳（メタデータ） (2024-04-26T14:34:05Z)
• Orthogonal Nonnegative Matrix Factorization with Sparsity Constraints [0.0]
  本稿では,空間制約付き直交非負行列因子分解(SCONMF)問題に対する新しいアプローチを提案する。 容量制約のある施設配置問題としてSCONMFを再構成することにより, 提案手法は非負性, 直交性, 疎性制約を自然に統合する。 具体的には,動的最適制御設計問題に使用される制御バリア関数(CBF)に基づくフレームワークと,施設配置問題に使用される最大エントロピー原理に基づくフレームワークを統合し,ロバストな因子化を確保しつつ,これらの制約を強制する。
  論文  参考訳（メタデータ） (2022-10-06T04:30:59Z)
• Semi-Supervised Subspace Clustering via Tensor Low-Rank Representation [64.49871502193477]
  本稿では,初期監視情報を同時に拡張し,識別親和性行列を構築することのできる,新しい半教師付きサブスペースクラスタリング手法を提案する。 6つの一般的なベンチマークデータセットの総合的な実験結果から,本手法が最先端手法よりも優れていることを示す。
  論文  参考訳（メタデータ） (2022-05-21T01:47:17Z)
• Surveying the Multicomponent Scattering Matrix: Unitarity and Symmetries [0.0]
  我々は、ユニタリティ保存のための量子輸送問題の基本となる頑健な理論手順を導出する。 我々は,トンネルチャネルのしきい値をより正確に定義するための新しい補完ツールとして,状態ベクトル移動行列と条件数の大きな値との相互作用を予測した。
  論文  参考訳（メタデータ） (2020-10-29T20:37:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。