論文の概要: KromHC: Manifold-Constrained Hyper-Connections with Kronecker-Product Residual Matrices

• arxiv url: http://arxiv.org/abs/2601.21579v1
• Date: Thu, 29 Jan 2026 11:43:05 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-01-30 16:22:49.775718
• Title: KromHC: Manifold-Constrained Hyper-Connections with Kronecker-Product Residual Matrices
• Title（参考訳）: KromHC: Kronecker-Product Residual Matricesを用いたManifold-Constrained Hyper-Connections
• Abstract要約: 本研究は, 残留行列の小さいアンダーラインKronecker生成物を用いて, アンダーラインmHCの残留行列をパラメトリゼーションするtextbfKromHCを提案する。 実験により、KromHCは、訓練可能なパラメータを著しく少なくしながら、最先端のmHC変種にマッチし、さらに優れることを示した。
• 参考スコア（独自算出の注目度）: 6.968486021891596
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The success of Hyper-Connections (HC) in neural networks (NN) has also highlighted issues related to its training instability and restricted scalability. The Manifold-Constrained Hyper-Connections (mHC) mitigate these challenges by projecting the residual connection space onto a Birkhoff polytope, however, it faces two issues: 1) its iterative Sinkhorn-Knopp (SK) algorithm does not always yield exact doubly stochastic residual matrices; 2) mHC incurs a prohibitive $\mathcal{O}(n^3C)$ parameter complexity with $n$ as the width of the residual stream and $C$ as the feature dimension. The recently proposed mHC-lite reparametrizes the residual matrix via the Birkhoff-von-Neumann theorem to guarantee double stochasticity, but also faces a factorial explosion in its parameter complexity, $\mathcal{O} \left( nC \cdot n! \right)$. To address both challenges, we propose \textbf{KromHC}, which uses the \underline{Kro}necker products of smaller doubly stochastic matrices to parametrize the residual matrix in \underline{mHC}. By enforcing manifold constraints across the factor residual matrices along each mode of the tensorized residual stream, KromHC guarantees exact double stochasticity of the residual matrices while reducing parameter complexity to $\mathcal{O}(n^2C)$. Comprehensive experiments demonstrate that KromHC matches or even outperforms state-of-the-art (SOTA) mHC variants, while requiring significantly fewer trainable parameters. The code is available at \texttt{https://github.com/wz1119/KromHC}.
• Abstract（参考訳）: ニューラルネットワーク(NN)におけるハイパーコネクション(HC)の成功は、トレーニングの不安定性と制限されたスケーラビリティに関する問題も強調している。 Manifold-Constrained Hyper-Connection (mHC) はバーコフポリトープに残余接続空間を投影することによってこれらの問題を緩和するが、これは2つの問題に直面している。 1) Sinkhorn-Knopp (SK) アルゴリズムは必ずしも2倍の確率的残留行列を生成するとは限らない。 2 mHCは禁じられる$\mathcal{O}(n^3C)$パラメータ複雑性を発生させ、残ストリームの幅は$n$、特徴次元は$C$である。 最近提案されたmHC-liteは、Birkhoff-von-Neumannの定理を通じて残留行列を再パラメータ化して、二重確率性を保証するが、パラメータの複雑さにおいて、$\mathcal{O} \left(nC \cdot n! 右)$。 両課題に対処するために、より小さな2倍確率行列の \underline{Kro}necker 積を用いて、残留行列を \underline{mHC} でパラメトリズする \textbf{KromHC} を提案する。 テンソル化残差ストリームの各モードに沿った因子残差行列の多様体的制約を強制することにより、KromHCはパラメータの複雑さを$\mathcal{O}(n^2C)$に減らしながら、残留行列の正確な二重確率性を保証する。 総合的な実験により、KromHCは、訓練可能なパラメータを著しく少なくしながら、最先端(SOTA)のmHC変異にマッチし、さらに優れることを示した。 コードは \texttt{https://github.com/wz1119/KromHC} で公開されている。

関連論文リスト

• Two-Tower Quantum Matrix Chain Multiplication: Trading Qubits for Depth [73.08853228981701]
  行列連鎖乗法は、科学計算、機械学習、グラフ解析における問題である。 我々は、$K$行列の$mathcalW$を回路深さの量子状態にエンコードする量子サブルーチンであるemphTwo-Tower Matrixを提案する。
  論文  参考訳（メタデータ） (2026-07-14T18:42:40Z)
• Near-Optimal Regret in Adversarial Kernel Bandits [50.68324062892194]
  本稿では,各ラウンドにおける損失が任意の有界要素によって誘導される逆カーネルバンドイット問題について検討する。 我々の主な結果は、$widetildeObig(sqrtT, d_*(),log|X|big)$, ここでは$d_*()$は有効次元の広く解釈された概念である。
  論文  参考訳（メタデータ） (2026-05-26T06:10:24Z)
• Lowering LCU Circuit Width through Maximum-Weight Birkhoff-von Neumann Decomposition [0.0]
  バーホフのアルゴリズムのボトルネック変種が置換数を$O(Nlog(varepsilon))$に減らすことを示す。 項数2次減少は、アンシラレジスタを直接2log N$から$log N$ qubitsに縮める。 この構造は振幅増幅なしで高い成功率を達成するために利用することができる。
  論文  参考訳（メタデータ） (2026-05-22T04:29:13Z)
• TBP-mHC: full expressivity for manifold-constrained hyper connections through transportation polytopes [0.0]
  ハイパーコネクション(HC)は、複数の残留ストリームに学習可能な混合を導入することで、残留ネットワークを改善する。 輸送ビルホフポリトープ(TBP)パラメータ化とその再帰的変種(RTBP)を提案する。 提案手法は,バーホフポリトープの完全表現性を維持しながら,反復正規化と爆発を回避する。
  論文  参考訳（メタデータ） (2026-05-20T20:31:10Z)
• go-$m$HC: Direct Parameterization of Manifold-Constrained Hyper-Connections via Generalized Orthostochastic Matrices [0.0]
  一般化直交行列の理論に基づく新しい正確なパラメータ化を導入する。 このパラメータ化をgo-$m$HCでインスタンス化する。 提案手法はKronecker-factorized法により自然に構成され, FLOPのコストがほぼ同じである。
  論文  参考訳（メタデータ） (2026-04-02T17:51:19Z)
• Regularized Online RLHF with Generalized Bilinear Preferences [68.44113000390544]
  一般的な嗜好を伴う文脈的オンラインRLHFの問題を考える。 一般化された双線形選好モデルを用いて、低ランクなスキュー対称行列による選好を捉える。 グリーディポリシーの双対ギャップは推定誤差の正方形によって有界であることを示す。
  論文  参考訳（メタデータ） (2026-02-26T15:27:53Z)
• mHC-lite: You Don't Need 20 Sinkhorn-Knopp Iterations [5.518733929171501]
  制約のない残留行列は訓練安定性を損なうことがある。 DeepSeek's Manifold-Constrained Hyper-Connections (mHC) は、これらの行列を反復シンクホーン-クノップ(SK)正規化を通じてバーホフポリトープに投影する。
  論文  参考訳（メタデータ） (2026-01-09T11:19:14Z)
• Near-Optimal Clustering in Mixture of Markov Chains [74.3828414695655]
  我々は、長さ$H$の軌跡を、大きさ$S$の有限状態空間上の未知のエルゴードマルコフ鎖の1つによって生成される、$T$ trajectories of length $H$の問題を研究する。 我々は、連鎖の遷移核間の重み付きKL分散によって支配されるクラスタリングエラー率に基づいて、インスタンス依存で高い確率の低い境界を導出する。 次に,新しい2段階クラスタリングアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2025-06-02T05:10:40Z)
• Entropy and singular-value moments of products of truncated random unitary matrices [0.0]
  切り離されたユニタリ行列の積は、監視された量子回路の普遍的な側面を研究するのに使うことができる。 エントロピー還元では、このパラメータがユニタリを越えたとき、$tau$に対する線型から対数依存に渡る。 結果、行列積の特異値モーメントをキューイング理論からErlang関数の観点で表現する。
  論文  参考訳（メタデータ） (2025-01-19T15:46:08Z)
• Reducing QUBO Density by Factoring Out Semi-Symmetries [4.581191399651181]
  本稿では,QUBO行列におけるテクステミシンメトリの概念を紹介する。 提案アルゴリズムは結合数と回路深さを最大45%削減することを示した。
  論文  参考訳（メタデータ） (2024-12-18T12:05:18Z)
• Reducing QAOA Circuit Depth by Factoring out Semi-Symmetries [4.958204128486634]
  修正 QUBO 行列 $Q_Hamilton$ が元の $Q$ と同じエネルギースペクトルを記述することを示す。 提案アルゴリズムは結合数を最大49%$、回路深さを最大41%$に削減した。
  論文  参考訳（メタデータ） (2024-11-13T18:04:01Z)
• Projection by Convolution: Optimal Sample Complexity for Reinforcement Learning in Continuous-Space MDPs [56.237917407785545]
  本稿では,円滑なベルマン作用素を持つ連続空間マルコフ決定過程(MDP)の一般クラスにおいて,$varepsilon$-optimal Policyを学習する問題を考察する。 我々のソリューションの鍵となるのは、調和解析のアイデアに基づく新しい射影技術である。 我々の結果は、連続空間 MDP における2つの人気と矛盾する視点のギャップを埋めるものである。
  論文  参考訳（メタデータ） (2024-05-10T09:58:47Z)
• Learning with Norm Constrained, Over-parameterized, Two-layer Neural Networks [54.177130905659155]
  近年の研究では、再生カーネルヒルベルト空間(RKHS)がニューラルネットワークによる関数のモデル化に適した空間ではないことが示されている。 本稿では,有界ノルムを持つオーバーパラメータ化された2層ニューラルネットワークに適した関数空間について検討する。
  論文  参考訳（メタデータ） (2024-04-29T15:04:07Z)
• Multi-block-Single-probe Variance Reduced Estimator for Coupled Compositional Optimization [49.58290066287418]
  構成問題の複雑さを軽減するために,MSVR (Multi-block-probe Variance Reduced) という新しい手法を提案する。 本研究の結果は, 試料の複雑さの順序や強靭性への依存など, 様々な面で先行して改善された。
  論文  参考訳（メタデータ） (2022-07-18T12:03:26Z)
• Perturbational Complexity by Distribution Mismatch: A Systematic Analysis of Reinforcement Learning in Reproducing Kernel Hilbert Space [0.76146285961466]
  一般再生カーネルヒルベルト空間(RKHS)における強化学習の解析 我々は、報酬関数がRKHSの単位球に含まれるマルコフ決定過程の族 $mathcalM$ を考える。 報酬関数が高次元のRKHSにあるとき、遷移確率が知られ、作用空間が有限であるとしても、RL問題を次元性の呪いに苦しむことは可能であることを示す。
  論文  参考訳（メタデータ） (2021-11-05T12:46:04Z)
• Annihilating Entanglement Between Cones [77.34726150561087]
  ローレンツ錐体は、ある種の強いレジリエンス特性を満たす対称基底を持つ唯一の円錐体であることを示す。 我々の証明はローレンツ・コーンの対称性を利用しており、エンタングルメント蒸留のプロトコルに類似した2つの構造を適用している。
  論文  参考訳（メタデータ） (2021-10-22T15:02:39Z)
• Optimal policy evaluation using kernel-based temporal difference methods [78.83926562536791]
  カーネルヒルベルト空間を用いて、無限水平割引マルコフ報酬過程の値関数を推定する。 我々は、関連するカーネル演算子の固有値に明示的に依存した誤差の非漸近上界を導出する。 MRP のサブクラスに対する minimax の下位境界を証明する。
  論文  参考訳（メタデータ） (2021-09-24T14:48:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。