Fugu-MT 論文翻訳(概要): The Birkhoff Geometry of Manifold-Constrained Hyper-Connections: Two Channels, Vertex Viscosity, and Sinkhorn as a Retraction

論文の概要: The Birkhoff Geometry of Manifold-Constrained Hyper-Connections: Two Channels, Vertex Viscosity, and Sinkhorn as a Retraction

arxiv url: http://arxiv.org/abs/2610.06653v1
Date: Mon, 05 Oct 2026 16:33:15 GMT
ステータス: 翻訳完了
システム内更新日: 2026-10-08 23:58:01.366264
Title: The Birkhoff Geometry of Manifold-Constrained Hyper-Connections: Two Channels, Vertex Viscosity, and Sinkhorn as a Retraction
Title（参考訳）: Manifold-Constrained Hyper-Connectionsのバーホフ幾何学:2つのチャネル, 頂点粘性, シンクホーン
Abstract要約: ハイパーコネクションはトランスフォーマーの残ストリームを$n$ilonに拡大する。この設計の幾何学的理論をバーホフ多面体に与える。
参考スコア（独自算出の注目度）: 6.730861374469192
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Hyper-connections widen the residual stream of a Transformer to $n$ parallel streams. Their manifold-constrained version (mHC) mixes the streams at each layer with a doubly stochastic matrix, which it computes by Sinkhorn normalization of exponentiated logits. We give a geometric theory of this design on the Birkhoff polytope. First, a doubly stochastic mixer splits the stream into a mean channel, on which mHC is exactly a residual network, and a difference channel, which each layer contracts by its second singular value $σ_2 \le 1 - n \min_{ij} H_{ij}$. Thus the extra width is a fading memory with a horizon of $1/(1-σ_2)$ layers, and among nonnegative mixers only the permutations do not collapse. Second, the Sinkhorn-logit map is a global chart, and its logit gradient is exactly the Fisher-Rao gradient. Thus logit gradient flow follows a squared Fisher-Rao metric, and the straight-through update is exactly entropic mirror descent. Third, under logit gradient flow the logarithm of each entry moves at a rate of at most $4n^3\|\nabla f\|_\infty \varepsilon$, where $\varepsilon$ is the distance to the nearest permutation. Thus gradient flow approaches and leaves the vertices only at rate $1/t$, but mirror descent moves at an exponential rate. Fourth, the local convergence factor of Sinkhorn is $σ_2^2$, so a fixed iteration budget limits the horizon. Experiments confirm the predicted rates.
Abstract（参考訳）: ハイパーコネクションはトランスフォーマーの残ストリームを$n$並列ストリームに拡大する。それらの多様体制約バージョン(mHC)は、各層のストリームと2重確率行列を混合し、指数化ロジットのシンクホーン正規化によって計算する。この設計の幾何学的理論をバーホフ多面体に与える。まず、二重確率混合器は、流路を平均チャネルに分割し、mHC を正確に残留ネットワークとし、各層が二番目の特異値 $σ_2 \le 1 - n \min_{ij} H_{ij}$ で縮約する差分チャネルを与える。したがって、余分な幅は1/(1-σ_2)$の水平線を持つ薄暗いメモリであり、非負のミキサーの中では置換のみが崩壊しない。第二に、シンクホーン・ロジット写像は大域チャートであり、そのロジット勾配はまさにフィッシャー・ラオ勾配である。したがって、ロジト勾配フローは2乗フィッシャー・ラオ計量に従っており、ストレートスルー更新は正確にエントロピーミラー降下である。第三に、対数勾配流の下では、各エントリーの対数は少なくとも4n^3\|\nabla f\|_\infty \varepsilon$で動く。したがって、勾配流は1/t$の速度でのみ頂点に接近し、残すが、ミラー降下は指数速度で移動する。第4に、シンクホーンの局所収束係数は$σ_2^2$であるので、固定反復予算は地平線を制限する。実験は予測される速度を確認します。

論文の概要: The Birkhoff Geometry of Manifold-Constrained Hyper-Connections: Two Channels, Vertex Viscosity, and Sinkhorn as a Retraction

関連論文リスト