Fugu-MT 論文翻訳(概要): Sphere Retraction Normalizations

論文の概要: Sphere Retraction Normalizations

arxiv url: http://arxiv.org/abs/2608.02668v1
Date: Sun, 02 Aug 2026 13:23:49 GMT
ステータス: 翻訳完了
システム内更新日: 2026-08-05 15:30:22.880431
Title: Sphere Retraction Normalizations
Title（参考訳）: 球リトラクション正規化
Abstract要約: ハイパースフィアでは、この家族全体が単一のスカラーデザイン選択に崩壊することを示している。この見解は、ユークリッドの残余接続とGeoNormを一つのフレームワークに配置する。
参考スコア（独自算出の注目度）: 5.536157020510715
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Residual connections are the de facto mechanism for training deep neural networks stably. Geodesic Normalization (GeoNorm) recasts them on a Riemannian manifold, orthogonalizing each layer output against the current hidden state and applying the resulting update through the Riemannian exponential map. Every hidden state thus keeps a constant $\ell_{2}$-norm, confining the residual stream to a hypersphere. The exponential map, however, is only one member of a broad family of retraction maps. We show that on the hypersphere this entire family collapses to a single scalar design choice. What distinguishes one retraction from another is only how the magnitude of an update is converted into a rotation angle within the plane spanned by the hidden state and the update. This view places Euclidean residual connections and GeoNorm in one framework. Instantiating it with the metric projection retraction and the Cayley retraction yields Proj-SpheretNorm and Cay-SpheretNorm, which are exactly norm-preserving yet require only algebraic operations. Both prove to be members of a one-parameter family of angular retractions, $p$-SpheretNorm, whose rotation angle saturates rather than growing without bound. The two methods above are recovered exactly at $p = 1$ and $p = 2$, while the identity map and GeoNorm arise only as limits at either end. On nanoGPT, all three methods outperform existing lightweight deep connection schemes, and the best validation loss is attained at finite $p$, indicating that the exponential map is not the preferred retraction for spherical residual streams but merely one end of a spectrum.
Abstract（参考訳）: 残留接続は、ディープニューラルネットワークを安定的にトレーニングするための事実上のメカニズムである。測地正規化(GeoNorm)はそれらをリーマン多様体上で再キャストし、各層が出力する出力を現在の隠れ状態に対して直交し、リーマン指数写像を通じて更新する。すべての隠れ状態は定数$\ell_{2}$-normを保持し、残留ストリームを超球面に収束させる。しかし指数写像は、広く取り除かれた写像の族のうちの1つである。ハイパースフィアでは、この家族全体が単一のスカラーデザイン選択に崩壊する。 1つのリトラクションともう1つのリトラクションとの違いは、更新の規模が、隠れた状態と更新によって広がる平面内の回転角にどのように変換されるかである。この見解は、ユークリッドの残余接続とGeoNormを一つのフレームワークに配置する。計量射影退化とケイリー退化は、正確にはノルム保存であるが代数演算のみを必要とするProj-SpheretNormとCay-SpheretNormをもたらす。どちらも角運動の1パラメータの族である$p$-SpheretNormであり、回転角は有界な成長ではなく飽和している。上記の2つのメソッドは、正確に$p = 1$と$p = 2$で回収されるが、アイデンティティマップとGeoNormは、どちらの端でも制限としてのみ現れる。ナノGPTでは、3つの手法が既存の軽量な深い接続方式より優れており、最良の検証損失は有限$p$で達成されており、指数写像は球状残差ストリームの引き抜きとして好まれるものではなく、スペクトルの一端に過ぎないことを示している。

関連論文リスト

The Capacity of Entanglement and Holographic Entropies at Finite Resources [0.0]
龍-高柳の公式は、境界部分領域のフォン・ノイマンエントロピーと最小曲面の面積を同一視する。ファンヌ=オーデナートはヒルベルト空間次元に答え、カットオフが取り除かれるにつれて分岐するが、2つの状態は近い。モジュラーエネルギーの分散であるエンタングルメントの容量に置き換え、その平方根はエンタングル領域の平方根のように成長する。
論文参考訳（メタデータ） (2026-08-26T20:02:55Z)
Quantum Markov Chains for an Asymmetric Mixed Ising-XY Model on a Cayley Tree [0.0]
次数2の半無限根付きケイリー木上の混合量子イジング-$XY$モデルについて検討する。変換不変境界方程式を導出し、関連する局所移動演算子を計算する。制限された境界法則のダイナミクスは1より大きい周期の許容可能な周期点を持たないことを示す。
論文参考訳（メタデータ） (2026-07-15T20:15:08Z)
Optimization Geometrodynamics: Variational Reduction and Interaction Curvature [0.0]
我々は、この隠れ行列式プッシュフォワードの変分理論として、測地力学を発展させる。アフィン事前還元の場合、誘導的相互作用曲率(英語版)は負半有限作用素 $-G*H-1G$ である。閉全測地線ファイバーを持つ大域的解析バンドルと、特異な解析的近接制御器部とを証明した。
論文参考訳（メタデータ） (2026-07-07T18:42:00Z)
SILAGE: Memory-Efficient, Full-Gradient-Free Nonconvex Optimization for Nested Finite Sums [51.49970814177172]
データセットに対する経験的リスクは、自然に$N=nm$全サンプルに類似性を示す。我々は悲観的な収束分析を避ける分析を提供する。我々の成果は、既存の最先端の体制を改善した。
論文参考訳（メタデータ） (2026-06-14T14:11:07Z)
Z-Plane Neural Networks: Bounded Geometric Activation Replaces ReLU and LayerNorm [3.0459410574367314]
現代のディープニューラルネットワークは、ディープアーキテクチャの勾配不安定を防ぐためにユークリッドスカラーアクティベーション(例えばReLU)に依存している。隠れた状態を超球面上の2次元ファサーバンドルにマッピングするZ-Plane Neural Networkを提案する。この等方的活性化が1-Lipschitz連続性を維持し、接勾配を保存することによって勾配の消失を防ぐことを数学的に示す。
論文参考訳（メタデータ） (2026-06-14T08:22:28Z)
Towards Scalable Persistence-Based Topological Optimization [44.16669776030478]
永続性に基づく位相最適化は、点クラウド $X の部分集合 mathbbRd$ を $L(X) = ell(mathrmDgm(X))$ という形の目的を最小化することによって変形する。実際、最適化は2つの結合した問題によって制限される: 永続ホモロジーは典型的にはサブサンプル上で計算され、結果として生じる位相勾配は非常にスパースであり、非ゼロ更新を受けるアンカーポイントはわずかである。
論文参考訳（メタデータ） (2026-05-09T15:47:20Z)
Nodal algebraic curves and entropy diagnostics in degenerate two-dimensional harmonic-oscillator shells [0.0]
退化量子固有空間は、固定エネルギーにおける結節幾何学の実質的な変化を支持することができることを示す。これらの基準をエントロピー診断と組み合わせて、トポロジに変化する事象が発生する可能性のある層を同定する。この枠組みは、実相エルミート-ガウス構造光とほぼ等方性に閉じ込められた運動系に対する実験的に再構成可能なシグネチャを提案する。
論文参考訳（メタデータ） (2026-04-30T17:15:26Z)
Regularized Online RLHF with Generalized Bilinear Preferences [68.44113000390544]
一般的な嗜好を伴う文脈的オンラインRLHFの問題を考える。一般化された双線形選好モデルを用いて、低ランクなスキュー対称行列による選好を捉える。グリーディポリシーの双対ギャップは推定誤差の正方形によって有界であることを示す。
論文参考訳（メタデータ） (2026-02-26T15:27:53Z)
Learning with Norm Constrained, Over-parameterized, Two-layer Neural Networks [54.177130905659155]
近年の研究では、再生カーネルヒルベルト空間(RKHS)がニューラルネットワークによる関数のモデル化に適した空間ではないことが示されている。本稿では,有界ノルムを持つオーバーパラメータ化された2層ニューラルネットワークに適した関数空間について検討する。
論文参考訳（メタデータ） (2024-04-29T15:04:07Z)
Provably Efficient Offline Reinforcement Learning with Trajectory-Wise Reward [66.81579829897392]
我々はPessimistic vAlue iteRaTionとrEward Decomposition (PARTED)という新しいオフライン強化学習アルゴリズムを提案する。 PartEDは、最小2乗ベースの報酬再分配を通じて、ステップごとのプロキシ報酬に軌道を分解し、学習したプロキシ報酬に基づいて悲観的な値を実行する。私たちの知る限りでは、PartEDは、トラジェクティブな報酬を持つ一般のMDPにおいて、証明可能な効率のよい最初のオフラインRLアルゴリズムである。
論文参考訳（メタデータ） (2022-06-13T19:11:22Z)
Point2Mesh: A Self-Prior for Deformable Meshes [83.31236364265403]
本稿では,入力点雲から表面メッシュを再構築する技術であるPoint2Meshを紹介する。自己優先型は、ディープニューラルネットワークの重み内の単一の形状から幾何的繰り返しをカプセル化する。ここでは,Point2Meshが所望の解に収束することを示す。
論文参考訳（メタデータ） (2020-05-22T10:01:04Z)
Anisotropy-mediated reentrant localization [62.997667081978825]
2次元双極子系、$d=2$、一般化双極子-双極子相互作用$sim r-a$、トラップイオン系やリドバーグ原子系で実験的に制御されたパワー$a$を考える。異方性双極子交換を引き起こす双極子の空間的に均質な傾き$$beta$は、ロケータ展開を超えた非自明な再帰的局在をもたらすことを示す。
論文参考訳（メタデータ） (2020-01-31T19:00:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。