論文の概要: The E$Δ$-MHC-Geo Transformer: Adaptive Geodesic Operations with Guaranteed Orthogonality
- arxiv url: http://arxiv.org/abs/2605.06729v1
- Date: Thu, 07 May 2026 11:37:23 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-05-11 19:43:38.493357
- Title: The E$Δ$-MHC-Geo Transformer: Adaptive Geodesic Operations with Guaranteed Orthogonality
- Title（参考訳）: E$Δ$-MHC-Geo変換器:正規直交型適応測地演算
- Authors: Arash Shahmansoori,
- Abstract要約: E$-MHC-Geo Transformerは、Manifold-Constrained Hyper-Connections (mHC)、Deep Delta Learning (DDL)、Cayley変換を統一する新しいアーキテクチャである。
- 参考スコア（独自算出の注目度）: 2.28438857884398
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: We present the E$Δ$-MHC-Geo Transformer, a novel architecture that unifies Manifold-Constrained Hyper-Connections (mHC), Deep Delta Learning (DDL), and the Cayley transform to obtain input-adaptive, unconditionally orthogonal residual connections. Unlike DDL, whose Householder operator is orthogonal only at $β\in \{0,2\}$, our Data-Dependent Cayley rotation $Q(x)=(I+(β/2)A(x))^{-1}(I-(β/2)A(x))$ preserves orthogonality for all $β$ and all inputs. To handle negation, an eigenvalue $-1$ case that Cayley provably excludes, we introduce the E$Δ$-MHC-Geo Hybrid, which combines Cayley rotation with Householder reflection via a learned operator-selection gate $X'=γ(X)Q(X)X+(1-γ(X))H_2(X)X$. A midpoint-collapse regularizer, $4γ(1-γ)$, encourages boundary gate decisions, where each selected component is orthogonal. In matched-parameter comparisons, with approximately 1.79M parameters per model and mean +/- standard deviation over 3 seeds, against four baselines including the concurrent JPmHC, E$Δ$-MHC-Geo achieves the best long-horizon stability, 1.9x over JPmHC and 3.8x over GPT; the best near-$π$ rotation loss, 4.5x over JPmHC on single-plane; strong norm preservation, with 0.001 mean deviation; and 0.96 negation cosine alignment in a diagnostic reflection probe, all with 33% fewer layers. While JPmHC's wider representation excels on pure rotation, its finite Cayley residual mixer excludes an exact $λ=-1$ operator and has no reflection branch, motivating our hybrid approach for accessing both connected components of $O(n)$.
- Abstract（参考訳）: E$Δ$-MHC-Geo Transformerは,MHC(Manifold-Constrained Hyper-Connections),DDL(Deep Delta Learning),Cayley変換を統一して入力適応直交残差接続を得る新しいアーキテクチャである。
DDLとは違い、ハウステリア作用素は$β\in \{0,2\}$で直交であるので、データ依存ケイリー回転は$Q(x)=(I+(β/2)A(x))^{-1}(I-(β/2)A(x))$はすべての$β$と全ての入力に対して直交性を保持する。
否定に対処するために、ケイリーが確実に排除する固有値$-1$の場合、学習演算子選択ゲート$X'=γ(X)Q+(1-γ(X))H_2(X)X$を介してケイリー回転とハウスリフレクションを組み合わせたE$Δ$-MHC-Geo Hybridを導入する。
中間点崩壊正則化器(4γ(1-γ)$)は、各選択した成分が直交する境界ゲート決定を奨励する。
マッチングパラメータの比較では、モデル毎の約1.79Mパラメータと平均+/-標準偏差が3つの種子に対して、同時にJPmHC、E$Δ$-MHC-Geoは1.9x over JPmHC、GPT3.8x over JPmHC、最も良い約1.9x over JPmHC、単一平面での4.5x over JPmHC、強いノルム保存、0.001平均偏差、0.96負コサインアライメントを含む4つのベースラインに対して、それぞれ33%の低い層を持つ。
JPmHC のより広い表現は純粋回転に優れるが、その有限カイリー残差混合器は正確な$λ=-1$演算子を除外し、反射枝を持たず、$O(n)$の二つの連結成分にアクセスするための我々のハイブリッドアプローチを動機付けている。
関連論文リスト
- Hardware Validation of DAGI via a Modular "Ridge" Signature and High-Order Synergistic Information [0.0]
IBM Quantumハードウェア上でのDAGI(Directed Acyclic Graph Information)フレームワーク。
理想的な出力分布が低次元モジュラー多様体(リッジ)に制約される小さな制御された実験
キーリカバリはチャンスを超えた:ショット毎の精度0.1689(チャンス0.125,95% Wilson CI[0.1610, 0.1772])
これらの結果は、DAGIが非自明でハードウェアに耐性のある情報構造を検出し、定量化するという主張を支持する。
論文 参考訳（メタデータ） (2026-04-16T14:16:59Z) - Online Covariance Estimation in Averaged SGD: Improved Batch-Mean Rates and Minimax Optimality via Trajectory Regression [12.805268849262243]
我々はPolyak-Ruppert averaged gradient descent (SGD)のオンライン共分散行列推定について検討した。
この構造は、このボトルネックがSGDドリフトからヘッセンの情報をサブ線形に蓄積していることを明らかにする。
論文 参考訳（メタデータ） (2026-04-12T20:49:33Z) - Optimal Scalar Quantization for Matrix Multiplication: Closed-Form Density and Phase Transition [50.36362492608702]
乗算前の2つの行列のエントリーワイズスカラー量子化について検討した。
我々は、閉形式の最適点密度 [ star(u) propto exp!left(-fracu26right)bigl( (1-2)+2u22bigr), qquad u=fracx_X を求め、相関駆動相転移を証明した。
論文 参考訳（メタデータ） (2026-03-20T01:53:44Z) - Optimal Unconstrained Self-Distillation in Ridge Regression: Strict Improvements, Precise Asymptotics, and One-Shot Tuning [61.07540493350384]
自己蒸留(英: Self-distillation, SD)とは、教師自身の予測と地道の混合で学生を訓練する過程である。
任意の予測リスクに対して、各正規化レベルにおいて、最適に混合された学生がリッジ教師に改善されることが示される。
本稿では,グリッド探索やサンプル分割,再構成なしに$star$を推定する一貫したワンショットチューニング手法を提案する。
論文 参考訳（メタデータ） (2026-02-19T17:21:15Z) - Robust Sublinear Convergence Rates for Iterative Bregman Projections [21.689846521201588]
エントロピック正規化(entropic regularization)は、制約が2つ(またはそれ以上)のトラクタブルブロックに分割された線形プログラムに近似する。
グラフ上のWasserstein-1距離に対するフローシンクホーンアルゴリズムを導出する。
論文 参考訳（メタデータ） (2026-02-01T18:20:19Z) - Robust inverse material design with physical guarantees using the Voigt-Reuss Net [0.0]
本稿では, ハード物理保証を伴う前方および逆機械的均質化のためのスペクトル正規化サロゲートを提案する。
バイファシック・マイクロ構造のオープンデータセット上の3次元線形弾性では、完全に接続されたVoigt-Reussネットは、236のイソトロピーインディスクリプタを持つFFTベースのラベルでトレーニングされている。
全体として、Voigt-Reussネットは、大バッチで制約に一貫性のある逆設計で正確で物理的に許容できる前方予測を統一する。
論文 参考訳（メタデータ） (2025-11-14T15:17:37Z) - Projection by Convolution: Optimal Sample Complexity for Reinforcement Learning in Continuous-Space MDPs [56.237917407785545]
本稿では,円滑なベルマン作用素を持つ連続空間マルコフ決定過程(MDP)の一般クラスにおいて,$varepsilon$-optimal Policyを学習する問題を考察する。
我々のソリューションの鍵となるのは、調和解析のアイデアに基づく新しい射影技術である。
我々の結果は、連続空間 MDP における2つの人気と矛盾する視点のギャップを埋めるものである。
論文 参考訳（メタデータ） (2024-05-10T09:58:47Z) - Topology-aware Generalization of Decentralized SGD [91.59494285490784]
D-SGDの一般化性はスペクトルギャップと正の相関関係を示す。
我々の知る限り、これはD-SGDの一般化に関する最初の研究である。
論文 参考訳（メタデータ） (2022-06-25T16:03:48Z) - Variance-Aware Confidence Set: Variance-Dependent Bound for Linear
Bandits and Horizon-Free Bound for Linear Mixture MDP [76.94328400919836]
線形バンドイットと線形混合決定プロセス(mdp)に対する分散認識信頼セットの構築方法を示す。
線形バンドイットに対しては、$d を特徴次元とする$widetildeo(mathrmpoly(d)sqrt1 + sum_i=1ksigma_i2) が成り立つ。
線形混合 MDP に対し、$widetildeO(mathrmpoly(d)sqrtK)$ regret bound を得る。
論文 参考訳（メタデータ） (2021-01-29T18:57:52Z) - SDP Achieves Exact Minimax Optimality in Phase Synchronization [19.909352968029584]
我々は、ノイズ測定$Y=z*z*+sigma WinmathbbCntimes ntimes nで位相同期問題を研究する。
SDPが誤差境界$ (1+o)fracnp22np$を2乗の$ell$損失で達成することを証明する。
論文 参考訳（メタデータ） (2021-01-07T03:14:05Z) - Optimal Robust Linear Regression in Nearly Linear Time [97.11565882347772]
学習者が生成モデル$Y = langle X,w* rangle + epsilon$から$n$のサンプルにアクセスできるような高次元頑健な線形回帰問題について検討する。
i) $X$ is L4-L2 hypercontractive, $mathbbE [XXtop]$ has bounded condition number and $epsilon$ has bounded variance, (ii) $X$ is sub-Gaussian with identity second moment and $epsilon$ is
論文 参考訳（メタデータ） (2020-07-16T06:44:44Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。