論文の概要: Gating Enables Curvature: A Geometric Expressivity Gap in Attention

• arxiv url: http://arxiv.org/abs/2604.14702v1
• Date: Thu, 16 Apr 2026 07:09:11 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-04-17 21:29:31.769973
• Title: Gating Enables Curvature: A Geometric Expressivity Gap in Attention
• Title（参考訳）: Gating Enables Curvature: 意図した幾何学的表現力のギャップ
• Authors: Satwik Bathula, Anand A. Joshi,
• Abstract要約: 強調層に乗算ゲーティングを適用して,大規模言語モデルの性能向上と訓練安定性の向上を実現している。 ガウス分布の平均パラメータとして出力をモデル化することで、その表現の幾何学を通して注意を向ける。 ゲートモデルでは, 表現曲率が高く, 非線形決定境界を必要とするタスクの性能が向上していることを示す。
• 参考スコア（独自算出の注目度）: 0.5534764384104999
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Multiplicative gating is widely used in neural architectures and has recently been applied to attention layers to improve performance and training stability in large language models. Despite the success of gated attention, the mathematical implications of gated attention mechanisms remain poorly understood. We study attention through the geometry of its representations by modeling outputs as mean parameters of Gaussian distributions and analyzing the induced Fisher--Rao geometry. We show that ungated attention operator is restricted to intrinsically flat statistical manifolds due to its affine structure, while multiplicative gating enables non-flat geometries, including positively curved manifolds that are unattainable in the ungated setting. These results establish a geometric expressivity gap between ungated and gated attention. Empirically, we show that gated models exhibit higher representation curvature and improved performance on tasks requiring nonlinear decision boundaries whereas they provide no consistent advantage on tasks with linear decision boundaries. Furthermore, we identify a structured regime in which curvature accumulates under composition, yielding a systematic depth amplification effect.
• Abstract（参考訳）: 乗算ゲーティングはニューラルアーキテクチャで広く使われており、近年、大きな言語モデルの性能向上とトレーニング安定性向上のために注意層に応用されている。 ゲートアテンションの成功にもかかわらず、ゲートアテンション機構の数学的意味は理解されていない。 本研究では、ガウス分布の平均パラメータとして出力をモデル化し、誘導されたフィッシャー-ラオ幾何学を解析することにより、その表現の幾何学を通して注目する。 有向注意作用素はそのアフィン構造のために本質的に平坦な統計多様体に制限されているのに対し、乗法ゲーティングは非平坦な幾何学を可能にし、非有向設定では到達できない正の湾曲した多様体を含む。 これらの結果は、アンゲートとゲートアテンションの間の幾何学的表現率ギャップを確立する。 実験により, ゲートモデルは非線形決定境界を必要とするタスクに対して高い表現曲率を示し, 性能を向上させるが, 線形決定境界を持つタスクに対して一貫した優位性は得られないことを示す。 さらに,構成下において曲率を蓄積する構造構造を同定し,体系的な深度増幅効果を示す。

関連論文リスト

• Manifold Percolation: from generative model to Reinforce learning [0.26905021039717986]
  生成的モデリングは通常、学習マッピング規則としてフレーム化されるが、これらの規則にアクセスできない観察者の視点からすると、そのタスクは確率分布から幾何学的支援を引き離すことになる。 本研究は, サンプリングプロセスが, 高次元密度推定を支持面上の幾何カウント問題に効果的に投射するので, 連続体パーコレーションは, この支援解析に一意に適していることを示す。
  論文  参考訳（メタデータ） (2025-11-25T17:12:42Z)
• Curvature Learning for Generalization of Hyperbolic Neural Networks [51.888534247573894]
  ハイパーボリックニューラルネットワーク(HNN)は,階層構造を持つ実世界のデータを表現する上で,顕著な有効性を示している。 不適切な曲率により、HNNは最適以下のパラメータに収束し、全体的な性能が低下する可能性がある。 本研究では,損失景観の平滑化を図り,HNNの一般化を向上するシャープネス対応曲率学習法を提案する。
  論文  参考訳（メタデータ） (2025-08-24T07:14:30Z)
• Geometry-Aware Spiking Graph Neural Network [24.920334588995072]
  本稿では,スパイクに基づくニューラルダイナミクスを適応表現学習と統合するGeometry-Aware Spiking Graph Neural Networkを提案する。 複数のベンチマーク実験により、GSGはユークリッドSNNと多様体ベースGNNと比較して精度、堅牢性、エネルギー効率が優れていることが示された。
  論文  参考訳（メタデータ） (2025-08-09T02:52:38Z)
• Message-Passing Monte Carlo: Generating low-discrepancy point sets via Graph Neural Networks [64.39488944424095]
  本稿では,Message-Passing Monte Carlo という低差点集合を生成する機械学習手法を提案する。 MPMC点は、低次元と少数の点との差に関して、最適かほぼ最適であることが実証的に示されている。
  論文  参考訳（メタデータ） (2024-05-23T21:17:20Z)
• Mitigating Over-Smoothing and Over-Squashing using Augmentations of Forman-Ricci Curvature [1.1126342180866644]
  スケーラブルな曲率表記法であるAFRC(Augmented Forman-Ricci curvature)に基づく書き換え手法を提案する。 AFRCはメッセージパッシングGNNにおける過剰なスムースと過剰なスキャッシング効果を効果的に特徴付ける。
  論文  参考訳（メタデータ） (2023-09-17T21:43:18Z)
• Learning Graphical Factor Models with Riemannian Optimization [70.13748170371889]
  本稿では,低ランク構造制約下でのグラフ学習のためのフレキシブルなアルゴリズムフレームワークを提案する。 この問題は楕円分布のペナルティ化された最大推定値として表される。 楕円モデルによく適合する正定行列と定ランクの正半定行列のジオメトリを利用する。
  論文  参考訳（メタデータ） (2022-10-21T13:19:45Z)
• Shape And Structure Preserving Differential Privacy [70.08490462870144]
  正方形距離関数の勾配がラプラス機構よりも感度をよりよく制御できることを示す。 また,2乗距離関数の勾配を用いることで,ラプラス機構よりも感度を制御できることを示す。
  論文  参考訳（メタデータ） (2022-09-21T18:14:38Z)
• Computationally Tractable Riemannian Manifolds for Graph Embeddings [10.420394952839242]
  我々は、ある曲面リーマン空間におけるグラフ埋め込みを学習し、最適化する方法を示す。 我々の結果は、機械学習パイプラインにおける非ユークリッド埋め込みの利点の新たな証拠として役立ちます。
  論文  参考訳（メタデータ） (2020-02-20T10:55:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。