論文の概要: A Parametric Linear Conic Projection for Structured Sparse Attention

• arxiv url: http://arxiv.org/abs/2611.04479v1
• Date: Tue, 03 Nov 2026 08:12:35 GMT
• ステータス: 情報取得中
• システム内更新日: 2026-11-04 17:37:30.797365
• Title: A Parametric Linear Conic Projection for Structured Sparse Attention
• Title（参考訳）: 構造的スパース注意のためのパラメトリック線形円錐投影
• Abstract要約: ローレンツ・コーン幾何に付随するスケール不変の空間性尺度であるコーンアライメント指数(CAI)を導入する。 共役射影は, 効率的な閉形式近似であるemphParametric Linear Conic Projection (PLCP) と, 円錐境界への正確なユークリッド射影であるemphParametric Euclidean Conic Projection (PECP) である。
• 参考スコア（独自算出の注目度）: 9.134244356393665
• License:
• Abstract: In this paper, we introduce the Cone Alignment Index (CAI), a scale-invariant sparsity measure associated with a Lorentz-cone geometry. We provide a probabilistic analysis of the distribution of the CAI score, including a general theorem and explicit corollaries for Gaussian and uniform distributions. As a consequence, we show that, in the high-sparsity regime, the probability that the samples lie within the convex cone tends to one. Building upon this formulation, we derive two complementary projections: the \emph{Parametric Linear Conic Projection} (PLCP), an efficient closed-form approximation, and the \emph{Parametric Euclidean Conic Projection} (PECP), the exact Euclidean projection onto the cone boundary. Our analysis establishes several fundamental theoretical properties. We prove that PLCP and PECP are collinear, differ only by a positive radial scaling factor, and induce exactly the same sparsity threshold, thereby preserving an identical active support. Furthermore, we derive a support-identification theorem showing that, for any prescribed sparsity level $l<n$, the number of coefficients discarded at each iteration is theoretically controlled. Building on this theoretical foundation, we develop a bilevel PLCP framework for structured matrix sparsification. The proposed method naturally generates hardware-friendly structured sparsity patterns, including row-wise, column-wise, and diagonal masks, making it particularly well suited for accelerating Transformer attention mechanisms.
• Abstract（参考訳）: 本稿では,ローレンツ・コーン幾何学に付随するスケール不変の空間性尺度であるコーンアライメント指数(CAI)を紹介する。 我々は、一般定理とガウス分布と一様分布の明示的座標を含むCAIスコアの分布の確率論的解析を行う。 その結果, 高スパーシティ系では, 試料が凸錐内に存在する確率が1つになる傾向が示された。 この定式化に基づいて、効率的な閉形式近似である \emph{Parametric Linear Conic Projection} (PLCP) と、円錐境界への正確なユークリッド射影である \emph{Parametric Euclidean Conic Projection (PECP) の2つの相補的射影を導出する。 我々の分析はいくつかの基本的な理論的性質を確立している。 PLCP と PECP は正の半径スケーリング因子によってのみ異なるコリニアであり、全く同じ間隔閾値を誘導し、同一のアクティブサポートを保持する。 さらに、任意の所定の間隔レベル$l<n$に対して、各反復で破棄された係数の数が理論的に制御されていることを示す支持同定定理を導出する。 この理論の基礎の上に構築され、構造化行列スパース化のための二レベルPLCPフレームワークを開発する。 提案手法は,行,列,対角マスクなどのハードウェアフレンドリーな構造パターンを自然に生成し,トランスフォーマーのアテンション機構の高速化に特に適している。

関連論文リスト

• Euclidean Crowding-Driven Adaptive Euclidean-Hyperbolic Graph Learning [51.09220457461277]
  双曲グラフ表現学習は階層データモデリングの強力なパラダイムとして登場した。 強い経験的性能にもかかわらず、双曲的埋め込みの理論的メカニズムはいまだに理解されていない。 ユークリッドGNN表現を双曲空間に引き上げる幾何適応フレームワークであるEH-Fusionを提案する。
  論文  参考訳（メタデータ） (2026-10-27T15:04:50Z)
• Riemannian Gradient Descent for Gaussian Mixture Models with unknown diagonal covariances [0.6549500130924647]
  本稿では,Bourling-LASSOフレームワークの数値解法について検討する。 ガウス混合モデルの推定への応用について考察する。
  論文  参考訳（メタデータ） (2026-09-24T17:48:09Z)
• Nested Inductive Bias Framework for SPD Manifold Learning [0.0]
  幾何学的ディープラーニング(Geometric Deep Learning)において、帰納バイアス(inductive bias)は2つの主要な機能、つまり多様体の制約を強制することと、関係事前を埋め込むことである。 我々は、非ユークリッド的対象測地をSPD多様体へ引き戻すためのNested Inductive Biasフレームワークを導入する。 我々はまた、外れ値に対する最先端の堅牢性を確立するために、Rational Conformal Metricを提案する。
  論文  参考訳（メタデータ） (2026-09-03T20:50:18Z)
• Clustering as Approximation by Constrained Projectors: Theory and Guarantees [11.62669179647184]
  本稿では,k-means,fuzzy c-means, kernel k-means, kernel FCM, スペクトルクラスタリングなど,クラスタリング手法の幅広いファミリを,いずれも低ランクプロジェクタとして表現可能であることを示す。
  論文  参考訳（メタデータ） (2026-08-29T07:19:04Z)
• Asymptotic Theory for Graphical SLOPE: Precision Estimation and Pattern Convergence [2.5407895016635127]
  本稿では,精度行列推定のためのグラフィカルSLOPEについて検討する。 固定次元状態において、ルート=$n$スケール推定誤差は厳密な凸最適化問題の一意の最小化に収束する。 また、誘導SLOPEパターンの収束性を確立し、推定器によって選択されたクラスタリング構造の特徴づけを得る。
  論文  参考訳（メタデータ） (2026-04-14T14:10:56Z)
• Stability and Generalization of Push-Sum Based Decentralized Optimization over Directed Graphs [55.77845440440496]
  プッシュベースの分散通信は、情報交換が非対称である可能性のある通信ネットワークの最適化を可能にする。 我々は、グラディエント・プッシュ(SGP)アルゴリズムのための統一的な一様安定性フレームワークを開発する。 重要な技術的要素は、2つの量に束縛された不均衡認識の一般化である。
  論文  参考訳（メタデータ） (2026-02-24T05:32:03Z)
• Non-Euclidean Broximal Point Method: A Blueprint for Geometry-Aware Optimization [55.002497070656624]
  Broximal Point Method(BPM)は、現在の反復を中心にした標準球よりも目的関数を反復的に最小化する、理想的な最適化フレームワークを提供する。 顕著な大域収束保証、線形収束、および正規閉凸函数に対する有限のステップを享受する。 本稿では、BPMの収束理論が、このより一般的な非ユークリッド的な設定に拡張できるかどうかを問う。
  論文  参考訳（メタデータ） (2025-10-01T12:32:52Z)
• Convexity-Driven Projection for Point Cloud Dimensionality Reduction [0.0]
  本稿では,点雲の次元的低減のための凸性駆動型除細動(CDP)を提案する。 CDPは、点雲の次元還元のための境界自由線形法である。
  論文  参考訳（メタデータ） (2025-09-26T08:25:12Z)
• A Unified Theory of Stochastic Proximal Point Methods without Smoothness [52.30944052987393]
  近点法はその数値的安定性と不完全なチューニングに対する頑健性からかなりの関心を集めている。 本稿では,近位点法(SPPM)の幅広いバリエーションの包括的解析について述べる。
  論文  参考訳（メタデータ） (2024-05-24T21:09:19Z)
• A Unifying and Canonical Description of Measure-Preserving Diffusions [60.59592461429012]
  ユークリッド空間における測度保存拡散の完全なレシピは、最近、いくつかのMCMCアルゴリズムを単一のフレームワークに統合した。 我々は、この構成を任意の多様体に改善し一般化する幾何学理論を開発する。
  論文  参考訳（メタデータ） (2021-05-06T17:36:55Z)
• Understanding Implicit Regularization in Over-Parameterized Single Index Model [55.41685740015095]
  我々は高次元単一インデックスモデルのための正規化自由アルゴリズムを設計する。 暗黙正則化現象の理論的保証を提供する。
  論文  参考訳（メタデータ） (2020-07-16T13:27:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。