論文の概要: QSV: Quat-Sphere-Vision for Coupled Quaternion Attention on Spherical Lattices

• arxiv url: http://arxiv.org/abs/2609.30592v1
• Date: Thu, 24 Sep 2026 22:13:57 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-28 18:27:51.14992
• Title: QSV: Quat-Sphere-Vision for Coupled Quaternion Attention on Spherical Lattices
• Title（参考訳）: QSV: 球状格子上の結合四元数アテンションに対する四面体視
• Abstract要約: 標準的な注意では、3つの独立した学習された投影は、トークンが隣人にどれだけ強く付き合うかを決定する。 本研究では,このプロジェクショントリプルをトークン毎に1つの学習単位四元数で置き換える,スパース球面視覚モデルであるQuat-Sphere-Vision(QSV)について検討する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In standard attention, three separately learned projections decide how strongly a token attends to each neighbor ($W_Q$, $W_K$) and how the attended features are transformed before aggregation ($W_V$). We study Quat-Sphere-Vision (QSV), a sparse spherical vision model that replaces this projection triple with a single learned unit quaternion per token: the relative quaternion $r_{ij} = q_i^{*} \otimes q_j$ supplies both the attention logit $\operatorname{Re}(r_{ij})$ and a sandwich-product feature transport $x \mapsto r_{ij} \otimes x \otimes r_{ij}^{*}$, with messages passed over sparse kNN graphs on concentric Fibonacci spheres. Ablations that change only the targeted component show the two roles to be asymmetric. Removing the transport reduces test accuracy by about four percentage points on CIFAR-10 and CIFAR-100 (single runs per CIFAR-100 variant), while replacing the learned attention weights with uniform averaging leaves it essentially unchanged. Parameter-matched controls then remove the geometry itself: standard attention on the same graph exceeds QSV (mean $87.3\%$ vs. $85.9\%$), and the same model on a flat 2D lattice reaches $91.1\%$, within $2.1$ points of a ResNet-20 trained under the same pipeline (single run). In the coupled kernel, nearly all of the learned pairwise computation resides in the transport channel.
• Abstract（参考訳）: 標準的な注意では、3つの別々に学習された予測は、トークンが隣人にどれだけ強く付き合うか(W_Q$, $W_K$)と、関連する機能がアグリゲーションの前にどのように変換されるかを決定する(W_V$)。 相対四元数$r_{ij} = q_i^{*} \otimes q_j$ サプライとサンドイッチ製品特徴輸送$x \mapsto r_{ij} \otimes x \otimes r_{ij}^{*}$は、同心円フィボナッチ球面上のスパースkNNグラフに渡される。 対象成分だけを変更するアブレーションは、2つの役割が非対称であることを示す。 CIFAR-10とCIFAR-100(CIFAR-100の変種ごとの単回運転)の試験精度を約4ポイント削減し、学習した注意重みを均一な平均葉に置き換える。 同じグラフ上の標準的な注意は、QSV(平均8.7.3\%対8.5.9\%$)を超え、フラットな2D格子上の同じモデルは、同じパイプラインの下で訓練されたResNet-20の2.1$ポイント以内で911.1\%ドルに達する。 結合されたカーネルでは、学習されたペアワイズ計算のほとんどすべてがトランスポートチャネルに存在する。

関連論文リスト

• Structural Kolmogorov-Arnold Convolutions: Learnable Function on the Values or the Filter Shape as Parameter-Efficient Alternative to Per-Edge Convolutional KANs [76.06235645266621]
  Convolutional Kolmogorov--Arnold Networks (KAN) は、畳み込みカーネルの固定重みを学習可能な単変数関数に置き換える。 学習可能な関数は、各エッジよりも畳み込みのエンファン構造に置かれる方がよいと我々は主張する。
  論文  参考訳（メタデータ） (2026-06-23T10:00:26Z)
• Exact equivariance, kept through training, buys zero-shot generalisation across the symmetry group [6.230579198456525]
  等変エンコーダ$E$と等変予測器$f$から構築された潜在世界モデルは、トレーニング損失の証明可能な対称性を継承する。 このエンドツーエンドをラップトップスケール(CPU/MPS、完全シード)で検証する。
  論文  参考訳（メタデータ） (2026-06-02T01:20:24Z)
• Polymorphism Is Rotation: Operational Mechanistic Interpretability from a Two-Layer Transformer to Pythia-70m [0.0]
  独立に訓練された変圧器は、均一なランダム回転によって異なる残差ストリームベースで同じ関数を計算する。 この現象を多型と呼ぶ:同じ関数、相互に理解不能な内部座標である。 この現象は標準的なSAE測度には見えない。
  論文  参考訳（メタデータ） (2026-05-23T13:37:59Z)
• Contextuality from the Projector Overlap Matrix [0.6372261626436676]
  我々は、Kochen-Speckerコンテキストのいくつかの既知の指標を単一の射影幾何学的フレームワークに配置する。 Tcal_ij = d-1tr[(hat P_i hat Q_j)2]$, $hat P_i$ と $hat Q_j$ は、2つの互換性のある可観測対の合同固有空間射影である。 KCBSペンタゴンのスピン-$1$実現において、各文脈における共有$m_s=0$固有状態が$c_MU = であることを示す。
  論文  参考訳（メタデータ） (2026-04-26T21:56:11Z)
• Rényi exponent landscape of multipartite entanglement in free-fermion systems [51.56484100374058]
  我々は、Rényi tripartite information $I_3() が小フェルミ運動量での質的に $exclusion-dependent scaling を示すことを示した。 I_m(n)/I_m(1) sim zm-1 to 0$ for all integer $n geq 2$, so the leading von Neumann signal can builded from integer Rényi data。
  論文  参考訳（メタデータ） (2026-03-09T22:27:00Z)
• Tripartite information of free fermions: a universal entanglement coefficient from the sine kernel [51.56484100374058]
  自由フェルミオンの3分割情報I_3を3つの隣接する幅wに分割した2次元格子上で検討する。 g(z) は z* = 1.329 +/- 0.001: で一意な零点を持ち、k_F w z* のモードは相互情報の独占に反する。 z ln z の領域法則項と z2 の項の2つの正確なキャンセルは、I_3 の組み合わせに固有のものである。
  論文  参考訳（メタデータ） (2026-03-03T15:39:35Z)
• Mesoscopic Fluctuations and Multifractality at and across Measurement-Induced Phase Transition [46.176861415532095]
  二次元自由フェルミオンモデルにおける量子軌道のアンサンブルに関する統計的揺らぎについて検討する。 この結果はアンダーソンの局所化に顕著な類似性を示し、G_AB$は2末端の導電率に対応する。 監視システムのメソスコピック理論の基礎を築き,様々な拡張への道を開いた。
  論文  参考訳（メタデータ） (2025-07-15T13:44:14Z)
• Two-way kernel matrix puncturing: towards resource-efficient PCA and spectral clustering [43.50783459690612]
  この方法は、データマトリックス$XinmathbbCptimes n$と対応するカーネル(Gram)マトリックス$K$の両方をBernoulliマスクを介してランダムに「切断」する。 我々は、GAN生成した画像データベースを実証的に確認し、データを劇的にパンクし、巨大な計算とストレージのゲインを提供することができることを確認した。
  論文  参考訳（メタデータ） (2021-02-24T14:01:58Z)
• How isotropic kernels perform on simple invariants [0.5729426778193397]
  等方性カーネル手法のトレーニング曲線は、学習すべきタスクの対称性に依存するかを検討する。 大規模な帯域幅では、$beta = fracd-1+xi3d-3+xi$, where $xiin (0,2)$ がカーネルのストライプを原点とする指数であることを示す。
  論文  参考訳（メタデータ） (2020-06-17T09:59:18Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。