論文の概要: CAT: Curvature-Adaptive Transformers for Geometry-Aware Learning

• arxiv url: http://arxiv.org/abs/2510.01634v1
• Date: Thu, 02 Oct 2025 03:26:33 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-03 16:59:20.969442
• Title: CAT: Curvature-Adaptive Transformers for Geometry-Aware Learning
• Title（参考訳）: CAT:幾何学習のための曲率適応変換器
• Authors: Ryan Y. Lin, Siddhartha Ojha, Nicholas Bai,
• Abstract要約: Curvature-Adaptive Transformer (CAT) は、軽量で微分可能なゲーティング機構を通じて、3つの幾何学的注意枝にまたがるトーケン毎のルーティングを学習する。 知識グラフ補完ベンチマークでは、CATは最小限のオーバーヘッドで固定幾何ベースラインに対して、MRRとHits@10の約10%の改善を実現している。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Transformers achieve strong performance across diverse domains but implicitly assume Euclidean geometry in their attention mechanisms, limiting their effectiveness on data with non-Euclidean structure. While recent extensions to hyperbolic and spherical spaces show promise for hierarchical and cyclical patterns, respectively, they require committing to a single geometry a priori, reducing flexibility when data exhibits mixed geometric properties. We introduce the Curvature-Adaptive Transformer (CAT), a novel architecture that dynamically learns per-token routing across three geometric attention branches through a lightweight, differentiable gating mechanism. Unlike fixed-geometry approaches, CAT enables adaptive geometric specialization, routing tokens to the appropriate curvature based on their local relational structure. The routing network provides interpretable curvature preferences while each branch employs geometry-specific operations optimized for its respective manifold. On knowledge graph completion benchmarks (FB15k-237, WN18RR), CAT achieves approximately 10% improvements in MRR and Hits@10 over fixed-geometry baselines with minimal overhead (5% parameter increase, comparable inference time). These results demonstrate that learned geometric adaptation outperforms any single fixed geometry for complex relational reasoning, establishing CAT as a scalable and interpretable foundation for mixture-of-geometry architectures across language, vision, and multimodal domains.
• Abstract（参考訳）: 変換器は様々な領域にわたって強い性能を達成するが、注意機構においてユークリッド幾何学を暗黙的に仮定し、非ユークリッド構造を持つデータに対する有効性を制限している。 最近の双曲空間と球面空間への拡張は、それぞれ階層的パターンと巡回的パターンの公約を示すが、それらは1つの幾何学を優先的にコミットすることを必要とし、データが混合幾何学的性質を示すときの柔軟性を低下させる。 CAT(Curvature-Adaptive Transformer, Curvature-Adaptive Transformer, Curvature-Adaptive Transformer, Curvature-Adaptive Transformer, Curvature-Adaptive Transformer, Curvature-Adaptive Transformer, Curvature-Adaptive Transformer, Curvature-Adaptive Transformer)を導入する。 固定幾何アプローチとは異なり、CATは局所的関係構造に基づく適切な曲率へのルーティングトークンを適応的幾何学的特殊化を可能にする。 ルーティングネットワークは解釈可能な曲率の好みを提供するが、各分岐はそれぞれの多様体に最適化された幾何学的な演算を用いる。 知識グラフ補完ベンチマーク(FB15k-237, WN18RR)では、CATはMRRとHits@10の約10%の改善を実現している。 これらの結果は、学習された幾何学的適応が複雑な関係推論のための固定幾何よりも優れており、言語、視覚、マルチモーダル領域をまたいだ混合幾何学アーキテクチャのスケーラブルで解釈可能な基盤としてCATを確立していることを示している。

関連論文リスト

• Geometry-Aware Spiking Graph Neural Network [24.920334588995072]
  本稿では,スパイクに基づくニューラルダイナミクスを適応表現学習と統合するGeometry-Aware Spiking Graph Neural Networkを提案する。 複数のベンチマーク実験により、GSGはユークリッドSNNと多様体ベースGNNと比較して精度、堅牢性、エネルギー効率が優れていることが示された。
  論文  参考訳（メタデータ） (2025-08-09T02:52:38Z)
• Adaptive Riemannian Graph Neural Networks [29.859977834688625]
  グラフ上の連続および異方性計量テンソル場を学習する新しいフレームワークを導入する。 これにより各ノードがその最適な局所幾何学を決定でき、モデルがグラフの構造的景観に流動的に適応できる。 本手法は, ヘテロ親和性ベンチマークとホモ親和性ベンチマークの双方において, 優れた性能を示す。
  論文  参考訳（メタデータ） (2025-08-04T16:55:02Z)
• Fully Geometric Multi-Hop Reasoning on Knowledge Graphs with Transitive Relations [50.05281461410368]
  マルチホップ推論のための幾何学的埋め込み手法GeometrEを紹介する。 論理演算を学習する必要はなく、完全に幾何学的解釈可能である。 実験の結果,GeometrEは標準ベンチマークデータセットの最先端手法よりも優れていることがわかった。
  論文  参考訳（メタデータ） (2025-05-18T11:17:50Z)
• Incorporating Arbitrary Matrix Group Equivariance into KANs [69.30866522377694]
  Kolmogorov-Arnold Networks (KAN) は科学分野で大きな成功を収めている。 本研究では,Equivariant Kolmogorov-Arnold Networks (EKAN)を提案する。
  論文  参考訳（メタデータ） (2024-10-01T06:34:58Z)
• Beyond Canonicalization: How Tensorial Messages Improve Equivariant Message Passing [15.687514300950813]
  制約なく任意のアーキテクチャと統合可能な,ローカル参照フレーム(ローカル標準化)に基づくフレームワークを提案する。 任意の次元のユークリッド空間における幾何学的データに対するメッセージパッシングに適用する。 我々は、テンソルメッセージの優位性を実証し、通常のベクトル回帰および他の標準的な3Dポイントクラウドタスクの競合結果に対する最先端の結果を得る。
  論文  参考訳（メタデータ） (2024-05-24T09:41:06Z)
• Exploring Data Geometry for Continual Learning [64.4358878435983]
  非定常データストリームのデータ幾何を探索することにより,新しい視点から連続学習を研究する。 提案手法は,新しいデータによって引き起こされる幾何構造に対応するために,基底空間の幾何学を動的に拡張する。 実験により,本手法はユークリッド空間で設計したベースライン法よりも優れた性能が得られることが示された。
  論文  参考訳（メタデータ） (2023-04-08T06:35:25Z)
• Frame Averaging for Equivariant Shape Space Learning [85.42901997467754]
  形状空間学習に対称性を組み込む自然な方法は、形状空間(エンコーダ)への写像と形状空間(デコーダ)からの写像が関連する対称性に同値であることを問うことである。 本稿では,2つのコントリビューションを導入することで,エンコーダとデコーダの等価性を組み込む枠組みを提案する。
  論文  参考訳（メタデータ） (2021-12-03T06:41:19Z)
• Hermitian Symmetric Spaces for Graph Embeddings [0.0]
  C 上の対称行列空間におけるグラフの連続表現を学ぶ。 これらの空間は双曲部分空間とユークリッド部分空間を同時に認めるリッチな幾何学を提供する。 提案するモデルは, apriori のグラフ特徴を見積もることなく, まったく異なる配置に自動的に適応することができる。
  論文  参考訳（メタデータ） (2021-05-11T18:14:52Z)
• Inter-layer Transition in Neural Architecture Search [89.00449751022771]
  本論文では、連結エッジのアーキテクチャ重み間の依存性を明示的にモデル化する。 5つのベンチマーク実験により、層間依存性のモデル化の価値を確認し、提案手法が最先端の手法より優れていることを示す。
  論文  参考訳（メタデータ） (2020-11-30T03:33:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。