論文の概要: CAT: Curvature-Adaptive Transformers for Geometry-Aware Learning

• arxiv url: http://arxiv.org/abs/2510.01634v1
• Date: Thu, 02 Oct 2025 03:26:33 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-03 16:59:20.969442
• Title: CAT: Curvature-Adaptive Transformers for Geometry-Aware Learning
• Title（参考訳）: CAT:幾何学習のための曲率適応変換器
• Authors: Ryan Y. Lin, Siddhartha Ojha, Nicholas Bai,
• Abstract要約: Curvature-Adaptive Transformer (CAT) は、軽量で微分可能なゲーティング機構を通じて、3つの幾何学的注意枝にまたがるトーケン毎のルーティングを学習する。 知識グラフ補完ベンチマークでは、CATは最小限のオーバーヘッドで固定幾何ベースラインに対して、MRRとHits@10の約10%の改善を実現している。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Transformers achieve strong performance across diverse domains but implicitly assume Euclidean geometry in their attention mechanisms, limiting their effectiveness on data with non-Euclidean structure. While recent extensions to hyperbolic and spherical spaces show promise for hierarchical and cyclical patterns, respectively, they require committing to a single geometry a priori, reducing flexibility when data exhibits mixed geometric properties. We introduce the Curvature-Adaptive Transformer (CAT), a novel architecture that dynamically learns per-token routing across three geometric attention branches through a lightweight, differentiable gating mechanism. Unlike fixed-geometry approaches, CAT enables adaptive geometric specialization, routing tokens to the appropriate curvature based on their local relational structure. The routing network provides interpretable curvature preferences while each branch employs geometry-specific operations optimized for its respective manifold. On knowledge graph completion benchmarks (FB15k-237, WN18RR), CAT achieves approximately 10% improvements in MRR and Hits@10 over fixed-geometry baselines with minimal overhead (5% parameter increase, comparable inference time). These results demonstrate that learned geometric adaptation outperforms any single fixed geometry for complex relational reasoning, establishing CAT as a scalable and interpretable foundation for mixture-of-geometry architectures across language, vision, and multimodal domains.
• Abstract（参考訳）: 変換器は様々な領域にわたって強い性能を達成するが、注意機構においてユークリッド幾何学を暗黙的に仮定し、非ユークリッド構造を持つデータに対する有効性を制限している。 最近の双曲空間と球面空間への拡張は、それぞれ階層的パターンと巡回的パターンの公約を示すが、それらは1つの幾何学を優先的にコミットすることを必要とし、データが混合幾何学的性質を示すときの柔軟性を低下させる。 CAT(Curvature-Adaptive Transformer, Curvature-Adaptive Transformer, Curvature-Adaptive Transformer, Curvature-Adaptive Transformer, Curvature-Adaptive Transformer, Curvature-Adaptive Transformer, Curvature-Adaptive Transformer, Curvature-Adaptive Transformer)を導入する。 固定幾何アプローチとは異なり、CATは局所的関係構造に基づく適切な曲率へのルーティングトークンを適応的幾何学的特殊化を可能にする。 ルーティングネットワークは解釈可能な曲率の好みを提供するが、各分岐はそれぞれの多様体に最適化された幾何学的な演算を用いる。 知識グラフ補完ベンチマーク(FB15k-237, WN18RR)では、CATはMRRとHits@10の約10%の改善を実現している。 これらの結果は、学習された幾何学的適応が複雑な関係推論のための固定幾何よりも優れており、言語、視覚、マルチモーダル領域をまたいだ混合幾何学アーキテクチャのスケーラブルで解釈可能な基盤としてCATを確立していることを示している。

関連論文リスト

• Parameter-Efficient Fine-Tuning of LLMs with Mixture of Space Experts [20.82313207866023]
  複数の幾何学空間を同時に利用して曲率認識表現を学習する統合フレームワークを提案する。 ヘテロジニアスな幾何学的専門家とローランド適応(LoRA)を拡張したMoSLoRAを開発した。 多様なベンチマークによる実験は、MoSLoRAが強いベースラインを一貫して上回っていることを示している。
  論文  参考訳（メタデータ） (2026-02-16T06:07:32Z)
• ArGEnT: Arbitrary Geometry-encoded Transformer for Operator Learning [2.757490632589873]
  本稿では、任意のドメイン上での演算子学習のための幾何認識型アテンションベースアーキテクチャであるArbitrary Geometry-encoded Transformer (ArGEnT)を提案する。 柔軟な幾何符号化と演算子学習機能を組み合わせることで、ArGEnTは複雑な物理システムの最適化、不確実性、データ駆動モデリングのためのスケーラブルな代理モデリングフレームワークを提供する。
  論文  参考訳（メタデータ） (2026-02-12T06:22:59Z)
• Learning Geometry: A Framework for Building Adaptive Manifold Models through Metric Optimization [8.201374511929538]
  本稿では,従来のパラメータ最適化を超越した機械学習のパラダイムを提案する。 既定位相を持つ多様体上の計量テンソル場を最適化することにより、モデル空間の幾何学的構造を動的に形成する。 この研究は、その幾何学とトポロジーを自律的に進化させることができる完全にダイナミックな「メタ・ラーナー」を構築するための確固たる基礎を築いた。
  論文  参考訳（メタデータ） (2025-10-30T01:53:32Z)
• The Neural Differential Manifold: An Architecture with Explicit Geometric Structure [8.201374511929538]
  本稿では,その基本設計に幾何学的構造を明示的に組み込んだニューラルネットワークアーキテクチャであるニューラル微分マニフォールド(NDM)を紹介する。 我々は、より効率的な最適化の可能性、継続学習の強化、科学的発見と制御可能な生成モデルへの応用など、このアプローチの理論的利点を分析する。
  論文  参考訳（メタデータ） (2025-10-29T02:24:27Z)
• Geometry-Aware Spiking Graph Neural Network [24.920334588995072]
  本稿では,スパイクに基づくニューラルダイナミクスを適応表現学習と統合するGeometry-Aware Spiking Graph Neural Networkを提案する。 複数のベンチマーク実験により、GSGはユークリッドSNNと多様体ベースGNNと比較して精度、堅牢性、エネルギー効率が優れていることが示された。
  論文  参考訳（メタデータ） (2025-08-09T02:52:38Z)
• Adaptive Riemannian Graph Neural Networks [29.859977834688625]
  グラフ上の連続および異方性計量テンソル場を学習する新しいフレームワークを導入する。 これにより各ノードがその最適な局所幾何学を決定でき、モデルがグラフの構造的景観に流動的に適応できる。 本手法は, ヘテロ親和性ベンチマークとホモ親和性ベンチマークの双方において, 優れた性能を示す。
  論文  参考訳（メタデータ） (2025-08-04T16:55:02Z)
• Enforcing Latent Euclidean Geometry in Single-Cell VAEs for Manifold Interpolation [79.27003481818413]
  離散的様相変分オートエンコーダの潜在多様体をユークリッド幾何学へ正規化する訓練フレームワークであるFlatVIを紹介する。 遅延空間の直線を復号化された単セル多様体上の測地線に近似させることで、FlatVIは下流アプローチとの整合性を高める。
  論文  参考訳（メタデータ） (2025-07-15T23:08:14Z)
• Fully Geometric Multi-Hop Reasoning on Knowledge Graphs with Transitive Relations [50.05281461410368]
  マルチホップ推論のための幾何学的埋め込み手法GeometrEを紹介する。 論理演算を学習する必要はなく、完全に幾何学的解釈可能である。 実験の結果,GeometrEは標準ベンチマークデータセットの最先端手法よりも優れていることがわかった。
  論文  参考訳（メタデータ） (2025-05-18T11:17:50Z)
• Incorporating Arbitrary Matrix Group Equivariance into KANs [69.30866522377694]
  Kolmogorov-Arnold Networks (KAN) は科学分野で大きな成功を収めている。 本研究では,Equivariant Kolmogorov-Arnold Networks (EKAN)を提案する。
  論文  参考訳（メタデータ） (2024-10-01T06:34:58Z)
• Beyond Canonicalization: How Tensorial Messages Improve Equivariant Message Passing [15.687514300950813]
  制約なく任意のアーキテクチャと統合可能な,ローカル参照フレーム(ローカル標準化)に基づくフレームワークを提案する。 任意の次元のユークリッド空間における幾何学的データに対するメッセージパッシングに適用する。 我々は、テンソルメッセージの優位性を実証し、通常のベクトル回帰および他の標準的な3Dポイントクラウドタスクの競合結果に対する最先端の結果を得る。
  論文  参考訳（メタデータ） (2024-05-24T09:41:06Z)
• Adaptive Surface Normal Constraint for Geometric Estimation from Monocular Images [56.86175251327466]
  本稿では,幾何学的文脈を取り入れつつ,画像から深度や表面正規度などの測地を学習するための新しい手法を提案する。 提案手法は,入力画像に存在する幾何学的変動を符号化した幾何学的文脈を抽出し,幾何的制約と深度推定を相関付ける。 本手法は,画像から高品質な3次元形状を生成可能な密着型フレームワーク内での深度と表面の正規分布推定を統一する。
  論文  参考訳（メタデータ） (2024-02-08T17:57:59Z)
• Exploring Data Geometry for Continual Learning [64.4358878435983]
  非定常データストリームのデータ幾何を探索することにより,新しい視点から連続学習を研究する。 提案手法は,新しいデータによって引き起こされる幾何構造に対応するために,基底空間の幾何学を動的に拡張する。 実験により,本手法はユークリッド空間で設計したベースライン法よりも優れた性能が得られることが示された。
  論文  参考訳（メタデータ） (2023-04-08T06:35:25Z)
• Frame Averaging for Equivariant Shape Space Learning [85.42901997467754]
  形状空間学習に対称性を組み込む自然な方法は、形状空間(エンコーダ)への写像と形状空間(デコーダ)からの写像が関連する対称性に同値であることを問うことである。 本稿では,2つのコントリビューションを導入することで,エンコーダとデコーダの等価性を組み込む枠組みを提案する。
  論文  参考訳（メタデータ） (2021-12-03T06:41:19Z)
• Hermitian Symmetric Spaces for Graph Embeddings [0.0]
  C 上の対称行列空間におけるグラフの連続表現を学ぶ。 これらの空間は双曲部分空間とユークリッド部分空間を同時に認めるリッチな幾何学を提供する。 提案するモデルは, apriori のグラフ特徴を見積もることなく, まったく異なる配置に自動的に適応することができる。
  論文  参考訳（メタデータ） (2021-05-11T18:14:52Z)
• Inter-layer Transition in Neural Architecture Search [89.00449751022771]
  本論文では、連結エッジのアーキテクチャ重み間の依存性を明示的にモデル化する。 5つのベンチマーク実験により、層間依存性のモデル化の価値を確認し、提案手法が最先端の手法より優れていることを示す。
  論文  参考訳（メタデータ） (2020-11-30T03:33:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。