論文の概要: Geometric knowledge spaces, Attention pairing and Architectures

• arxiv url: http://arxiv.org/abs/2610.29526v1
• Date: Wed, 21 Oct 2026 10:14:27 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-23 09:50:43.243285
• Title: Geometric knowledge spaces, Attention pairing and Architectures
• Title（参考訳）: 幾何学的知識空間, 注意ペアリングとアーキテクチャ
• Abstract要約: 注意機構の導出と潜在的な新しい変圧器アーキテクチャの探索のための幾何学的手法を提案する。 まず、知識の世界と注意のペアリングの概念を形式化し、このフレームワークがいかにして標準的注意、因果的注意、線形的注意、テンソル的注意、反復的ニューラルネットワークのアーキテクチャに自然に結びつくかを実証する。
• 参考スコア（独自算出の注目度）: 1.6521729601628559
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In this paper, we propose a geometric approach to deriving attention mechanisms and exploring potential new transformer architectures. We begin by formalizing the notions of knowledge worlds and attention pairings, then demonstrate how this framework naturally leads to the architectures of standard attention, causal attention, linear attention, tensor attention, and recurrent neural networks. Finally, we introduce several new geometric spaces that may inspire novel neural network architectures.
• Abstract（参考訳）: 本稿では,アテンション機構の導出と新たなトランスフォーマーアーキテクチャの探索のための幾何学的アプローチを提案する。 まず、知識の世界と注意のペアリングの概念を形式化し、このフレームワークがいかにして標準的注意、因果的注意、線形的注意、テンソル的注意、反復的ニューラルネットワークのアーキテクチャに自然に結びつくかを実証する。 最後に、新しいニューラルネットワークアーキテクチャに刺激を与える可能性のある幾何空間をいくつか導入する。

関連論文リスト

• A mathematical framework of intelligence and consciousness based on Riemannian Geometry [1.9580473532948397]
  知性を理解することは神経科学、認知科学、人工知能の中心的な研究である。 幾何解析の最近の進歩は、高次元情報表現と組織に対する新たな洞察を明らかにしている。 この写本は、知性と意識の構造とダイナミクスを記述する数学的枠組みを提案する。
  論文  参考訳（メタデータ） (2024-07-02T04:17:56Z)
• A Hitchhiker's Guide to Geometric GNNs for 3D Atomic Systems [87.30652640973317]
  原子系の計算モデリングの最近の進歩は、これらを3次元ユークリッド空間のノードとして埋め込まれた原子を含む幾何学的グラフとして表現している。 Geometric Graph Neural Networksは、タンパク質構造予測から分子シミュレーション、物質生成まで、幅広い応用を駆動する機械学習アーキテクチャとして好まれている。 本稿では,3次元原子システムのための幾何学的GNNの分野について,包括的で自己完結した概要を述べる。
  論文  参考訳（メタデータ） (2023-12-12T18:44:19Z)
• Neural Architecture Search for Dense Prediction Tasks in Computer Vision [74.9839082859151]
  ディープラーニングは、ニューラルネットワークアーキテクチャエンジニアリングに対する需要の高まりにつながっている。 ニューラルネットワーク検索(NAS)は、手動ではなく、データ駆動方式でニューラルネットワークアーキテクチャを自動設計することを目的としている。 NASはコンピュータビジョンの幅広い問題に適用されている。
  論文  参考訳（メタデータ） (2022-02-15T08:06:50Z)
• Geometric Deep Learning: Grids, Groups, Graphs, Geodesics, and Gauges [50.22269760171131]
  過去10年間、データサイエンスと機械学習の実験的な革命が、ディープラーニングの手法によって生まれた。 このテキストは、統一幾何学的原理によって事前に定義された規則性を公開することに関するものである。 CNN、RNN、GNN、Transformersなど、最も成功したニューラルネットワークアーキテクチャを研究するための一般的な数学的フレームワークを提供する。
  論文  参考訳（メタデータ） (2021-04-27T21:09:51Z)
• Fusing the Old with the New: Learning Relative Camera Pose with Geometry-Guided Uncertainty [91.0564497403256]
  本稿では,ネットワークトレーニング中の2つの予測系間の確率的融合を含む新しい枠組みを提案する。 本ネットワークは,異なる対応間の強い相互作用を強制することにより学習を駆動する自己追跡グラフニューラルネットワークを特徴とする。 学習に適したモーションパーマリゼーションを提案し、難易度の高いDeMoNおよびScanNetデータセットで最新のパフォーマンスを達成できることを示します。
  論文  参考訳（メタデータ） (2021-04-16T17:59:06Z)
• Understanding Deep Architectures with Reasoning Layer [60.90906477693774]
  本研究では,アルゴリズムの収束,安定性,感度といった特性が,エンドツーエンドモデルの近似と一般化能力と密接に関連していることを示す。 私たちの理論は、深いアーキテクチャを推論層で設計するための有用なガイドラインを提供することができます。
  論文  参考訳（メタデータ） (2020-06-24T00:26:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。