論文の概要: Rethinking the Fully Hyperbolic Vision Transformer in Polar Coordinates

• arxiv url: http://arxiv.org/abs/2609.32899v1
• Date: Sat, 26 Sep 2026 19:39:55 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-06 12:09:09.823246
• Title: Rethinking the Fully Hyperbolic Vision Transformer in Polar Coordinates
• Title（参考訳）: 極性座標系における全双曲型視覚変換器の再考
• Abstract要約: 双曲空間は内在的階層を低歪みのデータに埋め込むことができる。 現在のローレンツ変圧器ブロックは周囲座標で定式化されている。 我々は,標準的な視覚タスクにおけるユークリッドおよび双曲ベースラインの性能を大幅に向上する完全双曲変換器を開発した。
• 参考スコア（独自算出の注目度）: 8.684421585537732
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Hyperbolic space can embed intrinsic hierarchies in data with low distortion due to the exponential growth of volume with distance from the origin. However, current Lorentz transformer blocks are formulated in ambient coordinates, where numerical errors increase at large radii due to instability in the Lorentzian inner product, leading many models to limit the radius to avoid this issue. This prevents us from utilizing the regions of hyperbolic space that motivate the geometry. To address this, we revisit the components of the transformer block in polar coordinates, where hyperbolic operations such as distance calculation and attention centroids can be computed without the numerical cancellation in their ambient-coordinate formulations. Specifically, we propose a polar fully connected layer that separately maps an embedding's direction and radius, allowing the radius of a feature to be learned rather than determined by the norm of a linear map. We additionally introduce horospherical shifts as relative positional encodings whose query-key distances grow logarithmically with the token gap. Finally, we reformulate the residual connection as average radius Lorentz boosts. Combining these components, we develop a fully hyperbolic transformer that substantially improves performance over Euclidean and hyperbolic baselines on standard vision tasks. We further evaluate our model on ImageNet and demonstrate its ability to generalize to other datasets using pre-trained weights, similar to Euclidean counterparts.
• Abstract（参考訳）: 双曲空間は、原点からの距離の体積の指数的成長による歪みの低いデータに内在的階層を埋め込むことができる。 しかし、現在のローレンツ変圧器ブロックは周囲座標で定式化されており、ローレンツ内部積の不安定性によって大きな半径で数値誤差が増加し、この問題を避けるために半径を制限する多くのモデルが導かれる。 これにより、幾何学を動機づける双曲空間の領域を利用することができない。 これを解決するために、極座標における変圧器ブロックの成分を再検討し、その周辺座標の定式化において数値的なキャンセルを伴わずに、距離計算や注意セントロイドといった双曲演算を計算できる。 具体的には、埋め込みの方向と半径を別々にマッピングし、線型写像のノルムによって決定されるのではなく、特徴の半径を学習できるようにする極完全連結層を提案する。 さらに,クエリキー距離がトークンギャップと対数的に増加する相対的な位置符号化として,ホロスフェラルシフトを導入する。 最後に、平均半径ローレンツが上昇するにつれて残差接続を再構成する。 これらの成分を組み合わせることで、ユークリッドおよび双曲的ベースライン上での標準的な視覚タスクの性能を大幅に向上する完全双曲変換器を開発する。 我々はさらに、ImageNetのモデルを評価し、ユークリッドのモデルと同様、トレーニング済みの重みを使って他のデータセットに一般化できることを実証する。

関連論文リスト

• Group-Equivariant Poincaré Convolutional Networks [2.1092185983505396]
  Poincaré ResNetsは双曲空間で視覚表現を直接学習する可能性を実証した。 双曲幾何学と離散対称性群を組み合わせた等変ポアンカレ・レスネットを提案する。 我々は、幾何学的に安全なテンソル整形、双曲群畳み込みに対する左正則な置換、および結合配向ポアンカレミドルポイントバッチ正規化を提案する。
  論文  参考訳（メタデータ） (2026-07-01T07:44:28Z)
• Intrinsic Lorentz Neural Network [49.83037691286893]
  実世界のデータは、しばしば、双曲幾何学によって自然に表される潜在階層構造を示す。 本稿では,全計算をローレンツモデル内で行う完全内在型双曲型アーキテクチャであるEmphIntrinsic Lorentz Neural Network (ILNN)を提案する。 ネットワークの中核は、従来のユークリッド・アフィン・ロジットを閉形双曲線距離に置き換え、新しいエンファンポイント-ハイアプレーン完全連結層(FC)を導入している。
  論文  参考訳（メタデータ） (2026-02-27T12:48:05Z)
• Fast and Geometrically Grounded Lorentz Neural Networks [44.564864487582525]
  双曲型ニューラルネットの定式化は効率的で,双曲型空間の重要な特性を捉えることができる。 現在のローレンツ線型層の定式化により、出力の双曲ノルムは勾配降下ステップの数と対数的にスケールすることが証明される。 我々の新しい定式化とローレンツの活性化関数によるさらなる効率性、そして新しいキャッシング戦略により、ニューラルネットワークは双曲幾何学によって完全に支配される。
  論文  参考訳（メタデータ） (2026-01-29T10:44:32Z)
• VAE with Hyperspherical Coordinates: Improving Anomaly Detection from Hypervolume-Compressed Latent Space [56.362776482614976]
  変分オートエンコーダ(VAE)は、これらのベクトルをデータに復号する前に、データを低次元の潜在ベクトルに符号化する。 本稿では,超球面座標を用いてVAEの潜伏変数を定式化し,超球面上の所定の方向に向かって潜伏ベクトルを圧縮する手法を提案する。 これにより、VAEの完全な教師なしおよびOOD異常検出能力が向上し、検討したデータセット上で最高のパフォーマンスを達成できることが示される。
  論文  参考訳（メタデータ） (2026-01-25T03:10:24Z)
• Radial Compensation: Stable and Semantically Decoupled Generative Models on Riemannian Manifolds [0.0]
  本稿では,極からの測地距離にのみ依存するように,接空間の基底密度を選択する情報幾何学的手法を提案する。 体積歪みと測地誤差のバランスをとるバランスチャートを導出する。 RCの下では、すべてのbExp設定は同じ多様体密度とフィッシャー情報を保持し、より小さなダイヤル値で勾配のばらつきと流量のコストを低減させる。
  論文  参考訳（メタデータ） (2025-11-18T02:15:25Z)
• SGFormer: Spherical Geometry Transformer for 360 Depth Estimation [52.23806040289676]
  パノラマ歪みは360度深度推定において大きな課題となる。 本稿では,SGFormer という球面形状変換器を提案し,上記の問題に対処する。 また、様々な解像度で空間構造を補うために、クエリベースの大域的条件位置埋め込みを提案する。
  論文  参考訳（メタデータ） (2024-04-23T12:36:24Z)
• NeuRBF: A Neural Fields Representation with Adaptive Radial Basis Functions [93.02515761070201]
  本稿では,信号表現に一般放射状基底を用いる新しいタイプのニューラルネットワークを提案する。 提案手法は, 空間適応性が高く, ターゲット信号により密着可能な, フレキシブルなカーネル位置と形状を持つ一般ラジアルベース上に構築する。 ニューラルラジアンス場再構成に適用した場合,本手法はモデルサイズが小さく,訓練速度が同等である最先端のレンダリング品質を実現する。
  論文  参考訳（メタデータ） (2023-09-27T06:32:05Z)
• Curve Your Attention: Mixed-Curvature Transformers for Graph Representation Learning [77.1421343649344]
  本稿では,一定曲率空間の積を完全に操作するトランスフォーマーの一般化を提案する。 また、非ユークリッド注意に対するカーネル化されたアプローチを提供し、ノード数とエッジ数に線形に時間とメモリコストでモデルを実行できるようにします。
  論文  参考訳（メタデータ） (2023-09-08T02:44:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。