論文の概要: Geometry-Aware Hyperbolic Residual Quantization
- arxiv url: http://arxiv.org/abs/2609.26342v1
- Date: Tue, 22 Sep 2026 12:50:18 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-23 18:04:04.375763
- Title: Geometry-Aware Hyperbolic Residual Quantization
- Title(参考訳): 幾何による双曲型残差量子化
- Abstract要約: 残留ベクトル量子化(Residual Vector Quantization)は、連続表現を離散的な多レベルトークンシーケンスに変換する。
ほとんどの方法はユークリッド空間で作用するが、結果の符号の粗い構造は成り立たない。
本稿では,これらの問題に前方・後方の両方で対処する幾何認識型双曲的残留量子化法を提案する。
- 参考スコア(独自算出の注目度): 0.12277343096128711
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Residual Vector Quantization turns continuous representations into discrete, multi-level token sequences. Yet most methods operate in Euclidean space, despite the coarse-to-fine structure of the resulting codes and the latent hierarchies present in many data domains. Hyperbolic geometry offers a natural alternative for hierarchical representations, but naive hyperbolic extensions introduce geometric inconsistencies: non-associative hyperbolic addition prevents consistent residual aggregation, while standard straight-through gradient estimation ignores the geometry of the latent space. We propose a geometry-aware hyperbolic residual quantization that addresses these issues in both the forward and backward passes. In the forward pass, Hyperbolic Residual Aggregation restores the telescoping behavior of residual quantization on the Poincare ball. In the backward pass, a discounted Hyperbolic Straight-Through Estimator routes the reconstruction gradient through the quantizer as a single geometric block, avoiding unstable recursive gradient transport across residual stages. Evaluations on hierarchical prediction, recommendation, image tokenization, and neural audio coding tasks show that our method improves the stability and structural organization of hyperbolic residual codes over naive hyperbolic baselines. At the same time, we observe a clear structure-compression trade-off: Euclidean residual quantization remains preferable for pure compression, while geometry-aware hyperbolic quantization is most useful for hierarchically organized discrete latent spaces.
- Abstract(参考訳): 残留ベクトル量子化(Residual Vector Quantization)は、連続表現を離散的な多レベルトークンシーケンスに変換する。
しかし、ほとんどのメソッドはユークリッド空間で動作するが、結果の符号の粗い構造や、多くのデータ領域に潜伏した階層は存在する。
双曲的幾何学は階層的表現の自然な代替手段を提供するが、単純双曲的拡張は幾何的不整合をもたらす:非連想的双曲的加法は一貫した連続的な集合を妨げ、一方標準的直進勾配推定は潜在空間の幾何を無視する。
本稿では,これらの問題に前方・後方の両方で対処する幾何認識型双曲的残留量子化法を提案する。
前方通過において、双曲残留凝集は、ポインケアボール上の残留量子化のテレスコープ挙動を復元する。
後方通過では、割引されたハイパーボリック・ストレート・スロー推定器が量子化器を1つの幾何ブロックとして通過し、残留段階をまたぐ不安定な再帰勾配輸送を回避する。
階層的予測,レコメンデーション,画像トークン化,ニューラルオーディオ符号化タスクの評価は,本手法が高次双曲的ベースラインに対する双曲的残符号の安定性と構造的構造を改善することを示している。
ユークリッドの残留量子化は純粋な圧縮には好ましくないが、幾何学的な双曲量子化は階層的に整理された離散潜在空間において最も有用である。
関連論文リスト
- Learning to Tessellate: Point Cloud Generation via Recursive Spectral Partitioning [58.130498928480456]
本稿では, トポロジ保存型テッセルレーションプロセスとして, 点雲生成を再構成する自己回帰フレームワークであるPointRSPを提案する。
PointRSPは、複雑な3Dトポロジーをまたいだ強力な一般化を証明し、世代品質と多様性の最先端のパフォーマンスを達成する。
論文 参考訳(メタデータ) (2026-08-03T16:11:43Z) - Group-Equivariant Poincaré Convolutional Networks [2.1092185983505396]
Poincaré ResNetsは双曲空間で視覚表現を直接学習する可能性を実証した。
双曲幾何学と離散対称性群を組み合わせた等変ポアンカレ・レスネットを提案する。
我々は、幾何学的に安全なテンソル整形、双曲群畳み込みに対する左正則な置換、および結合配向ポアンカレミドルポイントバッチ正規化を提案する。
論文 参考訳(メタデータ) (2026-07-01T07:44:28Z) - Nonlinear Geometrizability of State-Dependent Proto-Area in Approximate Holographic Codes [0.0]
近似回復によって生成される状態依存型プロト面積データは、単一の局所的バルク計量と互換性がない。
我々は、正確な有限分解能基準を導出し、双曲円盤の近傍では、通常のプロト面積2ジェットの必要十分条件を導出する。
ハミルトニアスキュード符号は、第一次非幾何と、第一の障害物が二次的にのみ現れるキャリブレーション応答の両方を実現する。
論文 参考訳(メタデータ) (2026-06-21T17:16:10Z) - Engineering Quantum Many-Body Scars through Lattice Geometry [0.0028001975341488856]
格子幾何学だけでは、スカーリングの誘発と強化のための強力で実験的にアクセス可能な制御として機能することを示す。
一次元の鎖を準一次元の三角形装飾格子に変換することにより、完全偏極状態は顕著な忠実回復、緩やかな絡み合い成長、弱絡み合った固有状態の塔との強い重なりを示すことが分かる。
論文 参考訳(メタデータ) (2026-05-06T18:00:01Z) - Hyperbolic Enhanced Representation Learning for Incomplete Multi-view Clustering [57.38215918201251]
本稿では,不完全なマルチビュークラスタリングのためのハイパーボリック拡張表現学習フレームワークであるHERLを提案する。
ポアンカレボール内で操作すると、HERLは表現学習を強化するために構造を意識した潜在空間を構築する。
HERLは最先端のアプローチよりも一貫して優れていることを示す。
論文 参考訳(メタデータ) (2026-04-18T10:50:46Z) - Robust Sequential Tracking via Bounded Information Geometry and Non-Parametric Field Actions [0.0]
LiDARによるターゲット追跡、高周波暗号秩序フロー、量子状態トモグラフィーの3つの領域にわたる実証的なベンチマークでは、この情報ジオメトリが異常値を解析的に減らすことを実証している。
論文 参考訳(メタデータ) (2026-03-13T21:40:44Z) - Deterministic Zeroth-Order Mirror Descent via Vector Fields with A Posteriori Certification [45.85698554568285]
我々は、勾配を一般的なベクトル場に置き換えることで、決定論的ゼロ階ミラー降下フレームワークを開発する。
我々の分析は、最終段階の不等式評価のための評価テンプレートを提供する。
これらの結果は、ブレグマンのアイデンティティ、決定論的証明、およびゼロ階ミラー降下におけるロバストな円錐幾何学を隠蔽した幾何学的リンクを明らかにする。
論文 参考訳(メタデータ) (2026-01-31T10:05:05Z) - Fast and Geometrically Grounded Lorentz Neural Networks [44.564864487582525]
双曲型ニューラルネットの定式化は効率的で,双曲型空間の重要な特性を捉えることができる。
現在のローレンツ線型層の定式化により、出力の双曲ノルムは勾配降下ステップの数と対数的にスケールすることが証明される。
我々の新しい定式化とローレンツの活性化関数によるさらなる効率性、そして新しいキャッシング戦略により、ニューラルネットワークは双曲幾何学によって完全に支配される。
論文 参考訳(メタデータ) (2026-01-29T10:44:32Z) - Understanding and Mitigating Hyperbolic Dimensional Collapse in Graph Contrastive Learning [70.0681902472251]
双曲空間における高品質グラフ埋め込みを学習するための新しいコントラスト学習フレームワークを提案する。
具体的には、階層的なデータ不変情報を効果的にキャプチャするアライメントメトリックを設計する。
双曲空間において、木の性質に関連する葉と高さの均一性に対処する必要があることを示す。
論文 参考訳(メタデータ) (2023-10-27T15:31:42Z) - Curve Your Attention: Mixed-Curvature Transformers for Graph
Representation Learning [77.1421343649344]
本稿では,一定曲率空間の積を完全に操作するトランスフォーマーの一般化を提案する。
また、非ユークリッド注意に対するカーネル化されたアプローチを提供し、ノード数とエッジ数に線形に時間とメモリコストでモデルを実行できるようにします。
論文 参考訳(メタデータ) (2023-09-08T02:44:37Z) - Towards Scalable Hyperbolic Neural Networks using Taylor Series
Approximations [10.056167107654089]
ハイパーボリックネットワークは、階層的データセットを含むいくつかの領域において、ユークリッドネットワークよりも顕著に改善されている。
それらの実践における採用は、(i)高速化されたディープラーニングハードウェアの非スケーリング性、(ii)双曲空間の閉鎖による消滅、(iii)情報損失により制限されている。
テイラー級数展開を用いた双曲作用素の近似を提案し、双曲函数の接勾配を同変に再構成する。
論文 参考訳(メタデータ) (2022-06-07T22:31:17Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。