論文の概要: Torus embeddings

• arxiv url: http://arxiv.org/abs/2603.03135v1
• Date: Tue, 03 Mar 2026 16:11:14 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-03-04 21:38:10.875759
• Title: Torus embeddings
• Title（参考訳）: トーラスの埋め込み
• Authors: Dan Stowell,
• Abstract要約: 一般的なディープラーニングフレームワークは,トロイダルトポロジー固有の表現に適応可能であることを示す。 また、トーラス埋め込みが望ましい量子化特性を維持することを示す。
• 参考スコア（独自算出の注目度）: 4.12882083879949
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Many data representations are vectors of continuous values. In particular, deep learning embeddings are data-driven representations, typically either unconstrained in Euclidean space, or constrained to a hypersphere. These may also be translated into integer representations (quantised) for efficient large-scale use. However, the fundamental (and most efficient) numeric representation in the overwhelming majority of existing computers is integers with overflow -- and vectors of these integers do not correspond to either of these spaces, but instead to the topology of a (hyper)torus. This mismatch can lead to wasted representation capacity. Here we show that common deep learning frameworks can be adapted, quite simply, to create representations with inherent toroidal topology. We investigate two alternative strategies, demonstrating that a normalisation-based strategy leads to training with desirable stability and performance properties, comparable to a standard hyperspherical L2 normalisation. We also demonstrate that a torus embedding maintains desirable quantisation properties. The torus embedding does not outperform hypersphere embeddings in general, but is comparable, and opens the possibility to train deep embeddings which have an extremely simple pathway to efficient `TinyML' embedded implementation.
• Abstract（参考訳）: 多くのデータ表現は連続値のベクトルである。 特に、ディープラーニングの埋め込みはデータ駆動の表現であり、典型的にはユークリッド空間において制約されないか、超球面に制約される。 これらはより効率的な大規模使用のために整数表現(量子化)に変換することもできる。 しかし、既存のコンピュータの圧倒的多数における基本的な(そして最も効率的な)数値表現はオーバーフローを持つ整数であり、これらの整数のベクトルはこれらの空間のどちらとも対応せず、代わりに(超)トーラスの位相に対応する。 このミスマッチは、無駄な表現能力につながる可能性がある。 ここでは、トロイダルトポロジに固有の表現を生成するために、一般的なディープラーニングフレームワークが、非常に簡単に適応可能であることを示す。 正規化に基づく戦略が、標準的な超球面L2正規化に匹敵する、望ましい安定性と性能特性を持つトレーニングにつながることを示す2つの代替戦略について検討する。 また、トーラス埋め込みが望ましい量子化特性を維持することを示す。 トーラス埋め込みは一般にハイパースフィア埋め込みに勝るものではないが、同等であり、効率的な‘TinyML’埋め込み実装への極めて単純な経路を持つディープ埋め込みを訓練する可能性を開く。

関連論文リスト

• Sparse Semantic Dimension as a Generalization Certificate for LLMs [53.681678236115836]
  Sparse Semantic Dimension (SSD)は,モデル層上で訓練されたSparse Autoencoder (SAE)のアクティブな特徴語彙から導かれる複雑性尺度である。 我々はGPT-2 Small と Gemma-2B でこの枠組みを検証し、実際のサンプルサイズで非空き証明書を提供することを実証した。
  論文  参考訳（メタデータ） (2026-02-11T21:45:18Z)
• Scaling Probabilistic Circuits via Monarch Matrices [109.65822339230853]
  確率回路(PC)は確率分布の抽出可能な表現である。 そこで本研究では,PCの和ブロックに対する新しいスパースパラメータと構造化パラメータ化を提案する。
  論文  参考訳（メタデータ） (2025-06-14T07:39:15Z)
• Canonical normalizing flows for manifold learning [12.169916344037585]
  そこで本研究では,新しい目的によって変換行列を強制し,顕著で非退化的な基底関数をほとんど持たない正準多様体学習フロー法を提案する。 正準多様体の流れは潜在空間をより効率的に利用し、データを表現するために顕著で異なる次元を自動生成する。
  論文  参考訳（メタデータ） (2023-10-19T13:48:05Z)
• Provably Accurate and Scalable Linear Classifiers in Hyperbolic Spaces [39.71927912296049]
  スケーラブルで単純な双曲型線形分類器を学習するための統一的なフレームワークを提案する。 我々のアプローチの要点は、ポアンカーの球体モデルに焦点を合わせ、接空間形式を用いて分類問題を定式化することである。 Poincarの2階と戦略的パーセプトロンの優れた性能は、提案フレームワークが双曲空間における一般的な機械学習問題にまで拡張可能であることを示している。
  論文  参考訳（メタデータ） (2022-03-07T21:36:21Z)
• Bias-Variance Tradeoffs in Single-Sample Binary Gradient Estimators [100.58924375509659]
  ストレートスルー (ST) 推定器はその単純さと効率性から人気を得た。 計算の複雑さを低く保ちながら、STよりも改善するいくつかの手法が提案された。 我々は、トレードオフを理解し、元来主張された特性を検証するために、これらの手法のバイアスとばらつきの理論解析を行う。
  論文  参考訳（メタデータ） (2021-10-07T15:16:07Z)
• Highly Scalable and Provably Accurate Classification in Poincare Balls [40.82908295137667]
  我々は、スケーラブルで単純な双曲型線形分類器を証明可能な性能保証で学習するための統一的なフレームワークを構築した。 提案手法は,新しい双曲型および二階型パーセプトロンアルゴリズムと,双曲型サポートベクトルマシン分類器の効率的かつ高精度な凸最適化設定を含む。 数百万の点からなる合成データセットと、シングルセルRNA-seq式測定、CIFAR10、Fashion-MNIST、mini-ImageNetのような複雑な実世界のデータセットの性能評価を行う。
  論文  参考訳（メタデータ） (2021-09-08T16:59:39Z)
• Exact Backpropagation in Binary Weighted Networks with Group Weight Transformations [0.0]
  量子化に基づくモデル圧縮は、推論のためのハイパフォーマンスで高速なアプローチとして機能する。 重みをバイナリ値に制限するモデルは、ユビキタスドット製品の効率的な実装を可能にします。
  論文  参考訳（メタデータ） (2021-07-03T10:29:34Z)
• A Local Similarity-Preserving Framework for Nonlinear Dimensionality Reduction with Neural Networks [56.068488417457935]
  本稿では,Vec2vecという新しい局所非線形手法を提案する。 ニューラルネットワークを訓練するために、マトリックスの近傍類似度グラフを構築し、データポイントのコンテキストを定義します。 8つの実データセットにおけるデータ分類とクラスタリングの実験により、Vec2vecは統計仮説テストにおける古典的な次元削減法よりも優れていることが示された。
  論文  参考訳（メタデータ） (2021-03-10T23:10:47Z)
• Self Normalizing Flows [65.73510214694987]
  本稿では,各層における学習された近似逆数により,勾配の高価な項を置き換えることで,フローの正規化を訓練するための柔軟なフレームワークを提案する。 これにより、各レイヤの正確な更新の計算複雑性が$mathcalO(D3)$から$mathcalO(D2)$に削減される。 実験により,これらのモデルは非常に安定であり,正確な勾配値と類似したデータ可能性値に最適化可能であることが示された。
  論文  参考訳（メタデータ） (2020-11-14T09:51:51Z)
• Multi-Objective Matrix Normalization for Fine-grained Visual Recognition [153.49014114484424]
  双線形プールは細粒度視覚認識(FGVC)において大きな成功を収める 近年,行列パワー正規化は双線形特徴量において2次情報を安定化させることができることが示されている。 両線形表現を同時に正規化できる効率的な多目的行列正規化法(MOMN)を提案する。
  論文  参考訳（メタデータ） (2020-03-30T08:40:35Z)
• Latent Variable Modelling with Hyperbolic Normalizing Flows [35.1659722563025]
  双曲型VAEとユークリッド正規化流に新しい正規化フローを導入する。 提案手法は,実世界のグラフデータの再構成とともに,密度推定の性能向上を実現する。
  論文  参考訳（メタデータ） (2020-02-15T07:44:00Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。