論文の概要: Hyperbolic Residual Quantization: Discrete Representations for Data with Latent Hierarchies

• arxiv url: http://arxiv.org/abs/2505.12404v1
• Date: Sun, 18 May 2025 13:14:07 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-20 14:57:11.214569
• Title: Hyperbolic Residual Quantization: Discrete Representations for Data with Latent Hierarchies
• Title（参考訳）: 双曲的残留量子化:潜在階層を持つデータの離散表現
• Authors: Piotr Piękos, Subhradeep Kayal, Alexandros Karatzoglou,
• Abstract要約: 残留量子化(Residual Quantization, RQ)は階層データに対する離散的マルチトークン表現を生成するために広く用いられている。 本稿では,双曲多様体にデータを埋め込むハイパーボリック残留量子化(HRQ)を提案する。 HRQは、自然に階層的な分岐と整合する帰納的バイアスを与える。
• 参考スコア（独自算出の注目度）: 48.72319569157807
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Hierarchical data arise in countless domains, from biological taxonomies and organizational charts to legal codes and knowledge graphs. Residual Quantization (RQ) is widely used to generate discrete, multitoken representations for such data by iteratively quantizing residuals in a multilevel codebook. However, its reliance on Euclidean geometry can introduce fundamental mismatches that hinder modeling of hierarchical branching, necessary for faithful representation of hierarchical data. In this work, we propose Hyperbolic Residual Quantization (HRQ), which embeds data natively in a hyperbolic manifold and performs residual quantization using hyperbolic operations and distance metrics. By adapting the embedding network, residual computation, and distance metric to hyperbolic geometry, HRQ imparts an inductive bias that aligns naturally with hierarchical branching. We claim that HRQ in comparison to RQ can generate more useful for downstream tasks discrete hierarchical representations for data with latent hierarchies. We evaluate HRQ on two tasks: supervised hierarchy modeling using WordNet hypernym trees, where the model is supervised to learn the latent hierarchy - and hierarchy discovery, where, while latent hierarchy exists in the data, the model is not directly trained or evaluated on a task related to the hierarchy. Across both scenarios, HRQ hierarchical tokens yield better performance on downstream tasks compared to Euclidean RQ with gains of up to $20\%$ for the hierarchy modeling task. Our results demonstrate that integrating hyperbolic geometry into discrete representation learning substantially enhances the ability to capture latent hierarchies.
• Abstract（参考訳）: 階層的なデータは、生物学的分類学や組織図から法典や知識グラフまで、数え切れないほど多くの領域に現れる。 残差量子化(Residual Quantization, RQ)は、多レベルコードブックの残差を反復的に定量化することによって、そのようなデータに対する離散的マルチトークン表現を生成するために広く用いられている。 しかしながら、ユークリッド幾何学への依存は、階層的データの忠実な表現に必要な階層的分岐のモデリングを妨げる基本的なミスマッチを導入することができる。 本研究では,双曲的多様体にデータをネイティブに埋め込み,双曲的演算と距離メトリクスを用いて残留量子化を行う,双曲的残留量子化(HRQ)を提案する。 埋め込みネットワーク、残差計算、距離計量を双曲幾何学に適応させることで、HRQは自然に階層的分岐と整合する帰納的バイアスを与える。 我々は、RQと比較してHRQは、遅延階層を持つデータに対して、下流タスクの離散階層表現により有用であると主張している。 我々は2つのタスクについてHRQを評価する:WordNetハイパーネムツリーを用いた教師付き階層モデリング、モデルが潜在階層を学習するために教師付けされる階層探索、データ内に潜在階層が存在するが、そのモデルが階層に関連するタスクで直接訓練あるいは評価されることはない。 どちらのシナリオでも、HRQ階層的トークンは、階層モデリングタスクに対して最大20\%のゲインを持つユークリッドRQと比較して、下流タスクのパフォーマンスが向上する。 この結果から,双曲幾何学を離散表現学習に統合することにより,潜在階層を捕捉する能力が著しく向上することが示唆された。

関連論文リスト

• How Deep Neural Networks Learn Compositional Data: The Random Hierarchy Model [47.617093812158366]
  言語と画像の階層構造にインスパイアされた合成タスクのファミリーであるランダム階層モデルを紹介する。 深層ネットワークは、等価なグループを交換するために不変な内部表現を開発することでタスクを学習する。 この結果から, ネットワークは次元の呪いを克服し, 不変表現を構築できることが示唆された。
  論文  参考訳（メタデータ） (2023-07-05T09:11:09Z)
• A Hierarchical Block Distance Model for Ultra Low-Dimensional Graph Representations [0.0]
  本稿では,ブロック距離モデル(HBDM)と呼ばれる,スケーラブルなグラフ表現学習手法を提案する。 HBDMは、階層全体を通して潜在距離モデル(LDM)を正確に近似することで、ホモフィリティーと推移性の原因となる。 我々は,数百万ノードからなる大規模ネットワーク上でのHBDMの性能を評価する。
  論文  参考訳（メタデータ） (2022-04-12T15:23:12Z)
• Modeling Heterogeneous Hierarchies with Relation-specific Hyperbolic Cones [64.75766944882389]
  知識グラフにおける複数の階層的および非階層的関係を同時にモデル化できるKG埋め込みモデルであるConE(Cone Embedding)を提案する。 特に、ConEは双曲埋め込み空間の異なる部分空間における円錐包含制約を用いて、複数の異種階層をキャプチャする。 我々のアプローチでは、WN18RRで45.3%、DDB14で16.1%の新しい最先端hits@1が得られる(0.231 MRR)。
  論文  参考訳（メタデータ） (2021-10-28T07:16:08Z)
• HRKD: Hierarchical Relational Knowledge Distillation for Cross-domain Language Model Compression [53.90578309960526]
  大規模事前学習言語モデル(PLM)は、従来のニューラルネットワーク手法と比較して圧倒的な性能を示している。 階層的および領域的関係情報の両方を抽出する階層的関係知識蒸留法(HRKD)を提案する。
  論文  参考訳（メタデータ） (2021-10-16T11:23:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。