論文の概要: Hyperbolic Residual Quantization: Discrete Representations for Data with Latent Hierarchies

• arxiv url: http://arxiv.org/abs/2505.12404v1
• Date: Sun, 18 May 2025 13:14:07 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-20 14:57:11.214569
• Title: Hyperbolic Residual Quantization: Discrete Representations for Data with Latent Hierarchies
• Title（参考訳）: 双曲的残留量子化:潜在階層を持つデータの離散表現
• Authors: Piotr Piękos, Subhradeep Kayal, Alexandros Karatzoglou,
• Abstract要約: 残留量子化(Residual Quantization, RQ)は階層データに対する離散的マルチトークン表現を生成するために広く用いられている。 本稿では,双曲多様体にデータを埋め込むハイパーボリック残留量子化(HRQ)を提案する。 HRQは、自然に階層的な分岐と整合する帰納的バイアスを与える。
• 参考スコア（独自算出の注目度）: 48.72319569157807
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Hierarchical data arise in countless domains, from biological taxonomies and organizational charts to legal codes and knowledge graphs. Residual Quantization (RQ) is widely used to generate discrete, multitoken representations for such data by iteratively quantizing residuals in a multilevel codebook. However, its reliance on Euclidean geometry can introduce fundamental mismatches that hinder modeling of hierarchical branching, necessary for faithful representation of hierarchical data. In this work, we propose Hyperbolic Residual Quantization (HRQ), which embeds data natively in a hyperbolic manifold and performs residual quantization using hyperbolic operations and distance metrics. By adapting the embedding network, residual computation, and distance metric to hyperbolic geometry, HRQ imparts an inductive bias that aligns naturally with hierarchical branching. We claim that HRQ in comparison to RQ can generate more useful for downstream tasks discrete hierarchical representations for data with latent hierarchies. We evaluate HRQ on two tasks: supervised hierarchy modeling using WordNet hypernym trees, where the model is supervised to learn the latent hierarchy - and hierarchy discovery, where, while latent hierarchy exists in the data, the model is not directly trained or evaluated on a task related to the hierarchy. Across both scenarios, HRQ hierarchical tokens yield better performance on downstream tasks compared to Euclidean RQ with gains of up to $20\%$ for the hierarchy modeling task. Our results demonstrate that integrating hyperbolic geometry into discrete representation learning substantially enhances the ability to capture latent hierarchies.
• Abstract（参考訳）: 階層的なデータは、生物学的分類学や組織図から法典や知識グラフまで、数え切れないほど多くの領域に現れる。 残差量子化(Residual Quantization, RQ)は、多レベルコードブックの残差を反復的に定量化することによって、そのようなデータに対する離散的マルチトークン表現を生成するために広く用いられている。 しかしながら、ユークリッド幾何学への依存は、階層的データの忠実な表現に必要な階層的分岐のモデリングを妨げる基本的なミスマッチを導入することができる。 本研究では,双曲的多様体にデータをネイティブに埋め込み,双曲的演算と距離メトリクスを用いて残留量子化を行う,双曲的残留量子化(HRQ)を提案する。 埋め込みネットワーク、残差計算、距離計量を双曲幾何学に適応させることで、HRQは自然に階層的分岐と整合する帰納的バイアスを与える。 我々は、RQと比較してHRQは、遅延階層を持つデータに対して、下流タスクの離散階層表現により有用であると主張している。 我々は2つのタスクについてHRQを評価する:WordNetハイパーネムツリーを用いた教師付き階層モデリング、モデルが潜在階層を学習するために教師付けされる階層探索、データ内に潜在階層が存在するが、そのモデルが階層に関連するタスクで直接訓練あるいは評価されることはない。 どちらのシナリオでも、HRQ階層的トークンは、階層モデリングタスクに対して最大20\%のゲインを持つユークリッドRQと比較して、下流タスクのパフォーマンスが向上する。 この結果から,双曲幾何学を離散表現学習に統合することにより,潜在階層を捕捉する能力が著しく向上することが示唆された。

関連論文リスト

• GrootVL: Tree Topology is All You Need in State Space Model [66.36757400689281]
  GrootVLは、視覚的タスクとテキストタスクの両方に適用できる多目的マルチモーダルフレームワークである。 本手法は, 画像分類, オブジェクト検出, セグメンテーションにおいて, 既存の構造化状態空間モデルよりも大幅に優れる。 大規模言語モデルの微調整により,本手法は訓練コストの少ない複数のテキストタスクにおいて一貫した改善を実現する。
  論文  参考訳（メタデータ） (2024-06-04T15:09:29Z)
• How Deep Networks Learn Sparse and Hierarchical Data: the Sparse Random Hierarchy Model [4.215221129670858]
  生成的階層的データモデルに空間性を導入することで、スムーズな変換の離散バージョンである空間変換に対する非感受性を得ることを示す。 SRHMを学習するCNNのサンプルの複雑さが、タスクのスパーシリティと階層構造の両方に依存するかを定量化する。
  論文  参考訳（メタデータ） (2024-04-16T17:01:27Z)
• Joint Entity and Relation Extraction with Span Pruning and Hypergraph Neural Networks [58.43972540643903]
  PLマーカ(最先端マーカーベースピプレリンモデル)上に構築されたEREのためのHyperGraphニューラルネットワーク(hgnn$)を提案する。 エラーの伝播を軽減するため,NERモジュールからのエンティティ識別とラベル付けの負担をモデルのジョイントモジュールに転送するために,ハイリコールプルーナー機構を用いる。 EREタスクに広く使用されている3つのベンチマークの実験は、以前の最先端のPLマーカーよりも大幅に改善されている。
  論文  参考訳（メタデータ） (2023-10-26T08:36:39Z)
• How Deep Neural Networks Learn Compositional Data: The Random Hierarchy Model [47.617093812158366]
  言語と画像の階層構造にインスパイアされた合成タスクのファミリーであるランダム階層モデルを紹介する。 深層ネットワークは、等価なグループを交換するために不変な内部表現を開発することでタスクを学習する。 この結果から, ネットワークは次元の呪いを克服し, 不変表現を構築できることが示唆された。
  論文  参考訳（メタデータ） (2023-07-05T09:11:09Z)
• A Hierarchical Block Distance Model for Ultra Low-Dimensional Graph Representations [0.0]
  本稿では,ブロック距離モデル(HBDM)と呼ばれる,スケーラブルなグラフ表現学習手法を提案する。 HBDMは、階層全体を通して潜在距離モデル(LDM)を正確に近似することで、ホモフィリティーと推移性の原因となる。 我々は,数百万ノードからなる大規模ネットワーク上でのHBDMの性能を評価する。
  論文  参考訳（メタデータ） (2022-04-12T15:23:12Z)
• Modeling Heterogeneous Hierarchies with Relation-specific Hyperbolic Cones [64.75766944882389]
  知識グラフにおける複数の階層的および非階層的関係を同時にモデル化できるKG埋め込みモデルであるConE(Cone Embedding)を提案する。 特に、ConEは双曲埋め込み空間の異なる部分空間における円錐包含制約を用いて、複数の異種階層をキャプチャする。 我々のアプローチでは、WN18RRで45.3%、DDB14で16.1%の新しい最先端hits@1が得られる(0.231 MRR)。
  論文  参考訳（メタデータ） (2021-10-28T07:16:08Z)
• HRKD: Hierarchical Relational Knowledge Distillation for Cross-domain Language Model Compression [53.90578309960526]
  大規模事前学習言語モデル(PLM)は、従来のニューラルネットワーク手法と比較して圧倒的な性能を示している。 階層的および領域的関係情報の両方を抽出する階層的関係知識蒸留法(HRKD)を提案する。
  論文  参考訳（メタデータ） (2021-10-16T11:23:02Z)
• Deep Autoencoding Topic Model with Scalable Hybrid Bayesian Inference [55.35176938713946]
  我々は、ガンマ分布の階層構造を用いて、その多確率層生成ネットワークを構築するディープ・オートエンコーディング・トピック・モデル(DATM)を開発した。 Weibull上向き変分エンコーダを提案する。このエンコーダは深層ニューラルネットワークを介して情報を上向きに伝播し,次いで下向き生成モデルを提案する。 大規模コーパス上での教師なしおよび教師なしの学習タスクにおいて,モデルの有効性とスケーラビリティを実証した。
  論文  参考訳（メタデータ） (2020-06-15T22:22:56Z)
• Shift Aggregate Extract Networks [3.3263205689999453]
  大規模グラフの効率的な表現を学習するために,階層分解に基づくアーキテクチャを導入する。 我々のフレームワークは、カーネルメソッドで使用される古典的なR分解を拡張し、ネストした部分関係を可能にする。 我々は,我々のアプローチが,大規模ソーシャルネットワークデータセット上で現在最先端のグラフ分類手法より優れていることを実証的に示す。
  論文  参考訳（メタデータ） (2017-03-16T09:52:48Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。