論文の概要: Enhance Hyperbolic Representation Learning via Second-order Pooling
- arxiv url: http://arxiv.org/abs/2410.22026v1
- Date: Tue, 29 Oct 2024 13:17:43 GMT
- ステータス: 翻訳完了
- システム内更新日: 2024-10-30 13:41:53.689475
- Title: Enhance Hyperbolic Representation Learning via Second-order Pooling
- Title（参考訳）: 2次プールによる双曲表現学習の促進
- Authors: Kun Song, Ruben Solozabal, Li hao, Lu Ren, Moloud Abdar, Qing Li, Fakhri Karray, Martin Takac,
- Abstract要約: 双曲表現学習に二階プーリングを導入する。
入力特徴の一般化能力を損なうことなく、サンプル間の距離を自然に増加させる。
低次元の双線形特徴を低次元空間でよく近似できるカーネル近似正則化を提案する。
- 参考スコア（独自算出の注目度）: 8.798965454017988
- License:
- Abstract: Hyperbolic representation learning is well known for its ability to capture hierarchical information. However, the distance between samples from different levels of hierarchical classes can be required large. We reveal that the hyperbolic discriminant objective forces the backbone to capture this hierarchical information, which may inevitably increase the Lipschitz constant of the backbone. This can hinder the full utilization of the backbone's generalization ability. To address this issue, we introduce second-order pooling into hyperbolic representation learning, as it naturally increases the distance between samples without compromising the generalization ability of the input features. In this way, the Lipschitz constant of the backbone does not necessarily need to be large. However, current off-the-shelf low-dimensional bilinear pooling methods cannot be directly employed in hyperbolic representation learning because they inevitably reduce the distance expansion capability. To solve this problem, we propose a kernel approximation regularization, which enables the low-dimensional bilinear features to approximate the kernel function well in low-dimensional space. Finally, we conduct extensive experiments on graph-structured datasets to demonstrate the effectiveness of the proposed method.
- Abstract（参考訳）: 双曲表現学習は階層的な情報を捉える能力でよく知られている。
しかし、階層クラスの異なるレベルからのサンプル間の距離は大きいことが要求される。
双曲性判別対象は,背骨のリプシッツ定数を必然的に増大させるため,背骨にこの階層的な情報を取得するよう強制することを明らかにする。
これにより、バックボーンの一般化能力のフル活用が妨げられる。
この問題に対処するために、入力特徴の一般化能力を損なうことなく、サンプル間の距離を自然に増加させるため、双対プールを双曲表現学習に導入する。
このように、バックボーンのリプシッツ定数は必ずしも大きい必要はない。
しかし、現在のオフザシェルフの低次元双線形プール法は、必然的に距離拡大能力を低下させるため、双曲表現学習に直接は適用できない。
この問題を解決するために、低次元の双線形特徴を低次元空間でよく近似できるカーネル近似正則化を提案する。
最後に,提案手法の有効性を示すため,グラフ構造化データセットについて広範な実験を行った。
関連論文リスト
- Accelerating hyperbolic t-SNE [7.411478341945197]
本稿では,極性クアッドツリー上に構築された双曲埋め込みの最初の加速構造について紹介する。
同様の品質の埋め込みを、はるかに少ない時間で計算できることを示します。
論文 参考訳（メタデータ） (2024-01-23T12:59:40Z) - Alignment and Outer Shell Isotropy for Hyperbolic Graph Contrastive
Learning [69.6810940330906]
高品質なグラフ埋め込みを学習するための新しいコントラスト学習フレームワークを提案する。
具体的には、階層的なデータ不変情報を効果的にキャプチャするアライメントメトリックを設計する。
双曲空間において、木の性質に関連する葉と高さの均一性に対処する必要があることを示す。
論文 参考訳（メタデータ） (2023-10-27T15:31:42Z) - Hyperbolic vs Euclidean Embeddings in Few-Shot Learning: Two Sides of
the Same Coin [49.12496652756007]
この結果から, 共通の双曲半径での双曲埋め込みが達成できることが示唆された。
従来のベンチマーク結果とは対照的に、ユークリッド計量を備えた固定半径エンコーダにより、より良い性能が得られることを示す。
論文 参考訳（メタデータ） (2023-09-18T14:51:46Z) - HMSN: Hyperbolic Self-Supervised Learning by Clustering with Ideal
Prototypes [7.665392786787577]
プロトタイプに基づくクラスタリング手法の自己教師付き表現学習には,双曲表現空間を用いる。
我々はMasked Siamese Networksを拡張し、双曲空間のPoincar'eボールモデルで操作する。
従来の手法とは異なり、エンコーダネットワークの出力における双曲空間に投影し、双曲投影ヘッドを利用して、下流タスクに使用される表現が双曲的であることを保証する。
論文 参考訳（メタデータ） (2023-05-18T12:38:40Z) - FFHR: Fully and Flexible Hyperbolic Representation for Knowledge Graph
Completion [45.470475498688344]
双曲空間におけるいくつかの重要な操作は、まだ良い定義を欠いているため、既存の方法では双曲空間の利点を十分に活用できない。
我々は,近年のユークリッド対応の進歩を双曲空間に転送できるtextbfFully と textbfFlexible textbfHyperbolic textbfRepresentation フレームワーク (textbfFFHR) を開発した。
論文 参考訳（メタデータ） (2023-02-07T14:50:28Z) - HRCF: Enhancing Collaborative Filtering via Hyperbolic Geometric
Regularization [52.369435664689995]
HRCF (textitHyperbolic Regularization powered Collaborative Filtering) を導入し,幾何認識型双曲正規化器を設計する。
具体的には、ルートアライメントとオリジン認識ペナルティによる最適化手順を強化する。
提案手法は,双曲的凝集による過度な平滑化問題に対処でき,モデルの識別能力も向上する。
論文 参考訳（メタデータ） (2022-04-18T06:11:44Z) - On the Benefits of Large Learning Rates for Kernel Methods [110.03020563291788]
本稿では,カーネル手法のコンテキストにおいて,現象を正確に特徴付けることができることを示す。
分離可能なヒルベルト空間における2次対象の最小化を考慮し、早期停止の場合、学習速度の選択が得られた解のスペクトル分解に影響を及ぼすことを示す。
論文 参考訳（メタデータ） (2022-02-28T13:01:04Z) - Robust Large-Margin Learning in Hyperbolic Space [64.42251583239347]
ユークリッド空間ではなく双曲型で分類器を学ぶための最初の理論的保証を示す。
本研究では, 対向例の慎重な注入に頼って, 大面積超平面を効率よく学習するアルゴリズムを提案する。
双曲空間によく埋め込まれる階層的データに対して、低埋め込み次元は優れた保証を保証することを証明している。
論文 参考訳（メタデータ） (2020-04-11T19:11:30Z) - Differentiating through the Fr\'echet Mean [51.32291896926807]
フレット平均(Fr'echet mean)はユークリッド平均の一般化である。
任意のリーマン多様体に対して Fr'echet 平均を微分する方法を示す。
これにより、Fr'echet平均を双曲型ニューラルネットワークパイプラインに完全に統合する。
論文 参考訳（メタデータ） (2020-02-29T19:49:38Z) - Latent Variable Modelling with Hyperbolic Normalizing Flows [35.1659722563025]
双曲型VAEとユークリッド正規化流に新しい正規化フローを導入する。
提案手法は,実世界のグラフデータの再構成とともに,密度推定の性能向上を実現する。
論文 参考訳（メタデータ） (2020-02-15T07:44:00Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。