論文の概要: Hyperbolic Manifold Regression
- arxiv url: http://arxiv.org/abs/2005.13885v1
- Date: Thu, 28 May 2020 10:16:30 GMT
- ステータス: 処理完了
- システム内更新日: 2022-11-27 04:34:06.937621
- Title: Hyperbolic Manifold Regression
- Title(参考訳): 双曲型マニフォールド回帰
- Authors: Gian Maria Marconi, Lorenzo Rosasco and Carlo Ciliberto
- Abstract要約: 本稿では,多くの機械学習応用の中間要素として,双曲空間上で多様体値回帰を行うという問題を考察する。
本稿では,1)ラベル埋め込みによる階層的分類,2)双曲表現の分類的拡張の2つの課題に対する新しい視点を提案する。
実験の結果,双曲幾何学の活用戦略は有望であることが示唆された。
- 参考スコア(独自算出の注目度): 33.40757136529844
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Geometric representation learning has recently shown great promise in several
machine learning settings, ranging from relational learning to language
processing and generative models. In this work, we consider the problem of
performing manifold-valued regression onto an hyperbolic space as an
intermediate component for a number of relevant machine learning applications.
In particular, by formulating the problem of predicting nodes of a tree as a
manifold regression task in the hyperbolic space, we propose a novel
perspective on two challenging tasks: 1) hierarchical classification via label
embeddings and 2) taxonomy extension of hyperbolic representations. To address
the regression problem we consider previous methods as well as proposing two
novel approaches that are computationally more advantageous: a parametric deep
learning model that is informed by the geodesics of the target space and a
non-parametric kernel-method for which we also prove excess risk bounds. Our
experiments show that the strategy of leveraging the hyperbolic geometry is
promising. In particular, in the taxonomy expansion setting, we find that the
hyperbolic-based estimators significantly outperform methods performing
regression in the ambient Euclidean space.
- Abstract(参考訳): 幾何学的表現学習は、リレーショナルラーニングから言語処理、生成モデルまで、いくつかの機械学習環境で大きな可能性を示している。
本研究では,多くの機械学習アプリケーションのための中間成分として,双曲空間上で多様体値回帰を行う問題を考える。
特に、双曲空間における木ノードを多様体回帰タスクとして予測する問題を定式化することにより、2つの課題に対する新しい視点を提案する。
1)ラベル埋め込みによる階層分類
2)双曲表現の分類学的拡張。
回帰問題に対処するために,従来の手法と,より計算的に有利な2つの新しいアプローチを提案する。対象空間の測地線から情報を得るパラメトリック深層学習モデルと,過剰なリスク境界を証明できる非パラメトリックカーネルメソッドである。
実験の結果,双曲幾何学を活用する戦略が期待できることがわかった。
特に分類学の展開設定では、双曲型推定器は環境ユークリッド空間における回帰を行う手法よりも著しく優れていた。
関連論文リスト
- Hyperbolic vs Euclidean Embeddings in Few-Shot Learning: Two Sides of
the Same Coin [49.12496652756007]
この結果から, 共通の双曲半径での双曲埋め込みが達成できることが示唆された。
従来のベンチマーク結果とは対照的に、ユークリッド計量を備えた固定半径エンコーダにより、より良い性能が得られることを示す。
論文 参考訳(メタデータ) (2023-09-18T14:51:46Z) - Hyperbolic Representation Learning: Revisiting and Advancing [43.1661098138936]
本稿では,現在普及しているhlmを精査する位置追跡機構を導入し,学習された表現が準最適で不満足であることを明らかにする。
本稿では,ノードの双曲的距離から推定されるコストフリーな階層的情報を原点に組み込むことにより,シンプルで効果的な情報埋め込み手法であるハイボリックインフォメーション(HIE)を提案する。
提案手法は, 競合するベースラインに比べて最大21.4%向上した。
論文 参考訳(メタデータ) (2023-06-15T13:25:39Z) - Understanding Augmentation-based Self-Supervised Representation Learning
via RKHS Approximation and Regression [53.15502562048627]
最近の研究は、自己教師付き学習とグラフラプラシアン作用素のトップ固有空間の近似との関係を構築している。
この研究は、増強に基づく事前訓練の統計的分析に発展する。
論文 参考訳(メタデータ) (2023-06-01T15:18:55Z) - Skeleton Regression: A Graph-Based Approach to Estimation with Manifold
Structure [0.0]
低次元多様体を囲む大規模で複雑なデータを扱うために設計された新しい回帰フレームワークを導入する。
提案手法はまず,基礎となる幾何学的構造を捉えるために,スケルトンと呼ばれるグラフ表現を構築する。
次に、スケルトングラフ上のメトリクスを定義し、非パラメトリック回帰手法とグラフに基づく特徴変換を適用して回帰関数を推定する。
論文 参考訳(メタデータ) (2023-03-19T21:45:40Z) - HRCF: Enhancing Collaborative Filtering via Hyperbolic Geometric
Regularization [52.369435664689995]
HRCF (textitHyperbolic Regularization powered Collaborative Filtering) を導入し,幾何認識型双曲正規化器を設計する。
具体的には、ルートアライメントとオリジン認識ペナルティによる最適化手順を強化する。
提案手法は,双曲的凝集による過度な平滑化問題に対処でき,モデルの識別能力も向上する。
論文 参考訳(メタデータ) (2022-04-18T06:11:44Z) - Hyperbolic Vision Transformers: Combining Improvements in Metric
Learning [116.13290702262248]
計量学習のための新しい双曲型モデルを提案する。
本手法のコアとなるのは、双曲空間にマッピングされた出力埋め込みを備えた視覚変換器である。
4つのデータセットに6つの異なる定式化を施したモデルの評価を行った。
論文 参考訳(メタデータ) (2022-03-21T09:48:23Z) - Dimension Reduction and Data Visualization for Fr\'echet Regression [8.713190936209156]
Fr'echet回帰モデルは、計量空間値応答を用いた回帰分析のための有望なフレームワークを提供する。
本研究では,Fr'echet回帰のためのフレキシブルな十分次元縮小法(SDR)を導入し,二つの目的を達成した。
論文 参考訳(メタデータ) (2021-10-01T15:01:32Z) - A Fully Hyperbolic Neural Model for Hierarchical Multi-Class
Classification [7.8176853587105075]
双曲空間は、記号データの階層的表現を学ぶために数学的に魅力的なアプローチを提供する。
本研究は,双曲空間におけるすべての操作を実行する多クラス多ラベル分類のための完全双曲モデルを提案する。
徹底的な分析では、最終予測における各コンポーネントの影響に光を当て、ユークリッド層との統合の容易さを示している。
論文 参考訳(メタデータ) (2020-10-05T14:42:56Z) - Hyperbolic Neural Networks++ [66.16106727715061]
ニューラルネットワークの基本成分を1つの双曲幾何モデル、すなわちポアンカーの球モデルで一般化する。
実験により, 従来の双曲成分と比較してパラメータ効率が優れ, ユークリッド成分よりも安定性と性能が優れていた。
論文 参考訳(メタデータ) (2020-06-15T08:23:20Z) - Differentiating through the Fr\'echet Mean [51.32291896926807]
フレット平均(Fr'echet mean)はユークリッド平均の一般化である。
任意のリーマン多様体に対して Fr'echet 平均を微分する方法を示す。
これにより、Fr'echet平均を双曲型ニューラルネットワークパイプラインに完全に統合する。
論文 参考訳(メタデータ) (2020-02-29T19:49:38Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。