論文の概要: Switch Spaces: Learning Product Spaces with Sparse Gating

• arxiv url: http://arxiv.org/abs/2102.08688v1
• Date: Wed, 17 Feb 2021 11:06:59 GMT
• ステータス: 処理完了
• システム内更新日: 2021-02-18 14:35:43.971033
• Title: Switch Spaces: Learning Product Spaces with Sparse Gating
• Title（参考訳）: Switch Spaces: スパースゲーティングによるプロダクトスペースの学習
• Authors: Shuai Zhang and Yi Tay and Wenqi Jiang and Da-cheng Juan and Ce Zhang
• Abstract要約: 製品空間における表現を学習するためのデータ駆動アプローチであるswitch spacesを提案する。 我々は空間の選択、結合、切り替えを学習するスパースゲーティング機構を導入する。 知識グラフの補完と項目レコメンデーションの実験により,提案したスイッチ空間が新たな最先端性能を実現することを示す。
• 参考スコア（独自算出の注目度）: 48.591045282317424
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Learning embedding spaces of suitable geometry is critical for representation learning. In order for learned representations to be effective and efficient, it is ideal that the geometric inductive bias aligns well with the underlying structure of the data. In this paper, we propose Switch Spaces, a data-driven approach for learning representations in product space. Specifically, product spaces (or manifolds) are spaces of mixed curvature, i.e., a combination of multiple euclidean and non-euclidean (hyperbolic, spherical) manifolds. To this end, we introduce sparse gating mechanisms that learn to choose, combine and switch spaces, allowing them to be switchable depending on the input data with specialization. Additionally, the proposed method is also efficient and has a constant computational complexity regardless of the model size. Experiments on knowledge graph completion and item recommendations show that the proposed switch space achieves new state-of-the-art performances, outperforming pure product spaces and recently proposed task-specific models.
• Abstract（参考訳）: 適切なジオメトリの埋め込みスペースの学習は、表現学習に不可欠です。 学習した表現を効果的かつ効率的にするためには、幾何学的帰納的バイアスがデータの基本構造とうまく一致することが理想的である。 本稿では,製品空間における表現を学習するためのデータ駆動アプローチであるswitch spacesを提案する。 具体的には、積空間(または多様体)は混合曲率の空間、すなわち複数のユークリッド多様体と非ユークリッド多様体の組み合わせである。 そのためには、スペースの選択、組み合わせ、切り替えを学習するスパースなゲーティングメカニズムを導入し、専門性のある入力データに応じて切り替えることが可能です。 さらに,提案手法は,モデルのサイズに関わらず,効率が高く,計算量も一定である。 知識グラフの補完と項目レコメンデーションの実験から,提案したスイッチ空間は,新しい最先端のパフォーマンスを実現し,純積空間を上回り,最近提案されたタスク固有モデルを実現している。

関連論文リスト

• Alignment and Outer Shell Isotropy for Hyperbolic Graph Contrastive Learning [69.6810940330906]
  高品質なグラフ埋め込みを学習するための新しいコントラスト学習フレームワークを提案する。 具体的には、階層的なデータ不変情報を効果的にキャプチャするアライメントメトリックを設計する。 双曲空間において、木の性質に関連する葉と高さの均一性に対処する必要があることを示す。
  論文  参考訳（メタデータ） (2023-10-27T15:31:42Z)
• Provably Accurate and Scalable Linear Classifiers in Hyperbolic Spaces [39.71927912296049]
  スケーラブルで単純な双曲型線形分類器を学習するための統一的なフレームワークを提案する。 我々のアプローチの要点は、ポアンカーの球体モデルに焦点を合わせ、接空間形式を用いて分類問題を定式化することである。 Poincarの2階と戦略的パーセプトロンの優れた性能は、提案フレームワークが双曲空間における一般的な機械学習問題にまで拡張可能であることを示している。
  論文  参考訳（メタデータ） (2022-03-07T21:36:21Z)
• Measuring dissimilarity with diffeomorphism invariance [94.02751799024684]
  DID(DID)は、幅広いデータ空間に適用可能なペアワイズな相似性尺度である。 我々は、DIDが理論的研究と実用に関係のある特性を享受していることを証明する。
  論文  参考訳（メタデータ） (2022-02-11T13:51:30Z)
• Closed-Loop Data Transcription to an LDR via Minimaxing Rate Reduction [27.020835928724775]
  本研究では,実世界のデータセットに対する明示的な生成モデル学習のための新しい計算フレームワークを提案する。 特に,多次元多次元データ分布と特徴空間における線形識別表現(LDR)の間の閉ループ転写を学習することを提案する。 多くのベンチマークデータセットに対する実験は、この新しいクローズドループの定式化の可能性を示している。
  論文  参考訳（メタデータ） (2021-11-12T10:06:08Z)
• Highly Scalable and Provably Accurate Classification in Poincare Balls [40.82908295137667]
  我々は、スケーラブルで単純な双曲型線形分類器を証明可能な性能保証で学習するための統一的なフレームワークを構築した。 提案手法は,新しい双曲型および二階型パーセプトロンアルゴリズムと,双曲型サポートベクトルマシン分類器の効率的かつ高精度な凸最適化設定を含む。 数百万の点からなる合成データセットと、シングルセルRNA-seq式測定、CIFAR10、Fashion-MNIST、mini-ImageNetのような複雑な実世界のデータセットの性能評価を行う。
  論文  参考訳（メタデータ） (2021-09-08T16:59:39Z)
• Linear Classifiers in Mixed Constant Curvature Spaces [40.82908295137667]
  我々は、ユークリッド空間、球面空間、双曲空間の混合である積空間形式の線形分類の問題に対処する。 我々は、$d$-次元定数曲率空間の線形分類子が正確に$d+1$点を粉砕できることを証明した。 新規なパーセプトロン分類アルゴリズムを記述し、厳密な収束結果を確立する。
  論文  参考訳（メタデータ） (2021-02-19T23:29:03Z)
• Quadric hypersurface intersection for manifold learning in feature space [52.83976795260532]
  適度な高次元と大きなデータセットに適した多様体学習技術。 この手法は、二次超曲面の交点という形で訓練データから学習される。 テスト時、この多様体は任意の新しい点に対する外れ値スコアを導入するのに使うことができる。
  論文  参考訳（メタデータ） (2021-02-11T18:52:08Z)
• Overlapping Spaces for Compact Graph Representations [17.919759296265]
  グラフ、テキスト、画像などの構造化データを埋め込むために、様々な非自明な空間が人気を集めている。 製品空間の概念を一般化し、構成探索問題を持たない重なり合う空間を導入する。
  論文  参考訳（メタデータ） (2020-07-05T20:55:47Z)
• Robust Large-Margin Learning in Hyperbolic Space [64.42251583239347]
  ユークリッド空間ではなく双曲型で分類器を学ぶための最初の理論的保証を示す。 本研究では, 対向例の慎重な注入に頼って, 大面積超平面を効率よく学習するアルゴリズムを提案する。 双曲空間によく埋め込まれる階層的データに対して、低埋め込み次元は優れた保証を保証することを証明している。
  論文  参考訳（メタデータ） (2020-04-11T19:11:30Z)
• Deep Metric Structured Learning For Facial Expression Recognition [58.7528672474537]
  本研究では,よく定義された構造を持つ組込み部分空間を作成するための深度計量学習モデルを提案する。 これらの部分空間を作成するために、出力空間上にガウス構造を課す新しい損失関数が導入された。 学習した埋め込みは,表現検索や感情認識など,様々な応用に有効であることが実験的に実証された。
  論文  参考訳（メタデータ） (2020-01-18T06:23:18Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。