論文の概要: Convex Relaxation for Solving Large-Margin Classifiers in Hyperbolic Space

• arxiv url: http://arxiv.org/abs/2405.17198v1
• Date: Mon, 27 May 2024 14:19:53 GMT
• ステータス: 処理完了
• システム内更新日: 2024-05-28 15:03:23.945231
• Title: Convex Relaxation for Solving Large-Margin Classifiers in Hyperbolic Space
• Title（参考訳）: 双曲空間における大マルジン分類器の凸緩和
• Authors: Sheng Yang, Peihan Liu, Cengiz Pehlevan,
• Abstract要約: 双曲空間はデータ処理における優れた性能で認識されている。 勾配降下法を用いてこの問題を解こうとする以前の試みは失敗に終わった。 本稿では,緩やかな緩和モーメントを用いて最適解を効果的に近似する方法を示す。
• 参考スコア（独自算出の注目度）: 29.564717407207528
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: Hyperbolic spaces have increasingly been recognized for their outstanding performance in handling data with inherent hierarchical structures compared to their Euclidean counterparts. However, learning in hyperbolic spaces poses significant challenges. In particular, extending support vector machines to hyperbolic spaces is in general a constrained non-convex optimization problem. Previous and popular attempts to solve hyperbolic SVMs, primarily using projected gradient descent, are generally sensitive to hyperparameters and initializations, often leading to suboptimal solutions. In this work, by first rewriting the problem into a polynomial optimization, we apply semidefinite relaxation and sparse moment-sum-of-squares relaxation to effectively approximate the optima. From extensive empirical experiments, these methods are shown to perform better than the projected gradient descent approach.
• Abstract（参考訳）: 双曲空間はユークリッド空間と比較して、固有の階層構造を持つデータを扱う上での卓越した性能でますます認識されている。 しかし、双曲空間での学習は重大な課題を引き起こす。 特に、サポートベクトルマシンを双曲空間に拡張することは、一般に非凸最適化問題である。 双曲型SVMを解く試みは、主に射影勾配降下を用いており、一般にハイパーパラメータや初期化に敏感であり、しばしば準最適解につながる。 本研究では、まず問題を多項式最適化に書き換えることにより、半定値緩和とスパースモーメント・オブ・二乗緩和を適用し、オプティマを効果的に近似する。 広範な実験から, これらの手法は, 投射勾配降下法よりも優れた性能を示すことが示された。

関連論文リスト

• Independently-Normalized SGD for Generalized-Smooth Nonconvex Optimization [19.000530691874516]
  我々は、多くの非機械学習問題が従来の非スムーズな非スムーズな状態を超えるような条件を満たすことを示した。 独立サンプリングと正規化を利用する独立正規化勾配降下アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2024-10-17T21:52:00Z)
• Low-Rank Extragradient Methods for Scalable Semidefinite Optimization [0.0]
  この問題が低ランクの解を許容する高次元かつ高可算な設定に焦点をあてる。 これらの条件下では、よく知られた過次法が制約付き最適化問題の解に収束することを示す理論的結果がいくつか提示される。
  論文  参考訳（メタデータ） (2024-02-14T10:48:00Z)
• Fast hyperboloid decision tree algorithms [0.6656737591902598]
  我々は、決定木アルゴリズムの新たな拡張であるHyperDTを双曲空間に提示する。 私たちのアプローチは概念的には単純で、一定時間の意思決定の複雑さを維持します。 HyperDTの上に構築されたハイパーRFは、双曲的ランダムフォレストモデルである。
  論文  参考訳（メタデータ） (2023-10-20T22:31:10Z)
• Horospherical Decision Boundaries for Large Margin Classification in Hyperbolic Space [8.901073744693317]
  本稿では,大きなマージン設定を用いて最適化できる新しい凸降下問題を提案する。 我々は,SOTAと比較してアルゴリズムの競合性能を示す実験をいくつか提示する。
  論文  参考訳（メタデータ） (2023-02-14T03:26:19Z)
• HRCF: Enhancing Collaborative Filtering via Hyperbolic Geometric Regularization [52.369435664689995]
  HRCF (textitHyperbolic Regularization powered Collaborative Filtering) を導入し,幾何認識型双曲正規化器を設計する。 具体的には、ルートアライメントとオリジン認識ペナルティによる最適化手順を強化する。 提案手法は,双曲的凝集による過度な平滑化問題に対処でき,モデルの識別能力も向上する。
  論文  参考訳（メタデータ） (2022-04-18T06:11:44Z)
• Faster Algorithm and Sharper Analysis for Constrained Markov Decision Process [56.55075925645864]
  制約付き意思決定プロセス (CMDP) の問題点について検討し, エージェントは, 複数の制約を条件として, 期待される累積割引報酬を最大化することを目的とする。 新しいユーティリティ・デュアル凸法は、正規化ポリシー、双対正則化、ネステロフの勾配降下双対という3つの要素の新たな統合によって提案される。 これは、凸制約を受ける全ての複雑性最適化に対して、非凸CMDP問題が$mathcal O (1/epsilon)$の低い境界に達する最初の実演である。
  論文  参考訳（メタデータ） (2021-10-20T02:57:21Z)
• Optimization on manifolds: A symplectic approach [127.54402681305629]
  本稿では、最適化問題を解くための一般的な枠組みとして、ディラックの制約付きハミルトン系理論の散逸拡張を提案する。 我々の(加速された)アルゴリズムのクラスは単純で効率的なだけでなく、幅広い文脈にも適用できる。
  論文  参考訳（メタデータ） (2021-07-23T13:43:34Z)
• Implicit differentiation for fast hyperparameter selection in non-smooth convex learning [87.60600646105696]
  内部最適化問題が凸であるが非滑らかである場合の一階法を研究する。 本研究では, ヤコビアンの近位勾配降下と近位座標降下収率列の前方モード微分が, 正確なヤコビアンに向かって収束していることを示す。
  論文  参考訳（メタデータ） (2021-05-04T17:31:28Z)
• Convergence Properties of Stochastic Hypergradients [38.64355126221992]
  大規模データセットにおける低レベルの問題が経験的リスクである場合に重要となる過勾配の近似スキームについて検討する。 本研究では,理論解析を支援する数値実験を行い,実際にハイパーグラディエントを用いることの利点を示す。
  論文  参考訳（メタデータ） (2020-11-13T20:50:36Z)
• Efficient Methods for Structured Nonconvex-Nonconcave Min-Max Optimization [98.0595480384208]
  定常点に収束する一般化外空間を提案する。 このアルゴリズムは一般の$p$ノルド空間だけでなく、一般の$p$次元ベクトル空間にも適用される。
  論文  参考訳（メタデータ） (2020-10-31T21:35:42Z)
• Implicit differentiation of Lasso-type models for hyperparameter optimization [82.73138686390514]
  ラッソ型問題に適した行列逆転のない効率的な暗黙微分アルゴリズムを提案する。 提案手法は,解の空間性を利用して高次元データにスケールする。
  論文  参考訳（メタデータ） (2020-02-20T18:43:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。