論文の概要: Tempered Calculus for ML: Application to Hyperbolic Model Embedding

• arxiv url: http://arxiv.org/abs/2402.04163v3
• Date: Fri, 27 Sep 2024 19:15:15 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-01 21:59:25.043632
• Title: Tempered Calculus for ML: Application to Hyperbolic Model Embedding
• Title（参考訳）: MLのための温度計算:双曲型モデル埋め込みへの応用
• Authors: Richard Nock, Ehsan Amid, Frank Nielsen, Alexander Soen, Manfred K. Warmuth,
• Abstract要約: MLで使用されるほとんどの数学的歪みは、本質的に自然界において積分的である。 本稿では,これらの歪みを改善するための基礎的理論とツールを公表し,機械学習の要件に対処する。 我々は、最近MLで注目を集めた問題、すなわち、ハイパーボリック埋め込みを「チープ」で正確なエンコーディングで適用する方法を示す。
• 参考スコア（独自算出の注目度）: 70.61101116794549
• License:
• Abstract: Most mathematical distortions used in ML are fundamentally integral in nature: $f$-divergences, Bregman divergences, (regularized) optimal transport distances, integral probability metrics, geodesic distances, etc. In this paper, we unveil a grounded theory and tools which can help improve these distortions to better cope with ML requirements. We start with a generalization of Riemann integration that also encapsulates functions that are not strictly additive but are, more generally, $t$-additive, as in nonextensive statistical mechanics. Notably, this recovers Volterra's product integral as a special case. We then generalize the Fundamental Theorem of calculus using an extension of the (Euclidean) derivative. This, along with a series of more specific Theorems, serves as a basis for results showing how one can specifically design, alter, or change fundamental properties of distortion measures in a simple way, with a special emphasis on geometric- and ML-related properties that are the metricity, hyperbolicity, and encoding. We show how to apply it to a problem that has recently gained traction in ML: hyperbolic embeddings with a "cheap" and accurate encoding along the hyperbolic vs Euclidean scale. We unveil a new application for which the Poincar\'e disk model has very appealing features, and our theory comes in handy: \textit{model} embeddings for boosted combinations of decision trees, trained using the log-loss (trees) and logistic loss (combinations).
• Abstract（参考訳）: MLで使用されるほとんどの数学的歪みは、本質的には、$f$-divergences, Bregman divergences, (正規化された)最適輸送距離、積分確率測度、測地線距離などである。 本稿では,これらの歪みを改善するための基礎的理論とツールを公表し,機械学習の要件に対処する。 まずリーマン積分の一般化から始め、厳密な加法的ではないがより一般には、非指数統計力学のように$t$-加法的である函数をカプセル化する。 特に、これはボルテラの積積分を特別な場合として回復させる。 次に、(ユークリッド)微分の拡張を用いて計算の基本定理を一般化する。 これは、より具体的な定理のシリーズとともに、計量性、双曲性、エンコーディングといった幾何学的およびML関連の特性に特に重点を置いて、歪み測度の基本的な特性を簡単な方法で設計、変更、あるいは変更する方法を示す結果の基盤となる。 我々は、最近MLで注目を集めた問題、すなわち「チープ」による双曲的埋め込みと、双曲的対ユークリッド的スケールによる正確なエンコーディングにどのように適用するかを示す。 我々は Poincar\'e ディスクモデルに非常に魅力的な特徴がある新しいアプリケーションを紹介し、我々の理論は次のようになる: \textit{model} 埋め込みは、決定木の強化された組み合わせのためのものであり、ログロス(ツリー)とロジスティックロス(コンビネーション)を用いて訓練されている。

関連論文リスト

• Scaling and renormalization in high-dimensional regression [72.59731158970894]
  本稿では,様々な高次元リッジ回帰モデルの訓練および一般化性能の簡潔な導出について述べる。 本稿では,物理と深層学習の背景を持つ読者を対象に,これらのトピックに関する最近の研究成果の紹介とレビューを行う。
  論文  参考訳（メタデータ） (2024-05-01T15:59:00Z)
• Kernel-based off-policy estimation without overlap: Instance optimality beyond semiparametric efficiency [53.90687548731265]
  本研究では,観測データに基づいて線形関数を推定するための最適手順について検討する。 任意の凸および対称函数クラス $mathcalF$ に対して、平均二乗誤差で有界な非漸近局所ミニマックスを導出する。
  論文  参考訳（メタデータ） (2023-01-16T02:57:37Z)
• Learning Graphical Factor Models with Riemannian Optimization [70.13748170371889]
  本稿では,低ランク構造制約下でのグラフ学習のためのフレキシブルなアルゴリズムフレームワークを提案する。 この問題は楕円分布のペナルティ化された最大推定値として表される。 楕円モデルによく適合する正定行列と定ランクの正半定行列のジオメトリを利用する。
  論文  参考訳（メタデータ） (2022-10-21T13:19:45Z)
• Linear programming with unitary-equivariant constraints [2.0305676256390934]
  ユニタリ同値(英: Unitary equivariance)は、物理学や数学において多くの文脈で発生する自然な対称性である。 追加の対称性の仮定の下では、この問題は、$d$でスケールしない時間で解決できる線形プログラムに還元されることを示す。 また,本手法を一般ユニタリ同変半定プログラムに拡張する可能性についても概説する。
  論文  参考訳（メタデータ） (2022-07-12T17:37:04Z)
• Test Set Sizing Via Random Matrix Theory [91.3755431537592]
  本稿ではランダム行列理論の手法を用いて、単純な線形回帰に対して理想的なトレーニング-テストデータ分割を求める。 それは「理想」を整合性計量を満たすものとして定義し、すなわち経験的モデル誤差は実際の測定ノイズである。 本論文は,任意のモデルのトレーニングとテストサイズを,真に最適な方法で解決した最初の論文である。
  論文  参考訳（メタデータ） (2021-12-11T13:18:33Z)
• Machine Learning and Variational Algorithms for Lattice Field Theory [1.198562319289569]
  格子量子場論の研究において、格子理論を定義するパラメータは連続体物理学にアクセスする臨界性に向けて調整されなければならない。 経路積分の領域に適用される輪郭変形に基づいてモンテカルロ推定器を「変形」する手法を提案する。 我々は,フローベースMCMCが臨界減速を緩和し,オブザーシフォールドが原理的応用のばらつきを指数関数的に低減できることを実証した。
  論文  参考訳（メタデータ） (2021-06-03T16:37:05Z)
• Bayesian Quadrature on Riemannian Data Manifolds [79.71142807798284]
  データに固有の非線形幾何学構造をモデル化する原則的な方法が提供される。 しかし、これらの演算は通常計算的に要求される。 特に、正規法則上の積分を数値計算するためにベイズ二次(bq)に焦点を当てる。 先行知識と活発な探索手法を両立させることで,BQは必要な評価回数を大幅に削減できることを示す。
  論文  参考訳（メタデータ） (2021-02-12T17:38:04Z)
• A Precise High-Dimensional Asymptotic Theory for Boosting and Minimum-$\ell_1$-Norm Interpolated Classifiers [3.167685495996986]
  本稿では,分離可能なデータの強化に関する高精度な高次元理論を確立する。 統計モデルのクラスでは、ブースティングの普遍性誤差を正確に解析する。 また, 推力試験誤差と最適ベイズ誤差の関係を明示的に説明する。
  論文  参考訳（メタデータ） (2020-02-05T00:24:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。