論文の概要: Support Vector Machines Directly Minimise KL Divergence

• arxiv url: http://arxiv.org/abs/2611.05557v1
• Date: Tue, 03 Nov 2026 19:50:06 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-11-06 03:25:57.831617
• Title: Support Vector Machines Directly Minimise KL Divergence
• Title（参考訳）: KLダイバージェンスを直接最小化するサポートベクトルマシン
• Abstract要約: 支持ベクトル分類と支持ベクトル回帰の両方の二重目的が正確であることを示す。 SVM双対が相対エントロピーを直接最小化することを示すことによって、我々は標準カーネルマシンに統一的な情報理論モデルを提供する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Support vector machines (SVMs) are fundamentally grounded in geometric margin maximisation and currently lack a mainstream probabilistic interpretation. This keeps them theoretically isolated from probabilistic machine learning models that are naturally comparable and combinable. In this paper, we bridge this gap by proving that the dual objectives of both support vector classification and support vector regression are exact, constrained Kullback-Leibler (KL) divergence minimisation tasks between two Gaussian measures. We further show that this same divergence formulation recovers the exact objective function for kernel ridge regression when domain constraints are removed and $L^2$ regularisation is applied. By demonstrating that SVM duals directly minimise relative entropy, our results provide a unified information-theoretic model for standard kernel machines and lay the foundation for unifying broader kernel-based algorithms under probability theory.
• Abstract（参考訳）: サポートベクトルマシン(SVM)は、基本的に幾何学的マージンの最大化に基礎を置いており、現在では主流の確率論的解釈を欠いている。 これにより、理論的には、自然に同等で結合可能な確率論的機械学習モデルから切り離される。 本稿では,2つのガウス測度間のKL(Kulback-Leibler)分散最小化タスクを制約して,支持ベクトル分類と支持ベクトル回帰の両目的が正当であることを証明して,このギャップを埋める。 さらに、この分散式は、ドメイン制約を除去し、$L^2$正規化を適用すると、カーネルリッジ回帰の正確な目的関数を復元することを示した。 SVM双対が相対エントロピーを直接最小化することを示すことによって、我々は標準カーネルマシンに統一的な情報理論モデルを提供し、確率論の下でより広範なカーネルベースのアルゴリズムを統合する基盤を築いた。

関連論文リスト

• Adaptive multi-resolution Gaussian processes: Scalable exact inference with naturally data-sparse covariance matrices [5.518484221206969]
  この作業は、スケーラブルかつ正確な適応型マルチレゾリューション・ガウス・プロセス・フレームワークを提供することによってギャップを埋める。 マルチレゾリューションベースでサポートドメインを縮小することにより、マトリックスブロックサイズが制限され、スパシティが保証される。 理論的解析と数値実験により,我々のモデルは,$mathcalO(n log2 n)$トレーニングコストと$mathcalO(logd n)$予測コストで正確な推論を行うことを示した。
  論文  参考訳（メタデータ） (2026-09-24T14:14:37Z)
• Regularized Online RLHF with Generalized Bilinear Preferences [68.44113000390544]
  一般的な嗜好を伴う文脈的オンラインRLHFの問題を考える。 一般化された双線形選好モデルを用いて、低ランクなスキュー対称行列による選好を捉える。 グリーディポリシーの双対ギャップは推定誤差の正方形によって有界であることを示す。
  論文  参考訳（メタデータ） (2026-02-26T15:27:53Z)
• Graph-based Clustering Revisited: A Relaxation of Kernel $k$-Means Perspective [73.18641268511318]
  本稿では,クラスタリング結果を導出するための正規制約のみを緩和するグラフベースのクラスタリングアルゴリズムを提案する。 二重制約を勾配に変換するために、非負の制約をクラス確率パラメータに変換する。
  論文  参考訳（メタデータ） (2025-09-23T09:14:39Z)
• Theoretical Guarantees for Variational Inference with Fixed-Variance Mixture of Gaussians [27.20127082606962]
  変分推論(VI)はベイズ推定において一般的なアプローチである。 この研究は、非ガウスの場合のVIの理論研究に寄与することを目的としている。
  論文  参考訳（メタデータ） (2024-06-06T12:38:59Z)
• Computing Marginal and Conditional Divergences between Decomposable Models with Applications [7.89568731669979]
  本稿では,2つの分解可能なモデルの任意の限界分布と条件分布の正確なα-ベータの偏差を計算する手法を提案する。 提案手法を用いて,まずベンチマーク画像データセットに適用することにより,分布変化を解析する方法を示す。 本稿では,現代の超伝導量子コンピュータにおける誤差の定量化手法を提案する。
  論文  参考訳（メタデータ） (2023-10-13T14:17:25Z)
• Recovery Guarantees for Distributed-OMP [8.393317912360564]
  高次元スパース線形回帰のための分散スキームについて検討する。 分散OMPスキームは, 分散OMP方式により, マシン単位の線形通信による回帰ベクトルの支持を回復し, 空間的・対数的次元で表す。 シミュレーションにより,分散OMP方式はより計算集約的な手法と競合することを示した。
  論文  参考訳（メタデータ） (2022-09-15T11:43:33Z)
• Distribution Regression with Sliced Wasserstein Kernels [45.916342378789174]
  分布回帰のための最初のOTに基づく推定器を提案する。 このような表現に基づくカーネルリッジ回帰推定器の理論的性質について検討する。
  論文  参考訳（メタデータ） (2022-02-08T15:21:56Z)
• Optimal policy evaluation using kernel-based temporal difference methods [78.83926562536791]
  カーネルヒルベルト空間を用いて、無限水平割引マルコフ報酬過程の値関数を推定する。 我々は、関連するカーネル演算子の固有値に明示的に依存した誤差の非漸近上界を導出する。 MRP のサブクラスに対する minimax の下位境界を証明する。
  論文  参考訳（メタデータ） (2021-09-24T14:48:20Z)
• On Mean Absolute Error for Deep Neural Network Based Vector-to-Vector Regression [79.86233860519621]
  我々は,ディープニューラルネットワーク(DNN)に基づくベクトル-ベクトル回帰の損失関数として,平均絶対誤差(MAE)の特性を利用する。 我々は,MAEをラプラシアン分布によってモデル化された誤差として解釈できることを示す。
  論文  参考訳（メタデータ） (2020-08-12T22:41:26Z)
• Understanding Implicit Regularization in Over-Parameterized Single Index Model [55.41685740015095]
  我々は高次元単一インデックスモデルのための正規化自由アルゴリズムを設計する。 暗黙正則化現象の理論的保証を提供する。
  論文  参考訳（メタデータ） (2020-07-16T13:27:47Z)
• Robust Compressed Sensing using Generative Models [98.64228459705859]
  本稿では,Median-of-Means (MOM) にヒントを得たアルゴリズムを提案する。 我々のアルゴリズムは、外れ値が存在する場合でも、重み付きデータの回復を保証する。
  論文  参考訳（メタデータ） (2020-06-16T19:07:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。