論文の概要: Optimization meets Machine Learning: An Exact Algorithm for Semi-Supervised Support Vector Machines

• arxiv url: http://arxiv.org/abs/2312.09789v1
• Date: Fri, 15 Dec 2023 13:44:54 GMT
• ステータス: 処理完了
• システム内更新日: 2023-12-18 15:41:44.131174
• Title: Optimization meets Machine Learning: An Exact Algorithm for Semi-Supervised Support Vector Machines
• Title（参考訳）: 半教師付きサポートベクターマシンのための厳密なアルゴリズムである機械学習に適合する最適化
• Authors: Veronica Piccialli, Jan Schwiddessen, Antonio M. Sudoso
• Abstract要約: サポートベクトルマシン(SVM)は、バイナリ分類のための教師付き学習モデルである。 半定値プログラミング(SDP)緩和を用いたS3VMの新しい分岐手法を提案する。 SDP緩和は文献で利用できるものよりもはるかに強い境界を提供する。
• 参考スコア（独自算出の注目度）: 1.104960878651584
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Support vector machines (SVMs) are well-studied supervised learning models for binary classification. In many applications, large amounts of samples can be cheaply and easily obtained. What is often a costly and error-prone process is to manually label these instances. Semi-supervised support vector machines (S3VMs) extend the well-known SVM classifiers to the semi-supervised approach, aiming at maximizing the margin between samples in the presence of unlabeled data. By leveraging both labeled and unlabeled data, S3VMs attempt to achieve better accuracy and robustness compared to traditional SVMs. Unfortunately, the resulting optimization problem is non-convex and hence difficult to solve exactly. In this paper, we present a new branch-and-cut approach for S3VMs using semidefinite programming (SDP) relaxations. We apply optimality-based bound tightening to bound the feasible set. Box constraints allow us to include valid inequalities, strengthening the lower bound. The resulting SDP relaxation provides bounds significantly stronger than the ones available in the literature. For the upper bound, instead, we define a local search exploiting the solution of the SDP relaxation. Computational results highlight the efficiency of the algorithm, showing its capability to solve instances with a number of data points 10 times larger than the ones solved in the literature.
• Abstract（参考訳）: サポートベクトルマシン(SVM)は、バイナリ分類のための教師付き学習モデルである。 多くの応用において、大量のサンプルを安価で容易に得ることができる。 多くの場合、コストがかかるエラーが発生しやすいプロセスは、これらのインスタンスを手動でラベル付けする。 半教師付きサポートベクトルマシン(S3VM)は、よく知られたSVM分類器を半教師付きアプローチに拡張し、ラベルなしデータの存在下でサンプル間のマージンを最大化する。 ラベル付きデータとラベルなしデータの両方を活用することで、S3VMは従来のSVMと比較して精度と堅牢性の向上を目指している。 残念ながら、結果として生じる最適化問題は凸ではなく、正確に解くのが難しい。 本稿では,半定値プログラミング(SDP)緩和を用いたS3VMの分岐切断手法を提案する。 実現可能集合の束縛に最適性に基づく束縛を適用する。 ボックス制約により、有効な不等式を含め、下位境界を強化することができます。 結果として生じるSDP緩和は、文献で利用できるものよりもはるかに強い境界を提供する。 上界については、代わりに、sdp緩和の解を利用した局所探索を定義する。 計算結果はアルゴリズムの効率を強調し、文献で解かれたものより10倍大きなデータポイントを持つインスタンスを解く能力を示している。

関連論文リスト

• A Safe Screening Rule with Bi-level Optimization of $\nu$ Support Vector Machine [15.096652880354199]
  本稿では,$nu$-SVM に対する二レベル最適化による安全なスクリーニングルールを提案する。 我々のSRBO-$nu$-SVMは、Karush-Kuhn-Tucker条件を統合することによって厳密に推論される。 また,計算速度を改善するために,効率的な二重座標降下法 (DCDM) も開発している。
  論文  参考訳（メタデータ） (2024-03-04T06:55:57Z)
• SqueezeLLM: Dense-and-Sparse Quantization [80.32162537942138]
  LLMにおける生成推論の主なボトルネックは、単一のバッチ推論のための計算ではなく、メモリ帯域幅である。 学習後量子化フレームワークであるSqueezeLLMを導入し、最大3ビットの超低精度でのロスレス圧縮を実現する。 本フレームワークは,2次情報に基づく最適ビット精度割当を探索する感度ベース非一様量子化法と,2次情報に基づくDense-and-Sparse分解法と,2次情報量割当値と感度重み値を効率的にスパース形式で格納するDense-and-Sparse分解法である。
  論文  参考訳（メタデータ） (2023-06-13T08:57:54Z)
• Towards Automated Imbalanced Learning with Deep Hierarchical Reinforcement Learning [57.163525407022966]
  不均衡学習はデータマイニングにおいて基本的な課題であり、各クラスにトレーニングサンプルの不均等な比率が存在する。 オーバーサンプリングは、少数民族のための合成サンプルを生成することによって、不均衡な学習に取り組む効果的な手法である。 我々は,異なるレベルの意思決定を共同で最適化できる自動オーバーサンプリングアルゴリズムであるAutoSMOTEを提案する。
  論文  参考訳（メタデータ） (2022-08-26T04:28:01Z)
• Asymmetric Scalable Cross-modal Hashing [51.309905690367835]
  クロスモーダルハッシュは、大規模なマルチメディア検索問題を解決する方法として成功している。 これらの問題に対処する新しい非対称スケーラブルクロスモーダルハッシュ(ASCMH)を提案する。 我々のASCMHは、最先端のクロスモーダルハッシュ法よりも精度と効率の点で優れています。
  論文  参考訳（メタデータ） (2022-07-26T04:38:47Z)
• Open-Set Semi-Supervised Learning for 3D Point Cloud Understanding [62.17020485045456]
  半教師付き学習(SSL)では、ラベル付きデータと同じ分布からラベル付きデータが引き出されることが一般的である。 サンプル重み付けによりラベルなしデータを選択的に活用することを提案する。
  論文  参考訳（メタデータ） (2022-05-02T16:09:17Z)
• Training very large scale nonlinear SVMs using Alternating Direction Method of Multipliers coupled with the Hierarchically Semi-Separable kernel approximations [0.0]
  非線形サポートベクトルマシン(SVM)は、線形マシンと比較して、かなり高い分類品質が得られる。 彼らの計算複雑性は、大規模なデータセットでは禁じられている。
  論文  参考訳（メタデータ） (2021-08-09T16:52:04Z)
• Benign Overfitting in Multiclass Classification: All Roads Lead to Interpolation [39.02017410837255]
  多クラス線形分類における良性オーバーフィッティングについて検討する。 分離可能なデータに対する以下のトレーニングアルゴリズムを検討する。 MNI分類器の精度に基づいた新しい境界を導出する。
  論文  参考訳（メタデータ） (2021-06-21T05:34:36Z)
• Estimating Average Treatment Effects with Support Vector Machines [77.34726150561087]
  サポートベクターマシン(SVM)は、機械学習文献で最も人気のある分類アルゴリズムの1つです。 我々はsvmをカーネルベースの重み付け手順として適用し,治療群と制御群の最大平均差を最小化する。 このトレードオフから生じる因果効果推定のバイアスを特徴づけ、提案されたSVM手順と既存のカーネルバランシング手法を結びつけます。
  論文  参考訳（メタデータ） (2021-02-23T20:22:56Z)
• A fast learning algorithm for One-Class Slab Support Vector Machines [1.1613446814180841]
  本稿では,SMO (Sequential Minimal Optimization) を用いた一級スラブSVMの高速トレーニング手法を提案する。 その結果、このトレーニング手法は、他の準計画法(QP)の解法よりも、大規模なトレーニングデータに対してより優れたスケールが可能であることが示唆された。
  論文  参考訳（メタデータ） (2020-11-06T09:16:39Z)
• AML-SVM: Adaptive Multilevel Learning with Support Vector Machines [0.0]
  本稿では非線形SVMのための適応型多段階学習フレームワークを提案する。 改良プロセス全体の分類品質を改善し、マルチスレッド並列処理を活用して性能を向上する。
  論文  参考訳（メタデータ） (2020-11-05T00:17:02Z)
• Adaptive Sampling for Best Policy Identification in Markov Decision Processes [79.4957965474334]
  本稿では,学習者が生成モデルにアクセスできる場合の,割引マルコフ決定(MDP)における最良の政治的識別の問題について検討する。 最先端アルゴリズムの利点を論じ、解説する。
  論文  参考訳（メタデータ） (2020-09-28T15:22:24Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。