論文の概要: Binary Kernel Logistic Regression: a sparsity-inducing formulation and a convergent decomposition training algorithm

• arxiv url: http://arxiv.org/abs/2512.19440v1
• Date: Mon, 22 Dec 2025 14:40:30 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-12-23 18:54:32.792284
• Title: Binary Kernel Logistic Regression: a sparsity-inducing formulation and a convergent decomposition training algorithm
• Title（参考訳）: 双対カーネルロジスティック回帰:空間誘導型定式化と収束分解学習アルゴリズム
• Authors: Antonio Consolo, Andrea Manno, Edoardo Amaldi,
• Abstract要約: カーネルロジスティック回帰(カーネルロジスティックレグレッション、英: Kernel Logistic regression、KLR)は、二分法および多クラス分類のための教師付き学習法である。 KLRのスパーシリティに対処する以前の試みには、ベクトルインポートマシン(Vector Import Machine, IVM)と呼ばれる方法がある。 本稿では,Keerthiらによって提案されたトレーニング定式化の拡張を提案する。
• 参考スコア（独自算出の注目度）: 0.5680416078423551
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Kernel logistic regression (KLR) is a widely used supervised learning method for binary and multi-class classification, which provides estimates of the conditional probabilities of class membership for the data points. Unlike other kernel methods such as Support Vector Machines (SVMs), KLRs are generally not sparse. Previous attempts to deal with sparsity in KLR include a heuristic method referred to as the Import Vector Machine (IVM) and ad hoc regularizations such as the $\ell_{1/2}$-based one. Achieving a good trade-off between prediction accuracy and sparsity is still a challenging issue with a potential significant impact from the application point of view. In this work, we revisit binary KLR and propose an extension of the training formulation proposed by Keerthi et al., which is able to induce sparsity in the trained model, while maintaining good testing accuracy. To efficiently solve the dual of this formulation, we devise a decomposition algorithm of Sequential Minimal Optimization type which exploits second-order information, and for which we establish global convergence. Numerical experiments conducted on 12 datasets from the literature show that the proposed binary KLR approach achieves a competitive trade-off between accuracy and sparsity with respect to IVM, $\ell_{1/2}$-based regularization for KLR, and SVM while retaining the advantages of providing informative estimates of the class membership probabilities.
• Abstract（参考訳）: カーネルロジスティック回帰(カーネルロジスティックレグレッション、英: Kernel Logistic regression、KLR)は、データポイントのクラスメンバーシップの条件付き確率を推定する、バイナリクラスとマルチクラス分類のための広く使われている教師付き学習手法である。 Support Vector Machines (SVM)のような他のカーネルメソッドとは異なり、KLRは一般にスパースではない。 KLRのスパーシリティに対処する以前の試みには、IVM(Import Vector Machine)と呼ばれるヒューリスティックな方法や、$\ell_{1/2}$ベースのようなアドホックな正規化がある。 予測精度とスパーシリティの良好なトレードオフを達成することは、アプリケーションの観点から見れば潜在的に重大な影響があるとしても、依然として難しい問題です。 本研究では,2進KLRを再検討し,Keerthiらによって提案されたトレーニング定式化の拡張を提案する。 この定式化の双対を効率的に解くために,2次情報を利用した逐次最小最適化型の分解アルゴリズムを考案し,大域収束を確立する。 文献から得られた12のデータセットを用いて行った数値実験により,提案したバイナリKLR手法は,クラスメンバシップ確率の有意な見積を行うという利点を維持しつつ,IVMに対する精度と空間性の間の競合的なトレードオフを達成できることが示されている。

関連論文リスト

• Scaling Up ROC-Optimizing Support Vector Machines [3.1941554288428198]
  ROC-SVMは、ROC曲線(AUC)の下での面積を直接最大化し、クラス不均衡の存在下での従来の二項分類の魅力的な代替品となっている。 我々は,不完全なU統計を利用して計算複雑性を大幅に低減するROC-SVMのスケーラブルな変種を開発する。 低ランクカーネル近似により、このフレームワークを非線形分類に拡張し、カーネルヒルベルト空間を再現する効率的なトレーニングを可能にする。
  論文  参考訳（メタデータ） (2025-11-07T04:38:25Z)
• Generalized Linear Bandits: Almost Optimal Regret with One-Pass Update [70.38810219913593]
  非線形リンク関数を組み込んで古典線形モデルを拡張したコンテキスト型多武装バンディットフレームワークである一般化線形バンディット問題(GLB)について検討する。 GLBは現実世界のシナリオに広く適用できるが、その非線形性は計算効率と統計効率の両方を達成する上で大きな課題をもたらす。 本稿では,$mathcalO(1)$時間と1ラウンドあたりの空間複雑度をほぼ最適に再現するアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2025-07-16T02:24:21Z)
• Self-Boost via Optimal Retraining: An Analysis via Approximate Message Passing [58.52119063742121]
  独自の予測と潜在的にノイズの多いラベルを使ってモデルをトレーニングすることは、モデルパフォーマンスを改善するためのよく知られた戦略である。 本稿では,モデルの予測と提供ラベルを最適に組み合わせる方法について論じる。 我々の主な貢献は、現在のモデルの予測と与えられたラベルを組み合わせたベイズ最適集約関数の導出である。
  論文  参考訳（メタデータ） (2025-05-21T07:16:44Z)
• Towards Generalizable Trajectory Prediction Using Dual-Level Representation Learning And Adaptive Prompting [107.4034346788744]
  既存の車両軌道予測モデルは、一般化可能性、予測の不確実性、複雑な相互作用を扱う。 本研究では,(1)自己拡張(SD)とマスドレコンストラクション(MR)による二重レベル表現学習,グローバルコンテキストと細部の詳細の収集,(2)レジスタベースのクエリと事前学習の強化,クラスタリングと抑圧の必要性の排除,(3)微調整中の適応型プロンプトチューニング,メインアーキテクチャの凍結,および少数のプロンプトの最適化といった,新たなトラジェクタ予測フレームワークであるPerceiverを提案する。
  論文  参考訳（メタデータ） (2025-01-08T20:11:09Z)
• Rethinking Classifier Re-Training in Long-Tailed Recognition: A Simple Logits Retargeting Approach [102.0769560460338]
  我々は,クラスごとのサンプル数に関する事前知識を必要とせず,シンプルなロジットアプローチ(LORT)を開発した。 提案手法は,CIFAR100-LT, ImageNet-LT, iNaturalist 2018など,様々な不均衡データセットの最先端性能を実現する。
  論文  参考訳（メタデータ） (2024-03-01T03:27:08Z)
• Cost-sensitive probabilistic predictions for support vector machines [1.743685428161914]
  サポートベクターマシン(SVM)は広く使われており、最もよく検討され使用されている機械学習モデルの一つである。 本稿では,SVMの確率的出力を生成する新しい手法を提案する。
  論文  参考訳（メタデータ） (2023-10-09T11:00:17Z)
• Decoupled Training for Long-Tailed Classification With Stochastic Representations [15.990318581975435]
  表現学習と学習の分離は,長期データを用いた分類に有効であることが示されている。 まず、ディープニューラルネットワークの一般化を改善するための最適化手法であるウェイト平均化(SWA)を適用し、長い尾の分類のためのより優れた一般化特徴抽出器を得る。 そこで我々は,SWA-Gaussian,Gaussian SWA,および自己蒸留戦略から得られた摂動表現に基づく新しい分類器再学習アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2023-04-19T05:35:09Z)
• Learning with Multiclass AUC: Theory and Algorithms [141.63211412386283]
  ROC曲線 (AUC) の下の領域は、不均衡学習やレコメンダシステムといった問題に対するよく知られたランキング基準である。 本稿では,マルチクラスAUCメトリクスを最適化することで,多クラススコアリング関数を学習する問題について検討する。
  論文  参考訳（メタデータ） (2021-07-28T05:18:10Z)
• Label-Imbalanced and Group-Sensitive Classification under Overparameterization [32.923780772605596]
  ラベルの不均衡でグループに敏感な分類は、関連するメトリクスを最適化するための標準トレーニングアルゴリズムを適切に修正することを目指す。 標準実証的リスク最小化に対するロジット調整による損失修正は,一般的には効果がない可能性がある。 本研究では, 2つの共通する不均衡(ラベル/グループ)を統一的に処理し, 敏感群の二値分類に自然に適用できることを示した。
  論文  参考訳（メタデータ） (2021-03-02T08:09:43Z)
• Binary Classification from Multiple Unlabeled Datasets via Surrogate Set Classification [94.55805516167369]
  我々は m 個の U 集合を $mge2$ で二進分類する新しい手法を提案する。 我々のキーとなる考え方は、サロゲート集合分類(SSC)と呼ばれる補助的分類タスクを考えることである。
  論文  参考訳（メタデータ） (2021-02-01T07:36:38Z)
• Memory and Computation-Efficient Kernel SVM via Binary Embedding and Ternary Model Coefficients [18.52747917850984]
  カーネル近似はカーネルSVMのトレーニングと予測のスケールアップに広く用いられている。 メモリ制限されたデバイスにデプロイしたい場合、カーネル近似モデルのメモリと計算コストはまだ高すぎる。 本稿では,バイナリ埋め込みとバイナリモデル係数を用いて,新しいメモリと計算効率の高いカーネルSVMモデルを提案する。
  論文  参考訳（メタデータ） (2020-10-06T09:41:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。