論文の概要: Joker: Joint Optimization Framework for Lightweight Kernel Machines

• arxiv url: http://arxiv.org/abs/2505.17765v1
• Date: Fri, 23 May 2025 11:36:45 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-26 18:08:34.031464
• Title: Joker: Joint Optimization Framework for Lightweight Kernel Machines
• Title（参考訳）: Joker:軽量カーネルマシンのための共同最適化フレームワーク
• Authors: Junhong Zhang, Zhihui Lai,
• Abstract要約: 我々は,KRR,ロジスティック回帰,サポートベクタマシンなど,多様なカーネルモデルを対象とした共同最適化フレームワークJokerを提案する。 実験によると、Jokerは最大90%のメモリを節約できるが、最先端のメソッドよりもトレーニング時間とパフォーマンス(あるいはさらに良い)を達成する。
• 参考スコア（独自算出の注目度）: 20.45405359815043
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Kernel methods are powerful tools for nonlinear learning with well-established theory. The scalability issue has been their long-standing challenge. Despite the existing success, there are two limitations in large-scale kernel methods: (i) The memory overhead is too high for users to afford; (ii) existing efforts mainly focus on kernel ridge regression (KRR), while other models lack study. In this paper, we propose Joker, a joint optimization framework for diverse kernel models, including KRR, logistic regression, and support vector machines. We design a dual block coordinate descent method with trust region (DBCD-TR) and adopt kernel approximation with randomized features, leading to low memory costs and high efficiency in large-scale learning. Experiments show that Joker saves up to 90\% memory but achieves comparable training time and performance (or even better) than the state-of-the-art methods.
• Abstract（参考訳）: カーネル法は、よく確立された理論を持つ非線形学習のための強力なツールである。 スケーラビリティの問題は、長年にわたる課題だった。 既存の成功にもかかわらず、大規模なカーネルメソッドには2つの制限がある。 (i)メモリオーバーヘッドは、ユーザが手に入れるには高すぎる。 (II) 既存の取り組みは主にカーネルリッジ回帰(KRR)に焦点を当てているが、他のモデルは研究を欠いている。 本稿では,KRR,ロジスティック回帰,サポートベクタマシンなど,多様なカーネルモデルを対象とした共同最適化フレームワークJokerを提案する。 我々は、信頼領域(DBCD-TR)を持つ二重ブロック座標降下法を設計し、ランダム化特徴を持つカーネル近似を採用し、メモリコストの低減と大規模学習における高効率化を実現した。 実験によると、Jokerは最大90\%のメモリを節約できるが、最先端のメソッドよりもトレーニング時間とパフォーマンス(あるいはさらに良い)を達成する。

関連論文リスト

• Kernel Ridge Regression for Efficient Learning of High-Capacity Hopfield Networks [0.0]
  我々は,高容量ホップフィールドネットワークを学習するためのカーネルベースの効率的な代替手段として,Kernel Ridge Regression (KRR)を提案する。 KRRはカーネルのトリックを利用し、回帰を通じて双極子状態を予測する。 以上の結果から,KRRはKLRに匹敵する,最先端のストレージ容量($beta$=1.5)と耐雑音性を実現していることがわかった。
  論文  参考訳（メタデータ） (2025-04-17T01:17:28Z)
• Fast Asymmetric Factorization for Large Scale Multiple Kernel Clustering [5.21777096853979]
  マルチカーネルクラスタリング(MKC)は、クラスタリングのための複数のベースカーネルからの情報の融合を可能にするソリューションとして登場した。 本稿では,局所回帰にインスパイアされた新しいスパースカーネル行列を構築し,メモリ効率を実現するための効率的な多重カーネル概念因子化(EMKCF)を提案する。
  論文  参考訳（メタデータ） (2024-05-26T06:29:12Z)
• Scalable Optimal Margin Distribution Machine [50.281535710689795]
  ODM(Optimal margin Distribution Machine)は、新しいマージン理論に根ざした新しい統計学習フレームワークである。 本稿では,従来のODMトレーニング手法に比べて10倍近い高速化を実現するスケーラブルなODMを提案する。
  論文  参考訳（メタデータ） (2023-05-08T16:34:04Z)
• Snacks: a fast large-scale kernel SVM solver [0.8602553195689513]
  SnacksはKernel Support Vector Machines用の新しい大規模ソルバである。 スナックは、カーネル行列の「Nystr」近似と、下次法の加速変種に依存している。
  論文  参考訳（メタデータ） (2023-04-17T04:19:20Z)
• Multiple Kernel Clustering with Dual Noise Minimization [56.009011016367744]
  マルチカーネルクラスタリング(MKC)は、ベースカーネルから補完的な情報を統合することでデータをグループ化する。 本稿では,双対雑音を厳密に定義し,パラメータフリーなMKCアルゴリズムを提案する。 二重ノイズはブロック対角構造を汚染し,クラスタリング性能の劣化を招き,CノイズはNノイズよりも強い破壊を示す。
  論文  参考訳（メタデータ） (2022-07-13T08:37:42Z)
• Learning "best" kernels from data in Gaussian process regression. With application to aerodynamics [0.4588028371034406]
  本稿では,ガウス過程の回帰/クリギングサロゲートモデリング手法におけるカーネルの選択/設計アルゴリズムを紹介する。 アルゴリズムの最初のクラスはカーネルフローであり、機械学習の分類の文脈で導入された。 アルゴリズムの第2のクラスはスペクトル核リッジ回帰と呼ばれ、近似される関数のノルムが最小となるような「最良の」カーネルを選択することを目的としている。
  論文  参考訳（メタデータ） (2022-06-03T07:50:54Z)
• Memory and Computation-Efficient Kernel SVM via Binary Embedding and Ternary Model Coefficients [18.52747917850984]
  カーネル近似はカーネルSVMのトレーニングと予測のスケールアップに広く用いられている。 メモリ制限されたデバイスにデプロイしたい場合、カーネル近似モデルのメモリと計算コストはまだ高すぎる。 本稿では,バイナリ埋め込みとバイナリモデル係数を用いて,新しいメモリと計算効率の高いカーネルSVMモデルを提案する。
  論文  参考訳（メタデータ） (2020-10-06T09:41:54Z)
• Scaling Distributed Deep Learning Workloads beyond the Memory Capacity with KARMA [58.040931661693925]
  冗長な再計算とアウト・オブ・コアの手法を組み合わせた戦略を提案する。 最先端のアウト・オブ・コア手法を用いて,6種類のモデルで平均1.22倍の高速化を実現した。 我々のデータ並列化ソリューションは,Megatron-LMやTurning-NLGといった大規模モデルのトレーニングにおいて,複雑なハイブリッドモデル並列性よりも優れる。
  論文  参考訳（メタデータ） (2020-08-26T07:24:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。