論文の概要: Learning Sign-Constrained Support Vector Machines
- arxiv url: http://arxiv.org/abs/2101.01473v1
- Date: Tue, 5 Jan 2021 12:08:17 GMT
- ステータス: 処理完了
- システム内更新日: 2021-04-11 18:39:37.168153
- Title: Learning Sign-Constrained Support Vector Machines
- Title（参考訳）: 符号制約付きサポートベクターマシンの学習
- Authors: Kenya Tajima, Takahiko Henmi, Kohei Tsuchida, Esmeraldo Ronnie R.
Zara, and Tsuyoshi Kato
- Abstract要約: 符号制約下で経験的リスクを最小化するための2つの最適化アルゴリズムを開発した。
2つのアルゴリズムのうちの1つは、投影勾配法に基づいており、投影勾配法の各イテレーションは計算コストが$o(nd)である。
訓練例と類似性が特徴ベクトルを構成する場合,符号制約が有望な手法であることを実証する。
- 参考スコア（独自算出の注目度）: 0.24466725954625884
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Domain knowledge is useful to improve the generalization performance of
learning machines. Sign constraints are a handy representation to combine
domain knowledge with learning machine. In this paper, we consider constraining
the signs of the weight coefficients in learning the linear support vector
machine, and develop two optimization algorithms for minimizing the empirical
risk under the sign constraints. One of the two algorithms is based on the
projected gradient method, in which each iteration of the projected gradient
method takes $O(nd)$ computational cost and the sublinear convergence of the
objective error is guaranteed. The second algorithm is based on the Frank-Wolfe
method that also converges sublinearly and possesses a clear termination
criterion. We show that each iteration of the Frank-Wolfe also requires $O(nd)$
cost. Furthermore, we derive the explicit expression for the minimal iteration
number to ensure an $\epsilon$-accurate solution by analyzing the curvature of
the objective function. Finally, we empirically demonstrate that the sign
constraints are a promising technique when similarities to the training
examples compose the feature vector.
- Abstract（参考訳）: ドメイン知識は学習機械の一般化性能を向上させるのに有用である。
サイン制約は、ドメイン知識と学習マシンを組み合わせるための便利な表現です。
本稿では,線形支持ベクトルマシンの学習において,重み係数の符号を制約し,符号制約下で経験的リスクを最小化するための2つの最適化アルゴリズムを考案する。
2つのアルゴリズムのうちの1つは、投影勾配法に基づいており、投影勾配法の各イテレーションは計算コストがo(nd)$であり、目的誤差のサブリニア収束が保証される。
第二のアルゴリズムはフランク=ウルフ法に基づいており、サブ線形に収束し、明確な終端基準を持つ。
Frank-Wolfeの各イテレーションは、$O(nd)$コストも必要である。
さらに、目的関数の曲率を分析することにより、最小の反復数に対する明示的な表現を導出し、$\epsilon$-accurate の解を保証する。
最後に,訓練例との類似性が特徴ベクトルを構成する場合,符号制約が有望な手法であることを実証的に示す。
関連論文リスト
- Near-Optimal Online Learning for Multi-Agent Submodular Coordination: Tight Approximation and Communication Efficiency [52.60557300927007]
離散部分モジュラー問題を連続的に最適化するために,$textbfMA-OSMA$アルゴリズムを提案する。
また、一様分布を混合することによりKLの発散を効果的に活用する、プロジェクションフリーな$textbfMA-OSEA$アルゴリズムも導入する。
我々のアルゴリズムは最先端OSGアルゴリズムによって提供される$(frac11+c)$-approximationを大幅に改善する。
論文 参考訳（メタデータ） (2025-02-07T15:57:56Z) - An Adaptively Inexact Method for Bilevel Learning Using Primal-Dual Style Differentiation [8.107030227028815]
線形演算子を学習するための二段階学習フレームワークを検討する。
このフレームワークでは、学習可能なパラメータは、凸最適化問題の解法にも依存する損失関数によって最適化される。
論文 参考訳（メタデータ） (2024-12-09T12:26:26Z) - Adaptive Federated Learning Over the Air [108.62635460744109]
オーバー・ザ・エア・モデル・トレーニングの枠組みの中で,適応勾配法,特にAdaGradとAdamの連合バージョンを提案する。
解析の結果,AdaGrad に基づくトレーニングアルゴリズムは $mathcalO(ln(T) / T 1 - frac1alpha の速度で定常点に収束することがわかった。
論文 参考訳（メタデータ） (2024-03-11T09:10:37Z) - Limited Memory Online Gradient Descent for Kernelized Pairwise Learning
with Dynamic Averaging [18.843097436906618]
実例の独立性を必要としない軽量なOGDアルゴリズムを導入し、カーネル対学習に一般化する。
提案アルゴリズムは,ランダムな例と過去のデータを表す移動平均に基づいて勾配を構築し,その結果,O(T)$の複雑さに縛られたサブ線形後悔が生じる。
実世界のデータセットによるいくつかの実験では、複雑性技術がオフラインおよびオンラインシナリオでカーネルと線形勾配を上回ることが示されている。
論文 参考訳（メタデータ） (2024-02-02T05:21:50Z) - Robust Methods for High-Dimensional Linear Learning [0.0]
統計的に頑健で計算効率の良い線形学習法を高次元バッチ設定で提案する。
バニラスパース、グループスパース、低ランク行列回復など、いくつかのアプリケーションでフレームワークをインスタンス化する。
バニラ $s$-sparsity の場合、重いテールと $eta$-corruption の下で $slog (d)/n$ レートに達することができます。
論文 参考訳（メタデータ） (2022-08-10T17:00:41Z) - Federated Learning with a Sampling Algorithm under Isoperimetry [9.990687944474738]
フェデレーション学習は、機械学習アルゴリズムのトレーニングを複数のデバイスに効率的に分散するために、一連のテクニックを使用する。
本稿では,Langevinvin のサンプル Aafteri の通信効率のよい変種を提案する。
論文 参考訳（メタデータ） (2022-06-02T08:19:03Z) - A framework for bilevel optimization that enables stochastic and global variance reduction algorithms [21.67411847762289]
双レベル最適化は、他の関数のarg最小値を含む値関数を最小化する問題である。
本稿では, 内部問題の解, 線形系の解, 主変数を同時に発展させる新しい枠組みを提案する。
我々のフレームワークにおけるSAGAアルゴリズムの適応であるSABAが$O(frac1T)$収束率を持つことを示す。
論文 参考訳（メタデータ） (2022-01-31T18:17:25Z) - A Boosting Approach to Reinforcement Learning [59.46285581748018]
複雑度が状態数に依存しない意思決定プロセスにおける強化学習のための効率的なアルゴリズムについて検討する。
このような弱い学習手法の精度を向上させることができる効率的なアルゴリズムを提供する。
論文 参考訳（メタデータ） (2021-08-22T16:00:45Z) - Graph Signal Restoration Using Nested Deep Algorithm Unrolling [85.53158261016331]
グラフ信号処理は、センサー、社会交通脳ネットワーク、ポイントクラウド処理、グラフネットワークなど、多くのアプリケーションにおいてユビキタスなタスクである。
凸非依存型深部ADMM(ADMM)に基づく2つの復元手法を提案する。
提案手法のパラメータはエンドツーエンドでトレーニング可能である。
論文 参考訳（メタデータ） (2021-06-30T08:57:01Z) - Correcting Momentum with Second-order Information [50.992629498861724]
最適積に$O(epsilon)$epsilon点を求める非臨界最適化のための新しいアルゴリズムを開発した。
我々は、さまざまな大規模ディープラーニングベンチマークとアーキテクチャで結果を検証する。
論文 参考訳（メタデータ） (2021-03-04T19:01:20Z) - Cogradient Descent for Bilinear Optimization [124.45816011848096]
双線形問題に対処するために、CoGDアルゴリズム(Cogradient Descent Algorithm)を導入する。
一方の変数は、他方の変数との結合関係を考慮し、同期勾配降下をもたらす。
本アルゴリズムは,空間的制約下での1変数の問題を解くために応用される。
論文 参考訳（メタデータ） (2020-06-16T13:41:54Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。