論文の概要: Frank-Wolfe algorithm for learning SVM-type multi-category classifiers

• arxiv url: http://arxiv.org/abs/2008.08894v1
• Date: Thu, 20 Aug 2020 11:19:07 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-27 03:06:38.493321
• Title: Frank-Wolfe algorithm for learning SVM-type multi-category classifiers
• Title（参考訳）: SVM型マルチカテゴリ分類器学習のためのFrank-Wolfeアルゴリズム
• Authors: Kenya Tajima, Yoshihiro Hirohashi, Esmeraldo Ronnie Rey Zara, Tsuyoshi Kato
• Abstract要約: マルチカテゴリサポートベクターマシン(MC-SVM)は最も人気のある機械学習アルゴリズムの一つである。 本研究では,MC-SVMの変種の多くに適用可能な新しい最適化アルゴリズムを開発した。
• 参考スコア（独自算出の注目度）: 0.7646713951724012
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Multi-category support vector machine (MC-SVM) is one of the most popular machine learning algorithms. There are lots of variants of MC-SVM, although different optimization algorithms were developed for different learning machines. In this study, we developed a new optimization algorithm that can be applied to many of MC-SVM variants. The algorithm is based on the Frank-Wolfe framework that requires two subproblems, direction finding and line search, in each iteration. The contribution of this study is the discovery that both subproblems have a closed form solution if the Frank-Wolfe framework is applied to the dual problem. Additionally, the closed form solutions on both for the direction finding and for the line search exist even for the Moreau envelopes of the loss functions. We use several large datasets to demonstrate that the proposed optimization algorithm converges rapidly and thereby improves the pattern recognition performance.
• Abstract（参考訳）: マルチカテゴリサポートベクターマシン(MC-SVM)は最も人気のある機械学習アルゴリズムの一つである。 MC-SVMには多くのバリエーションがあるが、異なる学習マシン向けに異なる最適化アルゴリズムが開発された。 本研究では,MC-SVMの変種の多くに適用可能な新しい最適化アルゴリズムを開発した。 このアルゴリズムは2つのサブプロブレム、方向探索と行探索を必要とするFrank-Wolfeフレームワークに基づいている。 この研究の貢献は、Frank-Wolfe フレームワークが双対問題に適用された場合、両方の部分プロブレムが閉形式解を持つという発見である。 さらに、方向探索と直線探索の両方のための閉形式解は、損失関数のモローエンベロープに対しても存在する。 提案する最適化アルゴリズムが急速に収束し,パターン認識性能が向上することを示すために,いくつかの大規模データセットを用いた。

関連論文リスト

• Challenges in Binary Classification [12.827730806517664]
  カーネル関数の選択は経験的であり、カーネル関数は最適でない可能性がある。 線形分類では、SVMがこの変分問題フレームワークの特別な場合であると推測できる。 ユークリッド距離について、提案された変分問題には非線形分類にいくつかの制限があることが証明されている。
  論文  参考訳（メタデータ） (2024-06-19T16:11:59Z)
• Quality-Diversity Algorithms Can Provably Be Helpful for Optimization [24.694984679399315]
  QD(Quality-Diversity)アルゴリズムは、ハイパフォーマンスだが多様なソリューションのセットを見つけることを目的としている。 本稿では,厳密な実行時間解析によってQDアルゴリズムの最適化能力に光を当てようとしている。
  論文  参考訳（メタデータ） (2024-01-19T07:40:24Z)
• An Efficient Algorithm for Clustered Multi-Task Compressive Sensing [60.70532293880842]
  クラスタ化マルチタスク圧縮センシングは、複数の圧縮センシングタスクを解決する階層モデルである。 このモデルに対する既存の推論アルゴリズムは計算コストが高く、高次元ではうまくスケールしない。 本稿では,これらの共分散行列を明示的に計算する必要をなくし,モデル推論を大幅に高速化するアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2023-09-30T15:57:14Z)
• Adaptive Federated Minimax Optimization with Lower Complexities [82.51223883622552]
  本稿では,これらのミニマックス問題の解法として,適応最小最適化アルゴリズム(AdaFGDA)を提案する。 運動量に基づく還元および局所SGD技術を構築し、様々な適応学習率を柔軟に組み込む。
  論文  参考訳（メタデータ） (2022-11-14T12:32:18Z)
• On a class of geodesically convex optimization problems solved via Euclidean MM methods [50.428784381385164]
  ユークリッド凸化関数の違いは、統計学と機械学習の異なるタイプの問題の違いとして記述できることを示す。 最終的に、より広い範囲、より広い範囲の作業を支援するのです。
  論文  参考訳（メタデータ） (2022-06-22T23:57:40Z)
• Provably Faster Algorithms for Bilevel Optimization [54.83583213812667]
  バイレベル最適化は多くの重要な機械学習アプリケーションに広く適用されている。 両レベル最適化のための2つの新しいアルゴリズムを提案する。 両アルゴリズムが$mathcalO(epsilon-1.5)$の複雑さを達成し,既存のアルゴリズムを桁違いに上回っていることを示す。
  論文  参考訳（メタデータ） (2021-06-08T21:05:30Z)
• Towards Optimally Efficient Tree Search with Deep Learning [76.64632985696237]
  本稿では,線形モデルから信号整数を推定する古典整数最小二乗問題について検討する。 問題はNPハードであり、信号処理、バイオインフォマティクス、通信、機械学習といった様々な応用でしばしば発生する。 本稿では, 深いニューラルネットワークを用いて, 単純化されたメモリバウンドA*アルゴリズムの最適推定を推定し, HATSアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2021-01-07T08:00:02Z)
• Online Model Selection for Reinforcement Learning with Function Approximation [50.008542459050155]
  我々は、$tildeO(L5/6 T2/3)$ regretで最適な複雑性に適応するメタアルゴリズムを提案する。 また、メタアルゴリズムは、インスタンス依存の後悔境界を著しく改善することを示す。
  論文  参考訳（メタデータ） (2020-11-19T10:00:54Z)
• A fast learning algorithm for One-Class Slab Support Vector Machines [1.1613446814180841]
  本稿では,SMO (Sequential Minimal Optimization) を用いた一級スラブSVMの高速トレーニング手法を提案する。 その結果、このトレーニング手法は、他の準計画法(QP)の解法よりも、大規模なトレーニングデータに対してより優れたスケールが可能であることが示唆された。
  論文  参考訳（メタデータ） (2020-11-06T09:16:39Z)
• Towards Dynamic Algorithm Selection for Numerical Black-Box Optimization: Investigating BBOB as a Use Case [4.33419118449588]
  シングルスウィッチな動的アルゴリズムの選択(dynAS)でさえ、大きな性能向上をもたらす可能性があることを示す。 また、dynASにおける重要な課題についても論じ、BBOBフレームワークがこれらを克服する上で有用なツールになり得ると論じる。
  論文  参考訳（メタデータ） (2020-06-11T16:36:11Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。