論文の概要: Optimal Model Averaging of Support Vector Machines in Diverging Model Spaces

• arxiv url: http://arxiv.org/abs/2112.12961v1
• Date: Fri, 24 Dec 2021 06:31:51 GMT
• ステータス: 処理完了
• システム内更新日: 2021-12-29 16:25:26.749587
• Title: Optimal Model Averaging of Support Vector Machines in Diverging Model Spaces
• Title（参考訳）: 分岐モデル空間におけるサポートベクトルマシンの最適モデル平均化
• Authors: Chaoxia Yuan, Chao Ying, Zhou Yu, Fang Fang
• Abstract要約: サポートベクトルマシン(SVM)は多くの分野で大きな成功を収めた強力な分類手法である。 クロスバリデーションにより最適な重みを選択するSVMの頻繁なモデル平均化手法を提案する。 提案手法の最適性は, そのヒンジ損失と最小損失との比が1に収束するという意味で示される。
• 参考スコア（独自算出の注目度）: 34.0132394492309
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Support vector machine (SVM) is a powerful classification method that has achieved great success in many fields. Since its performance can be seriously impaired by redundant covariates, model selection techniques are widely used for SVM with high dimensional covariates. As an alternative to model selection, significant progress has been made in the area of model averaging in the past decades. Yet no frequentist model averaging method was considered for SVM. This work aims to fill the gap and to propose a frequentist model averaging procedure for SVM which selects the optimal weight by cross validation. Even when the number of covariates diverges at an exponential rate of the sample size, we show asymptotic optimality of the proposed method in the sense that the ratio of its hinge loss to the lowest possible loss converges to one. We also derive the convergence rate which provides more insights to model averaging. Compared to model selection methods of SVM which require a tedious but critical task of tuning parameter selection, the model averaging method avoids the task and shows promising performances in the empirical studies.
• Abstract（参考訳）: サポートベクトルマシン(SVM)は多くの分野で大きな成功を収めた強力な分類手法である。 その性能は冗長な共変量によって著しく損なわれるため、高次元共変量を持つSVMではモデル選択技術が広く用いられている。 モデル選択の代替として、過去数十年でモデル平均化の領域で顕著な進歩が見られた。 しかし、svmでは頻繁なモデル平均化手法は考慮されなかった。 本研究は, このギャップを埋めることを目的として, クロスバリデーションにより最適重みを選択するSVMの頻繁なモデル平均化手順を提案する。 サンプルサイズの指数関数的な速度で共変数の数が発散した場合でも、ヒンジ損失と最小損失の比率が1に収束するという意味で、提案手法の漸近的最適性を示す。 また、モデル平均化に関する洞察を提供する収束率も導き出します。 パラメータ選択をチューニングする面倒だが重要なタスクを必要とするSVMのモデル選択法と比較して、モデル平均化法はタスクを回避し、実証研究において有望な性能を示す。

関連論文リスト

• Computation-Aware Gaussian Processes: Model Selection And Linear-Time Inference [55.150117654242706]
  我々は、1.8万のデータポイントでトレーニングされた計算対応GPのモデル選択が、1つのGPU上で数時間以内に可能であることを示す。 この研究の結果、ガウス過程は、不確実性を定量化する能力を著しく妥協することなく、大規模なデータセットで訓練することができる。
  論文  参考訳（メタデータ） (2024-11-01T21:11:48Z)
• Annealed Stein Variational Gradient Descent for Improved Uncertainty Estimation in Full-Waveform Inversion [25.714206592953545]
  変分推論 (VI) は、パラメトリックまたは非パラメトリックな提案分布の形で後部分布に近似的な解を与える。 本研究は、フルウェーブフォーム・インバージョンにおけるVIの性能向上を目的としている。
  論文  参考訳（メタデータ） (2024-10-17T06:15:26Z)
• On the Laplace Approximation as Model Selection Criterion for Gaussian Processes [6.990493129893112]
  ラプラス近似に基づく複数の指標を導入する。 実験により、我々のメトリクスはゴールド標準の動的ネストサンプリングに匹敵する品質を示している。
  論文  参考訳（メタデータ） (2024-03-14T09:28:28Z)
• Robust Twin Parametric Margin Support Vector Machine for Multiclass Classification [0.0]
  本稿では,マルチクラス分類の問題に対処するために,Twin Parametric Margin Support Vector Machine (TPMSVM) モデルを提案する。 各サンプルの周囲に有界・ノルム不確実性集合を構築し,決定論的モデルの頑健な対応を導出する。 提案したTPMSVM手法を実世界のデータセット上でテストし,提案手法の優れた性能を示す。
  論文  参考訳（メタデータ） (2023-06-09T19:27:24Z)
• Numerical Optimizations for Weighted Low-rank Estimation on Language Model [73.12941276331316]
  Singular value decomposition (SVD) は、より小さい行列でターゲット行列を近似する最も一般的な圧縮手法の1つである。 標準SVDは行列内のパラメータを同じ重要性で扱うが、これは単純だが非現実的な仮定である。 本手法は,ニューラルベース言語モデルにおいて,現在のSOTA法よりも優れた性能を示す。
  論文  参考訳（メタデータ） (2022-11-02T00:58:02Z)
• RoMA: Robust Model Adaptation for Offline Model-based Optimization [115.02677045518692]
  入力出力クエリの静的データセットからブラックボックス目的関数を最大化する入力を探索する問題を考える。 この問題を解決するための一般的なアプローチは、真の客観的関数を近似するプロキシモデルを維持することである。 ここでの大きな課題は、検索中に逆最適化された入力を避ける方法である。
  論文  参考訳（メタデータ） (2021-10-27T05:37:12Z)
• A Data-driven feature selection and machine-learning model benchmark for the prediction of longitudinal dispersion coefficient [29.58577229101903]
  縦方向分散(LD)係数の正確な予測は、関連するシミュレーションにおいて性能の飛躍をもたらすことができる。 本研究では, 蒸留した局所最適値と代表MLモデルとの数値比較により, 大域的最適特徴集合を提案した。 その結果,サポートベクタマシンは他のモデルよりも大幅に性能が向上していることがわかった。
  論文  参考訳（メタデータ） (2021-07-16T09:50:38Z)
• Robust Regression via Model Based Methods [13.300549123177705]
  モデルベース最適化 (MBO) [35, 36] に着想を得たアルゴリズムを提案し, 非対象を凸モデル関数に置き換える。 これをロバスト回帰に適用し、MBOの内部最適化を解くために、オンライン乗算器のオンライン交互方向法(OOADM) [50] の関数 SADM を提案する。 最後に、(a)アウトレーヤに対するl_pノルムのロバスト性、(b)オートエンコーダ法とマルチターゲット回帰法と比較して、提案したモデルベースアルゴリズムの効率性を実験的に実証した。
  論文  参考訳（メタデータ） (2021-06-20T21:45:35Z)
• Estimating Average Treatment Effects with Support Vector Machines [77.34726150561087]
  サポートベクターマシン(SVM)は、機械学習文献で最も人気のある分類アルゴリズムの1つです。 我々はsvmをカーネルベースの重み付け手順として適用し,治療群と制御群の最大平均差を最小化する。 このトレードオフから生じる因果効果推定のバイアスを特徴づけ、提案されたSVM手順と既存のカーネルバランシング手法を結びつけます。
  論文  参考訳（メタデータ） (2021-02-23T20:22:56Z)
• Robust Finite Mixture Regression for Heterogeneous Targets [70.19798470463378]
  本稿では,サンプルクラスタの探索と,複数の不完全な混合型ターゲットを同時にモデル化するFMRモデルを提案する。 我々は、高次元の学習フレームワークの下で、無症状のオラクルのパフォーマンス境界をモデルに提供します。 その結果,我々のモデルは最先端の性能を達成できることがわかった。
  論文  参考訳（メタデータ） (2020-10-12T03:27:07Z)
• Robust, Accurate Stochastic Optimization for Variational Inference [68.83746081733464]
  また, 共通最適化手法は, 問題が適度に大きい場合, 変分近似の精度が低下することを示した。 これらの結果から,基礎となるアルゴリズムをマルコフ連鎖の生成とみなして,より堅牢で正確な最適化フレームワークを開発する。
  論文  参考訳（メタデータ） (2020-09-01T19:12:11Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。