論文の概要: A Theory of the Risk for Optimization with Relaxation and its
Application to Support Vector Machines
- arxiv url: http://arxiv.org/abs/2004.05839v4
- Date: Mon, 8 Jan 2024 11:00:50 GMT
- ステータス: 処理完了
- システム内更新日: 2024-01-10 00:56:36.363975
- Title: A Theory of the Risk for Optimization with Relaxation and its
Application to Support Vector Machines
- Title（参考訳）: 緩和を考慮した最適化のリスクの理論とその支援ベクトルマシンへの応用
- Authors: Marco C. Campi and Simone Garatti
- Abstract要約: データ駆動設計に不可欠なパラダイムである緩和による最適化について検討する。
このアプローチは以前、ガラッティとカンピのこの作品の同じ著者によって検討された。
- 参考スコア（独自算出の注目度）: 3.045851438458641
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: In this paper we consider optimization with relaxation, an ample paradigm to
make data-driven designs. This approach was previously considered by the same
authors of this work in Garatti and Campi (2019), a study that revealed a
deep-seated connection between two concepts: risk (probability of not
satisfying a new, out-of-sample, constraint) and complexity (according to a
definition introduced in paper Garatti and Campi (2019)). This connection was
shown to have profound implications in applications because it implied that the
risk can be estimated from the complexity, a quantity that can be measured from
the data without any knowledge of the data-generation mechanism. In the present
work we establish new results. First, we expand the scope of Garatti and Campi
(2019) so as to embrace a more general setup that covers various algorithms in
machine learning. Then, we study classical support vector methods - including
SVM (Support Vector Machine), SVR (Support Vector Regression) and SVDD (Support
Vector Data Description) - and derive new results for the ability of these
methods to generalize. All results are valid for any finite size of the data
set. When the sample size tends to infinity, we establish the unprecedented
result that the risk approaches the ratio between the complexity and the
cardinality of the data sample, regardless of the value of the complexity.
- Abstract（参考訳）: 本稿では,データ駆動設計のパラダイムである緩和による最適化について考察する。
このアプローチは以前、Garatti and Campi (2019)におけるこの研究の著者たちによって、リスク(新しい、アウト・オブ・サンプレット、制約を満たさない確率)と複雑性(Garatti and Campi (2019)で導入された定義による)という2つの概念の深い関係を明らかにする研究である。
この接続は、データ生成メカニズムを知らずにデータから測定できる量である複雑性からリスクを推定できることを暗示しているため、アプリケーションに大きな影響を与えることが示されている。
本研究で新たな成果が得られた。
まず、GarattiとCampi(2019)の範囲を広げて、機械学習のさまざまなアルゴリズムをカバーするより一般的なセットアップを取り入れます。
次に、SVM(Support Vector Machine)、SVR(Support Vector Regression)、SVDD(Support Vector Data Description)などの古典的サポートベクター手法について検討し、これらの手法を一般化するための新たな結果を得る。
すべての結果はデータセットの有限サイズに対して有効である。
サンプルサイズが無限大になる傾向にある場合、リスクが複雑さの値に関係なく、データサンプルの濃度と複雑さの比に近づくという前例のない結果が確立される。
関連論文リスト
- Collaborative Learning with Different Labeling Functions [7.228285747845779]
我々は、$n$のデータ分布ごとに正確な分類器を学習することを目的とした、協調型PAC学習の亜種について研究する。
データ分布がより弱い実現可能性の仮定を満たす場合、サンプル効率の学習は依然として可能であることを示す。
論文 参考訳（メタデータ） (2024-02-16T04:32:22Z) - Optimal Multi-Distribution Learning [88.3008613028333]
マルチディストリビューション学習は、$k$の異なるデータ分散における最悪のリスクを最小限に抑える共有モデルを学ぶことを目指している。
本稿では, (d+k)/varepsilon2の順に, サンプルの複雑さを伴って, ヴァレプシロン最適ランダム化仮説を導出するアルゴリズムを提案する。
論文 参考訳（メタデータ） (2023-12-08T16:06:29Z) - RGM: A Robust Generalizable Matching Model [49.60975442871967]
RGM(Robust Generalist Matching)と呼ばれる疎密マッチングのための深部モデルを提案する。
合成トレーニングサンプルと実世界のシナリオのギャップを狭めるために、我々は、疎対応基盤真理を持つ新しい大規模データセットを構築した。
さまざまな密集したスパースなデータセットを混ぜ合わせることができ、トレーニングの多様性を大幅に改善しています。
論文 参考訳（メタデータ） (2023-10-18T07:30:08Z) - CORE: Common Random Reconstruction for Distributed Optimization with
Provable Low Communication Complexity [110.50364486645852]
コミュニケーションの複雑さは、トレーニングをスピードアップし、マシン番号をスケールアップする上で、大きなボトルネックになっています。
本稿では,機械間で送信される情報を圧縮するための共通Om REOmを提案する。
論文 参考訳（メタデータ） (2023-09-23T08:45:27Z) - Large-scale Fully-Unsupervised Re-Identification [78.47108158030213]
大規模未ラベルデータから学ぶための2つの戦略を提案する。
第1の戦略は、近傍関係に違反することなく、それぞれのデータセットサイズを減らすために、局所的な近傍サンプリングを行う。
第2の戦略は、低時間上限の複雑さを持ち、メモリの複雑さを O(n2) から O(kn) に k n で還元する新しい再帰的手法を利用する。
論文 参考訳（メタデータ） (2023-07-26T16:19:19Z) - Optimal Heterogeneous Collaborative Linear Regression and Contextual
Bandits [34.121889149071684]
本研究では、各インスタンスの関連パラメータが大域的パラメータとスパースなインスタンス固有項と等しくなるような協調線形回帰と文脈的バンドイットについて検討する。
MOLARと呼ばれる新しい2段階推定器を提案し、まず、インスタンスの線形回帰推定のエントリーワイド中央値を構築し、その後、インスタンス固有推定値を中央値に向けて縮小することで、この構造を利用する。
次に、MOLARを用いて、不均一な協調的文脈的包帯の手法を開発し、独立した包帯法と比較して、後悔の保証を改善する。
論文 参考訳（メタデータ） (2023-06-09T22:48:13Z) - Approximation of group explainers with coalition structure using Monte Carlo sampling on the product space of coalitions and features [0.11184789007828977]
我々は、与えられたMLモデルと予測ベクトルに基づく限界ゲームに対して、幅広い種類の線形ゲーム値と連立値に焦点を当てる。
我々はモンテカルロサンプリングアルゴリズムを設計し、背景データセットのサイズに線形に依存する複雑さを減らし、それらを推定する。
論文 参考訳（メタデータ） (2023-03-17T19:17:06Z) - GEC: A Unified Framework for Interactive Decision Making in MDP, POMDP,
and Beyond [101.5329678997916]
対話型意思決定の一般的な枠組みの下で, サンプル高能率強化学習(RL)について検討した。
本稿では,探索とエクスプロイトの基本的なトレードオフを特徴付ける,新しい複雑性尺度である一般化エルダー係数(GEC)を提案する。
低 GEC の RL 問題は非常にリッチなクラスであり、これは低ベルマン楕円体次元問題、双線型クラス、低証人ランク問題、PO-双線型クラス、一般化正規PSR を仮定する。
論文 参考訳（メタデータ） (2022-11-03T16:42:40Z) - Deep Active Ensemble Sampling For Image Classification [8.31483061185317]
アクティブラーニングフレームワークは、最も有益なデータポイントのラベル付けを積極的に要求することで、データアノテーションのコストを削減することを目的としている。
提案手法には、不確実性に基づく手法、幾何学的手法、不確実性に基づく手法と幾何学的手法の暗黙の組み合わせなどがある。
本稿では, サンプル選択戦略における効率的な探索・探索トレードオフを実現するために, 不確実性に基づくフレームワークと幾何学的フレームワークの両方の最近の進歩を革新的に統合する。
本フレームワークは,(1)正確な後続推定,(2)計算オーバーヘッドと高い精度のトレードオフの2つの利点を提供する。
論文 参考訳（メタデータ） (2022-10-11T20:20:20Z) - SreaMRAK a Streaming Multi-Resolution Adaptive Kernel Algorithm [60.61943386819384]
既存のKRRの実装では、すべてのデータがメインメモリに格納される必要がある。
KRRのストリーミング版であるStreaMRAKを提案する。
本稿では,2つの合成問題と2重振り子の軌道予測について紹介する。
論文 参考訳（メタデータ） (2021-08-23T21:03:09Z) - Semi-supervised Vector-valued Learning: Improved Bounds and Algorithms [20.53130700587322]
カーネルの観点と線形視点の両方から一般ベクトル値学習のための新しい半教師付き過剰リスク境界を導出する。
理論解析により,ベクトル値関数を効率的に学習するための一般半教師付きアルゴリズムを提案する。
論文 参考訳（メタデータ） (2019-09-11T07:30:53Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。