Fugu-MT 論文翻訳(概要): Second Order PAC-Bayesian Bounds for the Weighted Majority Vote

論文の概要: Second Order PAC-Bayesian Bounds for the Weighted Majority Vote

arxiv url: http://arxiv.org/abs/2007.13532v2
Date: Thu, 17 Dec 2020 12:26:53 GMT
ステータス: 処理完了
システム内更新日: 2022-11-14 22:27:55.956018
Title: Second Order PAC-Bayesian Bounds for the Weighted Majority Vote
Title（参考訳）: 重み付き多数投票のための2次PAC-Bayesian境界
Authors: Andr\'es R. Masegosa and Stephan S. Lorenzen and Christian Igel and Yevgeny Seldin
Abstract要約: マルチクラス分類における多数決の重み付けが期待できるリスクについて, 新たな分析を行った。バイナリ分類のためのバウンダリの特殊なバージョンを提供し、ラベルのない追加データを利用してより厳密なリスク推定を可能にします。
参考スコア（独自算出の注目度）: 24.144499302568562
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: We present a novel analysis of the expected risk of weighted majority vote in multiclass classification. The analysis takes correlation of predictions by ensemble members into account and provides a bound that is amenable to efficient minimization, which yields improved weighting for the majority vote. We also provide a specialized version of our bound for binary classification, which allows to exploit additional unlabeled data for tighter risk estimation. In experiments, we apply the bound to improve weighting of trees in random forests and show that, in contrast to the commonly used first order bound, minimization of the new bound typically does not lead to degradation of the test error of the ensemble.
Abstract（参考訳）: マルチクラス分類における重み付け多数決の予測リスクについて, 新たな分析を行った。この分析は、アンサンブルメンバーによる予測の相関を考慮に入れ、効率的な最小化に適応可能な境界を提供し、多数決の重み付けを改善する。さらにバウンド・フォー・バイナリ分類(bound for binary classification)の特別なバージョンも提供しています。実験では,無作為林における樹木の重み付けを改善するためにバウンドを適用し,一般に使用される1次バウンドとは対照的に,新しいバウンドの最小化は通常,アンサンブルの試験誤差が低下しないことを示した。

関連論文リスト

Predictor-Rejector Multi-Class Abstention: Theoretical Analysis and Algorithms [30.389055604165222]
マルチクラス分類設定において,留意を伴う学習の鍵となる枠組みについて検討する。この設定では、学習者は事前に定義されたコストで予測をしないことを選択できる。我々は、強い非漸近的および仮説的整合性を保証するために、いくつかの新しい代理損失の族を導入する。
論文参考訳（メタデータ） (2023-10-23T10:16:27Z)
Optimal PAC Bounds Without Uniform Convergence [11.125968799758436]
我々は、一様収束論の極限を超えるフレームワークを通して、最適な高確率リスク境界を提供する。我々のフレームワークは、置換不変予測器の残余誤差を高い確率リスク境界に変換する。具体的には, 1-inclusion graph アルゴリズムの特定のアグリゲーションが最適であることを示す。
論文参考訳（メタデータ） (2023-04-18T17:57:31Z)
Limitations of Information-Theoretic Generalization Bounds for Gradient Descent Methods in Stochastic Convex Optimization [48.12845778927164]
凸最適化の設定において,勾配勾配降下の最小値設定の見通しを考察する。勾配法の研究においてよく用いられる手法として、最終回はガウス雑音によって劣化し、ノイズの多い「代理」アルゴリズムが生成される。以上の結果から,情報理論を用いた勾配降下解析には新たな考え方が必要であることが示唆された。
論文参考訳（メタデータ） (2022-12-27T17:16:48Z)
Mitigating multiple descents: A model-agnostic framework for risk monotonization [84.6382406922369]
クロスバリデーションに基づくリスクモノトナイズのための一般的なフレームワークを開発する。本稿では,データ駆動方式であるゼロステップとワンステップの2つの手法を提案する。
論文参考訳（メタデータ） (2022-05-25T17:41:40Z)
Minimax Optimal Quantile and Semi-Adversarial Regret via Root-Logarithmic Regularizers [31.102181563065844]
量子的(そしてより一般的には、KL)後悔は、最高の個人専門家と競争する目標を緩和し、敵対的なデータに関して、ほとんどの専門家と競争するだけである。最近では、半対人パラダイム(Bilodeau、Negrea、Roy 2020)は、完全に対人的でも対人的でもないデータを考えることによって、対人的オンライン学習の代替緩和を提供する。我々は、FTRLと別個のルート対数正規化器を併用したFTRLを用いて、両方のパラダイムにおいて最小限の後悔を達成し、どちらも正規Hedgeの変種と解釈できる。
論文参考訳（メタデータ） (2021-10-27T22:38:52Z)
Learning Stochastic Majority Votes by Minimizing a PAC-Bayes Generalization Bound [15.557653926558638]
分類器の有限アンサンブルに対する多数票の対について検討し、その一般化特性について検討する。ディリクレ分布でインスタンス化し、予測されるリスクに対して閉じた形式と微分可能な表現を可能にする。結果の多数決学習アルゴリズムは、最先端の精度と(非空きな)厳密な境界から恩恵を得る。
論文参考訳（メタデータ） (2021-06-23T16:57:23Z)
RATT: Leveraging Unlabeled Data to Guarantee Generalization [96.08979093738024]
ラベルのないデータを利用して一般化境界を生成する手法を紹介します。境界が0-1経験的リスク最小化に有効であることを証明します。この作業は、見えないラベル付きデータが利用できない場合でも、ディープネットの一般化を証明するためのオプションを実践者に提供します。
論文参考訳（メタデータ） (2021-05-01T17:05:29Z)
Bias no more: high-probability data-dependent regret bounds for adversarial bandits and MDPs [48.44657553192801]
我々は,適応的相手に対する盗聴フィードバックを用いたオンライン学習において,高い確率的後悔境界を得るための新しいアプローチを開発した。我々のアプローチは、対数的に均質な自己協和障壁と強化されたフリードマンの不平等の助けを借りて、単純な学習率のスケジュールの増大に依存している。
論文参考訳（メタデータ） (2020-06-14T22:09:27Z)
Lower bounds in multiple testing: A framework based on derandomized proxies [107.69746750639584]
本稿では, 各種コンクリートモデルへの適用例を示す, デランドマイズに基づく分析戦略を提案する。これらの下界のいくつかを数値シミュレーションし、Benjamini-Hochberg (BH) アルゴリズムの実際の性能と密接な関係を示す。
論文参考訳（メタデータ） (2020-05-07T19:59:51Z)
Log-Likelihood Ratio Minimizing Flows: Towards Robust and Quantifiable Neural Distribution Alignment [52.02794488304448]
そこで本研究では,対数様比統計量と正規化フローに基づく新しい分布アライメント手法を提案する。入力領域の局所構造を保存する領域アライメントにおいて,結果の最小化を実験的に検証する。
論文参考訳（メタデータ） (2020-03-26T22:10:04Z)
A General Theory of the Stochastic Linear Bandit and Its Applications [8.071506311915398]
本稿では,線形バンディット問題に対する一般解析フレームワークとアルゴリズム群を紹介する。予測における最適化という新たな概念は、OFULの過剰探索問題を減少させるSieeved greedy(SG)と呼ばれる新しいアルゴリズムを生み出します。 SGが理論的に最適であることを示すことに加えて、実験シミュレーションにより、SGはgreedy、OFUL、TSといった既存のベンチマークよりも優れていることが示された。
論文参考訳（メタデータ） (2020-02-12T18:54:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。