論文の概要: Learning, compression, and leakage: Minimising classification error via
meta-universal compression principles
- arxiv url: http://arxiv.org/abs/2010.07382v2
- Date: Sun, 31 Jan 2021 20:18:19 GMT
- ステータス: 処理完了
- システム内更新日: 2022-10-07 14:40:20.391304
- Title: Learning, compression, and leakage: Minimising classification error via
meta-universal compression principles
- Title(参考訳): 学習、圧縮、漏洩:メタユニバーサル圧縮原理による分類エラーの最小化
- Authors: Fernando E. Rosas, Pedro A.M. Mediano, Michael Gastpar
- Abstract要約: 学習シナリオのための圧縮技法の有望なグループは、正規化極大(NML)符号化である。
ここでは,教師付き分類問題に対するNMLに基づく意思決定戦略を検討し,多種多様なモデルに適用した場合にPAC学習を実現することを示す。
本手法の誤分類率は,プライバシに敏感なシナリオにおいて,データ漏洩の可能性を定量化するための指標である最大リークによって上限づけられていることを示す。
- 参考スコア(独自算出の注目度): 87.054014983402
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Learning and compression are driven by the common aim of identifying and
exploiting statistical regularities in data, which opens the door for fertile
collaboration between these areas. A promising group of compression techniques
for learning scenarios is normalised maximum likelihood (NML) coding, which
provides strong guarantees for compression of small datasets - in contrast with
more popular estimators whose guarantees hold only in the asymptotic limit.
Here we consider a NML-based decision strategy for supervised classification
problems, and show that it attains heuristic PAC learning when applied to a
wide variety of models. Furthermore, we show that the misclassification rate of
our method is upper bounded by the maximal leakage, a recently proposed metric
to quantify the potential of data leakage in privacy-sensitive scenarios.
- Abstract(参考訳): 学習と圧縮は、データの統計的規則性を識別し、活用するという共通の目的によって推進される。
学習シナリオのための圧縮テクニックの有望なグループは正規化された最大可能性(NML)コーディングであり、これは小さなデータセットの圧縮に対する強力な保証を提供する。
本稿では,分類問題に対するnmlに基づく決定戦略を考察し,多種多様なモデルに適用することでヒューリスティック・パック学習を実現することを示す。
さらに,本手法の誤分類率は,プライバシに敏感なシナリオにおけるデータ漏洩の可能性を定量化するための指標である最大リークによる上限値であることが示唆された。
関連論文リスト
- Exploiting Low-confidence Pseudo-labels for Source-free Object Detection [54.98300313452037]
Source-free Object Detection (SFOD) は、ラベル付きソースデータにアクセスすることなく、未ラベルのターゲットドメインにソーストレーニングされた検出器を適応することを目的としている。
現在のSFOD法は適応相におけるしきい値に基づく擬似ラベル手法を用いる。
疑似ラベルを最大限に活用するために,高信頼度と低信頼度しきい値を導入する手法を提案する。
論文 参考訳(メタデータ) (2023-10-19T12:59:55Z) - Bi-Level Offline Policy Optimization with Limited Exploration [1.8130068086063336]
我々は、固定された事前コンパイルされたデータセットに基づいて良いポリシーを学習しようとするオフライン強化学習(RL)について研究する。
ポリシー(上層)と値関数(下層)の階層的相互作用をモデル化する2レベル構造化ポリシー最適化アルゴリズムを提案する。
我々は、オフラインRLのための合成、ベンチマーク、実世界のデータセットを混合して評価し、最先端の手法と競合することを示す。
論文 参考訳(メタデータ) (2023-10-10T02:45:50Z) - Compression, Generalization and Learning [3.045851438458641]
圧縮関数は、観測セットを縮小されたサイズのサブセットにスリム化する写像である。
複数の応用において、1つの新しい観測によって圧縮された集合が変化するという条件は、この観測が余分な情報をもたらすと解釈される。
本稿では,圧縮の変化の確率を制御できる新しい理論の基礎を定めている。
論文 参考訳(メタデータ) (2023-01-30T10:27:45Z) - Mixed Precision Quantization to Tackle Gradient Leakage Attacks in
Federated Learning [1.7205106391379026]
フェデレートラーニング(FL)は、明示的なデータ共有を必要とせずに、多数の参加者の間で協調的なモデル構築を可能にする。
このアプローチは、プライバシ推論攻撃を適用した際の脆弱性を示す。
特に、モデル勾配からセンシティブなデータを取得する上で高い成功率を持つ勾配リーク攻撃の場合、FLモデルは、その固有のアーキテクチャにおける通信の存在により、高いリスクを負う。
論文 参考訳(メタデータ) (2022-10-22T04:24:32Z) - Is Vertical Logistic Regression Privacy-Preserving? A Comprehensive
Privacy Analysis and Beyond [57.10914865054868]
垂直ロジスティック回帰(VLR)をミニバッチ降下勾配で訓練した。
我々は、オープンソースのフェデレーション学習フレームワークのクラスにおいて、VLRの包括的で厳密なプライバシー分析を提供する。
論文 参考訳(メタデータ) (2022-07-19T05:47:30Z) - Risk Minimization from Adaptively Collected Data: Guarantees for
Supervised and Policy Learning [57.88785630755165]
経験的リスク最小化(Empirical Risk Minimization, ERM)は、機械学習のワークホースであるが、適応的に収集されたデータを使用すると、そのモデルに依存しない保証が失敗する可能性がある。
本研究では,仮説クラス上での損失関数の平均値を最小限に抑えるため,適応的に収集したデータを用いた一般的な重み付きERMアルゴリズムについて検討する。
政策学習では、探索がゼロになるたびに既存の文献のオープンギャップを埋める率-最適後悔保証を提供する。
論文 参考訳(メタデータ) (2021-06-03T09:50:13Z) - Hyperspherical embedding for novel class classification [1.5952956981784217]
本稿では,正規化ソフトマックス損失下での潜在空間の表現に制約に基づくアプローチを提案する。
本研究では,メトリクス学習と正規化ソフトマックス損失の両方を用いて,異なるデータセット上の未知のクラスを分類するための提案手法を実験的に検証した。
この結果から,提案した戦略は,ペアワイズ学習を必要とせず,メトリック学習戦略よりも優れた分類結果を提供するため,より大規模なクラスで効率的に学習可能であることが示唆された。
論文 参考訳(メタデータ) (2021-02-05T15:42:13Z) - Amortized Conditional Normalized Maximum Likelihood: Reliable Out of
Distribution Uncertainty Estimation [99.92568326314667]
本研究では,不確実性推定のための拡張性のある汎用的アプローチとして,償却条件正規化最大値(ACNML)法を提案する。
提案アルゴリズムは条件付き正規化最大度(CNML)符号化方式に基づいており、最小記述長の原理に従って最小値の最適特性を持つ。
我々は、ACNMLが、分布外入力のキャリブレーションの観点から、不確実性推定のための多くの手法と好意的に比較することを示した。
論文 参考訳(メタデータ) (2020-11-05T08:04:34Z) - Selective Classification via One-Sided Prediction [54.05407231648068]
片側予測(OSP)に基づく緩和は、実際に関係する高目標精度体制において、ほぼ最適カバレッジが得られるSCスキームをもたらす。
理論的には,SCとOSPのバウンダリ一般化を導出し,その手法が小さな誤差レベルでのカバレッジにおいて,技術手法の状態を強く上回ることを示す。
論文 参考訳(メタデータ) (2020-10-15T16:14:27Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。