論文の概要: Statistical Indistinguishability of Learning Algorithms

• arxiv url: http://arxiv.org/abs/2305.14311v1
• Date: Tue, 23 May 2023 17:49:56 GMT
• ステータス: 処理完了
• システム内更新日: 2023-05-24 13:46:46.782777
• Title: Statistical Indistinguishability of Learning Algorithms
• Title（参考訳）: 学習アルゴリズムの統計的識別不能性
• Authors: Alkis Kalavasis, Amin Karbasi, Shay Moran, Grigoris Velegkas
• Abstract要約: 分布のトータル変分(TV)距離のレンズによる学習規則の結果の類似性について検討する。 学習ルールは、2つのトレーニングデータセット上で実行される出力の後方分布間のテレビ距離が小さい場合、テレビの区別不可能である。
• 参考スコア（独自算出の注目度）: 41.179193211594885
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: When two different parties use the same learning rule on their own data, how can we test whether the distributions of the two outcomes are similar? In this paper, we study the similarity of outcomes of learning rules through the lens of the Total Variation (TV) distance of distributions. We say that a learning rule is TV indistinguishable if the expected TV distance between the posterior distributions of its outputs, executed on two training data sets drawn independently from the same distribution, is small. We first investigate the learnability of hypothesis classes using TV indistinguishable learners. Our main results are information-theoretic equivalences between TV indistinguishability and existing algorithmic stability notions such as replicability and approximate differential privacy. Then, we provide statistical amplification and boosting algorithms for TV indistinguishable learners.
• Abstract（参考訳）: 2つの異なるパーティが同じ学習ルールを自身のデータで使用する場合、その2つの結果の分布が似ているかどうかをどうやってテストできるのか? 本稿では,分布の全変動(tv)距離のレンズを通して学習規則の結果の類似性について検討する。 学習ルールは,同じ分布から独立して描画された2つのトレーニングデータセット上で実行される出力の後方分布間のテレビ距離が小さい場合,テレビが識別不可能である。 まず,テレビの不明瞭な学習者を用いた仮説クラスの学習可能性について検討する。 我々の主な結果は,テレビの識別可能性と再現性や近似微分プライバシーといった既存のアルゴリズム安定性概念との間の情報理論的等価性である。 そして,テレビの見分けがつかない学習者に対して,統計的増幅と促進アルゴリズムを提供する。

関連論文リスト

• Convergence Behavior of an Adversarial Weak Supervision Method [10.409652277630133]
  Weak Supervisionは、機械学習のサブ領域を仮定するパラダイムである。 ラベル付きデータを用いて最新の機械学習手法を訓練することにより、大量のラベル付きデータを取得するコストを改善することができる。 ツムブのルールを組み合わせるための2つのアプローチは、2つのキャンプに分かれ、統計的推定の異なるイデオロギーを反映している。
  論文  参考訳（メタデータ） (2024-05-25T02:33:17Z)
• Probabilistic Contrastive Learning for Long-Tailed Visual Recognition [78.70453964041718]
  細長い分布は、少数の少数派が限られた数のサンプルを含む実世界のデータにしばしば現れる。 近年の研究では、教師付きコントラスト学習がデータ不均衡を緩和する有望な可能性を示していることが明らかになっている。 本稿では,特徴空間の各クラスからのサンプルデータ分布を推定する確率論的コントラスト学習アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2024-03-11T13:44:49Z)
• Collaborative Learning with Different Labeling Functions [7.228285747845779]
  我々は、$n$のデータ分布ごとに正確な分類器を学習することを目的とした、協調型PAC学習の亜種について研究する。 データ分布がより弱い実現可能性の仮定を満たす場合、サンプル効率の学習は依然として可能であることを示す。
  論文  参考訳（メタデータ） (2024-02-16T04:32:22Z)
• Learning the Relation between Similarity Loss and Clustering Loss in Self-Supervised Learning [27.91000553525992]
  自己教師付き学習は、ネットワークが大量のデータから識別的特徴を学習することを可能にする。 類似度損失と特徴レベルのクロスエントロピー損失の関係を解析する。 これらの2つの損失の適切な組み合わせが、最先端の結果が得られることを示すための理論的分析と実験を提供する。
  論文  参考訳（メタデータ） (2023-01-08T13:30:39Z)
• Learning versus Refutation in Noninteractive Local Differential Privacy [133.80204506727526]
  非対話的局所差分プライバシー(LDP)における2つの基本的な統計課題について検討する。 本研究の主な成果は,非対話型LDPプロトコルにおけるPAC学習の複雑さの完全な評価である。
  論文  参考訳（メタデータ） (2022-10-26T03:19:24Z)
• Agree to Disagree: Diversity through Disagreement for Better Transferability [54.308327969778155]
  本稿では,D-BAT(Diversity-By-dis-Agreement Training)を提案する。 我々は、D-BATが一般化された相違の概念から自然に現れることを示す。
  論文  参考訳（メタデータ） (2022-02-09T12:03:02Z)
• Can Active Learning Preemptively Mitigate Fairness Issues? [66.84854430781097]
  データセットバイアスは、機械学習における不公平な原因の1つです。 不確実性に基づくALで訓練されたモデルが保護クラスの決定において公平であるかどうかを検討する。 また,勾配反転(GRAD)やBALDなどのアルゴリズム的公正性手法の相互作用についても検討する。
  論文  参考訳（メタデータ） (2021-04-14T14:20:22Z)
• Pairwise Supervision Can Provably Elicit a Decision Boundary [84.58020117487898]
  類似性学習は、パターンのペア間の関係を予測することによって有用な表現を引き出す問題である。 類似性学習は、決定境界を直接引き出すことによって二項分類を解くことができることを示す。
  論文  参考訳（メタデータ） (2020-06-11T05:35:16Z)
• On Learnability under General Stochastic Processes [20.22409095000365]
  一般の非イド過程における統計的学習は、未熟である。 一般プロセスの下で関数クラスの学習可能性に関する2つの自然な概念を提供する。 我々の結果は二項分類と回帰の両方に当てはまる。
  論文  参考訳（メタデータ） (2020-05-15T15:49:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。