論文の概要: Generalization Error Bounds for Learning under Censored Feedback

• arxiv url: http://arxiv.org/abs/2404.09247v2
• Date: Mon, 29 Jul 2024 13:32:39 GMT
• ステータス: 処理完了
• システム内更新日: 2024-07-30 23:27:56.048501
• Title: Generalization Error Bounds for Learning under Censored Feedback
• Title（参考訳）: 補償フィードバックによる学習における一般化誤差境界
• Authors: Yifan Yang, Ali Payani, Parinaz Naghizadeh,
• Abstract要約: 学習理論からの一般化誤差は、以前に見つからなかったデータに対してアルゴリズムがどれだけうまく機能するかを統計的に保証する。 このような境界に対する検閲されたフィードバックによるデータ非IIDnessの影響を特徴付ける。 既存の一般化誤差境界がモデルの一般化保証を正しく捕捉できないことを示す。
• 参考スコア（独自算出の注目度）: 15.367801388932145
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Generalization error bounds from learning theory provide statistical guarantees on how well an algorithm will perform on previously unseen data. In this paper, we characterize the impacts of data non-IIDness due to censored feedback (a.k.a. selective labeling bias) on such bounds. We first derive an extension of the well-known Dvoretzky-Kiefer-Wolfowitz (DKW) inequality, which characterizes the gap between empirical and theoretical CDFs given IID data, to problems with non-IID data due to censored feedback. We then use this CDF error bound to provide a bound on the generalization error guarantees of a classifier trained on such non-IID data. We show that existing generalization error bounds (which do not account for censored feedback) fail to correctly capture the model's generalization guarantees, verifying the need for our bounds. We further analyze the effectiveness of (pure and bounded) exploration techniques, proposed by recent literature as a way to alleviate censored feedback, on improving our error bounds. Together, our findings illustrate how a decision maker should account for the trade-off between strengthening the generalization guarantees of an algorithm and the costs incurred in data collection when future data availability is limited by censored feedback.
• Abstract（参考訳）: 学習理論からの一般化誤差は、以前に見つからなかったデータに対してアルゴリズムがどれだけうまく機能するかを統計的に保証する。 本稿では、検閲されたフィードバック(選択的なラベル付けバイアス)によるデータ非IIDnessの影響を特徴付ける。 まず、IIDデータから得られる経験的CDFと理論的CDFのギャップを特徴付けるDKW不等式を、検閲されたフィードバックによる非IIDデータの問題に拡張する。 次に、このCDFエラー境界を用いて、そのような非IIDデータに基づいて訓練された分類器の一般化誤差保証のバウンダリを提供する。 既存の一般化誤差境界(検閲されたフィードバックを考慮しない)はモデルの一般化保証を正しく捉えず、その境界の必要性を検証できないことを示す。 我々は,近年の文献で提案されている,検閲されたフィードバックを緩和する手法である(純粋で有界な)探索手法の有効性を,エラー境界を改善するためにさらに分析する。 この結果から,アルゴリズムの一般化保証の強化と,検閲されたフィードバックによって将来的なデータ可用性が制限される場合のデータ収集に伴うコストとのトレードオフを,意思決定者が考慮すべきであることを示す。

関連論文リスト

• Pseudo-Probability Unlearning: Towards Efficient and Privacy-Preserving Machine Unlearning [59.29849532966454]
  本稿では,PseudoProbability Unlearning (PPU)を提案する。 提案手法は,最先端の手法に比べて20%以上の誤りを忘れる改善を実現している。
  論文  参考訳（メタデータ） (2024-11-04T21:27:06Z)
• VALID: a Validated Algorithm for Learning in Decentralized Networks with Possible Adversarial Presence [13.612214163974459]
  不均一なデータを持つ非方向性ネットワークに対して、検証された分散学習のパラダイムを導入する。 VALIDプロトコルは、検証された学習保証を達成した最初のプロトコルである。 興味深いことに、VALIDは敵のない環境での最適なパフォーマンス指標を維持している。
  論文  参考訳（メタデータ） (2024-05-12T15:55:43Z)
• Fairness Without Harm: An Influence-Guided Active Sampling Approach [32.173195437797766]
  我々は、モデルの精度に害を与えることなく、グループフェアネスの格差を軽減するモデルを訓練することを目指している。 公正なアクティブな学習アプローチのような現在のデータ取得方法は、通常、アノテートセンシティブな属性を必要とする。 トレーニンググループアノテーションに依存しない抽出可能なアクティブデータサンプリングアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2024-02-20T07:57:38Z)
• Binary Classification with Confidence Difference [100.08818204756093]
  本稿では,信頼性差分法 (ConfDiff) という,弱教師付き二項分類問題について考察する。 本稿では,この問題に対処するためのリスク一貫性のあるアプローチを提案し,推定誤差が最適収束率と一致することを示す。 また,整合性や収束率も証明されたオーバーフィッティング問題を緩和するためのリスク補正手法も導入する。
  論文  参考訳（メタデータ） (2023-10-09T11:44:50Z)
• A Generalized Unbiased Risk Estimator for Learning with Augmented Classes [70.20752731393938]
  ラベルなしのデータが与えられた場合、非バイアスリスク推定器(URE)が導出され、理論的保証のあるLACでは最小限にすることができる。 理論的な保証を維持しつつ任意の損失関数を装備できる一般化されたUREを提案する。
  論文  参考訳（メタデータ） (2023-06-12T06:52:04Z)
• Mitigating Algorithmic Bias with Limited Annotations [65.060639928772]
  機密属性が公開されていない場合、バイアスを軽減するために、トレーニングデータの小さな部分を手動でアノテートする必要がある。 本稿では,アルゴリズムバイアスの影響を最大限に排除するために,限定アノテーションを誘導する対話型フレームワークであるアクティブペナライゼーション・オブ・差別(APOD)を提案する。 APODは完全なアノテートバイアス緩和と同等のパフォーマンスを示しており、機密情報が制限された場合、APODが現実世界のアプリケーションに利益をもたらすことを実証している。
  論文  参考訳（メタデータ） (2022-07-20T16:31:19Z)
• Risk Minimization from Adaptively Collected Data: Guarantees for Supervised and Policy Learning [57.88785630755165]
  経験的リスク最小化(Empirical Risk Minimization, ERM)は、機械学習のワークホースであるが、適応的に収集されたデータを使用すると、そのモデルに依存しない保証が失敗する可能性がある。 本研究では,仮説クラス上での損失関数の平均値を最小限に抑えるため,適応的に収集したデータを用いた一般的な重み付きERMアルゴリズムについて検討する。 政策学習では、探索がゼロになるたびに既存の文献のオープンギャップを埋める率-最適後悔保証を提供する。
  論文  参考訳（メタデータ） (2021-06-03T09:50:13Z)
• RATT: Leveraging Unlabeled Data to Guarantee Generalization [96.08979093738024]
  ラベルのないデータを利用して一般化境界を生成する手法を紹介します。 境界が0-1経験的リスク最小化に有効であることを証明します。 この作業は、見えないラベル付きデータが利用できない場合でも、ディープネットの一般化を証明するためのオプションを実践者に提供します。
  論文  参考訳（メタデータ） (2021-05-01T17:05:29Z)
• Stratified cross-validation for unbiased and privacy-preserving federated learning [0.0]
  本稿では、重複レコードの繰り返し問題に焦点をあて、もし適切に扱わなければ、モデルの性能を過度に最適化的に見積もる可能性がある。 本稿では,階層化手法を活用して,フェデレート学習環境におけるデータ漏洩を防止する検証手法である階層化クロスバリデーションを紹介し,議論する。
  論文  参考訳（メタデータ） (2020-01-22T15:49:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。