論文の概要: Corruptions of Supervised Learning Problems: Typology and Mitigations
- arxiv url: http://arxiv.org/abs/2307.08643v2
- Date: Thu, 2 May 2024 22:40:09 GMT
- ステータス: 処理完了
- システム内更新日: 2024-05-06 18:16:30.129247
- Title: Corruptions of Supervised Learning Problems: Typology and Mitigations
- Title（参考訳）: 教師付き学習問題の崩壊--タイポロジーと緩和
- Authors: Laura Iacovissi, Nan Lu, Robert C. Williamson,
- Abstract要約: 我々は情報理論の観点から汚職の一般的な理論を発展させる。
ここでは確率分布の変化に注目します。
この研究は、ラベルと属性の両方に対する共同や依存的な汚職から生じる複雑さに光を当てている。
- 参考スコア（独自算出の注目度）: 11.294508617469905
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: Corruption is notoriously widespread in data collection. Despite extensive research, the existing literature on corruption predominantly focuses on specific settings and learning scenarios, lacking a unified view. There is still a limited understanding of how to effectively model and mitigate corruption in machine learning problems. In this work, we develop a general theory of corruption from an information-theoretic perspective - with Markov kernels as a foundational mathematical tool. We generalize the definition of corruption beyond the concept of distributional shift: corruption includes all modifications of a learning problem, including changes in model class and loss function. We will focus here on changes in probability distributions. First, we construct a provably exhaustive framework for pairwise Markovian corruptions. The framework not only allows us to study corruption types based on their input space, but also serves to unify prior works on specific corruption models and establish a consistent nomenclature. Second, we systematically analyze the consequences of corruption on learning tasks by comparing Bayes risks in the clean and corrupted scenarios. This examination sheds light on complexities arising from joint and dependent corruptions on both labels and attributes. Notably, while label corruptions affect only the loss function, more intricate cases involving attribute corruptions extend the influence beyond the loss to affect the hypothesis class. Third, building upon these results, we investigate mitigations for various corruption types. We expand the existing loss-correction results for label corruption, and identify the necessity to generalize the classical corruption-corrected learning framework to a new paradigm with weaker requirements. Within the latter setting, we provide a negative result for loss correction in the attribute and the joint corruption case.
- Abstract（参考訳）: 崩壊はデータ収集で広く知られている。
大規模な研究にもかかわらず、汚職に関する既存の文献は主に特定の設定と学習シナリオに焦点を当てており、統一された視点は欠如している。
マシンラーニングの問題を効果的にモデル化し、緩和する方法については、まだ限定的な理解が残っている。
本研究では,マルコフ核を基礎となる数学的ツールとして,情報理論の観点からの汚職の一般的な理論を開発する。
汚職は、モデルクラスや損失関数の変更を含む学習問題のすべての修正を含む。
ここでは確率分布の変化に注目します。
まず、ペアワイズマルコフ汚職に対する証明可能な網羅的な枠組みを構築する。
このフレームワークは、入力空間に基づいて汚職タイプを研究するだけでなく、特定の汚職モデルに関する事前の作業を統一し、一貫した命名法を確立するのにも役立ちます。
第2に, クリーンかつ破損したシナリオにおけるベイズリスクを比較することにより, 学習課題における汚職の影響を系統的に分析する。
この検査は、ラベルと属性の両方に対する共同および依存的な汚職から生じる複雑さに光を当てる。
特に、ラベルの破損は損失関数にのみ影響するが、属性の破損を含むより複雑なケースは、仮説クラスに影響を与える損失を超えて影響を拡大する。
第3に、これらの結果に基づいて、各種汚職の軽減について検討する。
ラベルの破損に対する既存の損失補正結果を拡張し、従来の汚職訂正学習フレームワークをより弱い要件で新しいパラダイムに一般化する必要性を特定する。
後者の設定では,属性と共同汚損事例の損失補正に対して負の結果が得られた。
関連論文リスト
- Corruption-Robust Linear Bandits: Minimax Optimality and Gap-Dependent Misspecification [17.288347876319126]
線形バンディットでは、学習者が腐敗した報酬に直面するとき、効果的に学習できるのか?
汚職レベルは学習者が選択した行動に依存するが、汚職レベルは学習者が選択した行動に依存しない。
線形包帯については, 強い汚職と弱い汚職下でのミニマックス後悔のギャップを, 完全に特徴づける。
論文 参考訳（メタデータ） (2024-10-10T02:01:46Z) - Hierarchical Contrastive Learning for Pattern-Generalizable Image
Corruption Detection [40.04083743934034]
劣化領域を検出するための階層的コントラスト学習フレームワークを開発する。
特殊な階層的相互作用機構は、異なるスケールでのコントラスト学習の知識を促進するように設計されている。
我々のモデルは様々な汚職パターンにまたがってよく一般化できる。
論文 参考訳（メタデータ） (2023-08-27T10:03:48Z) - Frequency-Based Vulnerability Analysis of Deep Learning Models against
Image Corruptions [48.34142457385199]
MUFIAは、モデルが失敗する可能性のある特定の種類の汚職を特定するために設計されたアルゴリズムである。
最先端のモデルでさえ、既知の一般的な汚職に対して堅牢であるように訓練されたモデルでさえ、MUFIAによって作られた低視認性ベースの汚職と戦っている。
論文 参考訳（メタデータ） (2023-06-12T15:19:13Z) - Point-DAE: Denoising Autoencoders for Self-supervised Point Cloud Learning [54.51061298877896]
我々は、より一般的なポイントクラウド学習用オートエンコーダ(Point-DAE)について、マスキング以外の多くの種類の汚職を調査して検討する。
具体的には、特定の破損を入力としてポイントクラウドを分解し、エンコーダ・デコーダモデルを学び、元のポイントクラウドを破損したバージョンから再構築する。
論文 参考訳（メタデータ） (2022-11-13T08:02:03Z) - Soft Diffusion: Score Matching for General Corruptions [84.26037497404195]
我々は,任意の線形汚職過程のスコア関数を確実に学習するSoft Score Matchingと呼ばれる新しい目的を提案する。
本研究の目的は, 汚職過程の家族に対して, 適正な規則性条件下での確率の勾配を学習することである。
提案手法はCelebA-64上でのFIDスコアを1.85ドルで達成し,従来の線形拡散モデルよりも優れていた。
論文 参考訳（メタデータ） (2022-09-12T17:45:03Z) - Nearly Optimal Algorithms for Linear Contextual Bandits with Adversarial
Corruptions [98.75618795470524]
本稿では,敵対的腐敗の存在下での線形文脈的包帯問題について検討する。
我々は不確実性に直面した楽観主義の原理に基づく新しいアルゴリズムを提案する。
論文 参考訳（メタデータ） (2022-05-13T17:58:58Z) - Using the Overlapping Score to Improve Corruption Benchmarks [6.445605125467574]
本稿では、汚職ベンチマークの欠陥を明らかにするために、汚職重複スコアと呼ばれる指標を提案する。
汚職間の重複を考慮に入れれば、既存のベンチマークを改善したり、より良いベンチマークを構築するのに役立ちます。
論文 参考訳（メタデータ） (2021-05-26T06:42:54Z) - On Interaction Between Augmentations and Corruptions in Natural
Corruption Robustness [78.6626755563546]
ImageNet-Cのパフォーマンスを大幅に改善するいくつかの新しいデータ拡張が提案されている。
我々は,類似度と性能の間に強い相関があることを示すために,最小サンプル距離(minimal sample distance)と呼ばれる拡張と腐敗の間の新たな尺度を開発した。
テストタイムの破損がImageNet-Cと知覚的に異なる場合, 破損の顕著な劣化を観察する。
以上の結果から,テストエラーは知覚的に類似した拡張をトレーニングすることで改善できる可能性が示唆された。
論文 参考訳（メタデータ） (2021-02-22T18:58:39Z) - Corruption-robust exploration in episodic reinforcement learning [76.19192549843727]
本研究は, システムにおける報酬と遷移確率の両面において, 敵対的腐敗下での多段階・多段階・多段階強化学習について検討した。
我々の枠組みは、汚職の欠如をほぼ最適に後悔する効率的なアルゴリズムをもたらす。
特に,本研究は,根本的強化学習のためのBandit-Feedbackモデルにおいて,純粋にI.d.遷移からの逸脱を保証した最初のサブ線形後悔の保証を提供する。
論文 参考訳（メタデータ） (2019-11-20T03:49:13Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。