論文の概要: Model Patching: Closing the Subgroup Performance Gap with Data Augmentation

• arxiv url: http://arxiv.org/abs/2008.06775v1
• Date: Sat, 15 Aug 2020 20:01:23 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-28 20:37:07.559106
• Title: Model Patching: Closing the Subgroup Performance Gap with Data Augmentation
• Title（参考訳）: モデルパッチ: データ拡張によるサブグループパフォーマンスギャップの閉鎖
• Authors: Karan Goel, Albert Gu, Yixuan Li and Christopher R\'e
• Abstract要約: 機械学習モデルの堅牢性を改善するためのフレームワークであるモデルパッチを導入する。 モデルパッチは、サブグループの違いに対してモデルを不変にすることを奨励し、サブグループによって共有されるクラス情報にフォーカスする。 CAMELは,(1)CycleGANを用いてクラス内およびサブグループ間拡張を学習し,(2)理論上動機付けられた整合性正規化器を用いてサブグループ性能のバランスをとる。 CAMELの有効性を3つのベンチマークデータセットで示し、最高のベースラインに対して、ロバストなエラーを最大33%削減した。
• 参考スコア（独自算出の注目度）: 50.35010342284508
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Classifiers in machine learning are often brittle when deployed. Particularly concerning are models with inconsistent performance on specific subgroups of a class, e.g., exhibiting disparities in skin cancer classification in the presence or absence of a spurious bandage. To mitigate these performance differences, we introduce model patching, a two-stage framework for improving robustness that encourages the model to be invariant to subgroup differences, and focus on class information shared by subgroups. Model patching first models subgroup features within a class and learns semantic transformations between them, and then trains a classifier with data augmentations that deliberately manipulate subgroup features. We instantiate model patching with CAMEL, which (1) uses a CycleGAN to learn the intra-class, inter-subgroup augmentations, and (2) balances subgroup performance using a theoretically-motivated subgroup consistency regularizer, accompanied by a new robust objective. We demonstrate CAMEL's effectiveness on 3 benchmark datasets, with reductions in robust error of up to 33% relative to the best baseline. Lastly, CAMEL successfully patches a model that fails due to spurious features on a real-world skin cancer dataset.
• Abstract（参考訳）: 機械学習における分類器は、デプロイ時に脆弱であることが多い。 特に、クラスの特定のサブグループにおける不整合性能を持つモデル、例えば、突発性包帯の存在または欠如における皮膚がん分類の相違を示す。 これらの性能の違いを緩和するため,我々は,モデルがサブグループ差に不変であるように促す頑健性を改善するための2段階フレームワークであるmodel patchingを導入し,サブグループ間で共有されるクラス情報に焦点を当てる。 モデルパッチは、まずクラス内のサブグループ機能を示し、それらの間のセマンティックトランスフォーメーションを学び、次に、サブグループ機能を意図的に操作するデータ拡張を伴う分類器を訓練する。 CAMELは,(1)CycleGANを用いてクラス内およびサブグループ間拡張を学習し,(2)理論上動機付けられたサブグループ整合性正規化器を用いてサブグループ性能のバランスをとる。 3つのベンチマークデータセットにおけるcamelの有効性を実証し、最良ベースラインと比較してロバストエラーが最大33%低減することを示した。 最後に、CAMELは現実世界の皮膚がんデータセットの急激な特徴のために失敗するモデルにパッチを当てることに成功した。

関連論文リスト

• HM3: Heterogeneous Multi-Class Model Merging [0.0]
  本研究では,補助ガードレールモデルを単一多機能モデルに統合するためのトレーニングフリーモデルマージ手法について検討する。 異種ラベル空間とマルチクラス分類器をマージする簡単な手法として、異種多クラスモデルマージ(HM3)を提案する。 BERTをベースとしたガードモデルをマージする有望な結果が報告され、その一部はソースモデルよりも平均F1スコア高くなり、推論時間を最大44%削減する。
  論文  参考訳（メタデータ） (2024-09-27T22:42:45Z)
• The Group Robustness is in the Details: Revisiting Finetuning under Spurious Correlations [8.844894807922902]
  現代の機械学習モデルは、素早い相関に過度に依存する傾向がある。 本稿では,最短群精度における微調整モデルの意外かつニュアンスな挙動を同定する。 以上の結果より,群強靭性を有する現代ファインチュードモデルの微妙な相互作用が以前よりも顕著に示された。
  論文  参考訳（メタデータ） (2024-07-19T00:34:03Z)
• A Contrastive Learning Approach to Mitigate Bias in Speech Models [13.192011475857234]
  対照的な損失に対して異なるスコープに焦点を合わせることでモデルをガイドする3段階の学習手法を採用している。 2つの音声言語理解データセットと2つの言語を用いた実験は、我々の手法が内部サブグループ表現を改善することを示す。
  論文  参考訳（メタデータ） (2024-06-20T19:20:00Z)
• Unified Multi-View Orthonormal Non-Negative Graph Based Clustering Framework [74.25493157757943]
  我々は,非負の特徴特性を活用し,多視点情報を統合された共同学習フレームワークに組み込む,新しいクラスタリングモデルを定式化する。 また、深層機能に基づいたクラスタリングデータに対するマルチモデル非負グラフベースのアプローチを初めて検討する。
  論文  参考訳（メタデータ） (2022-11-03T08:18:27Z)
• Outlier-Robust Group Inference via Gradient Space Clustering [50.87474101594732]
  既存のメソッドは、最悪のグループのパフォーマンスを改善することができるが、それらは、しばしば高価で入手できないグループアノテーションを必要とする。 モデルパラメータの勾配の空間にデータをクラスタリングすることで,アウトレーヤの存在下でグループアノテーションを学習する問題に対処する。 そこで我々は,DBSCANのような標準クラスタリング手法に適合するように,マイノリティグループや外れ値に関する情報を保存しながら,勾配空間内のデータがより単純な構造を持つことを示す。
  論文  参考訳（メタデータ） (2022-10-13T06:04:43Z)
• Stacking Ensemble Learning in Deep Domain Adaptation for Ophthalmic Image Classification [61.656149405657246]
  ドメイン適応は、十分なラベルデータを取得することが困難な画像分類タスクに有効である。 本稿では,3つのドメイン適応手法を拡張することで,アンサンブル学習を積み重ねるための新しい手法SELDAを提案する。 Age-Related Eye Disease Study (AREDS)ベンチマーク眼科データセットを用いた実験結果から,提案モデルの有効性が示された。
  論文  参考訳（メタデータ） (2022-09-27T14:19:00Z)
• RealPatch: A Statistical Matching Framework for Model Patching with Real Samples [6.245453620070586]
  RealPatchは、統計マッチングに基づいた、よりシンプルで、より高速で、よりデータ効率の高いデータ拡張のためのフレームワークである。 この結果から,RealPatchは,モデルリークを低減し,高ユーティリティを維持するとともに,データセットリークを効果的に除去できることが示唆された。
  論文  参考訳（メタデータ） (2022-08-03T16:22:30Z)
• Mimicking the Oracle: An Initial Phase Decorrelation Approach for Class Incremental Learning [141.35105358670316]
  本研究では,Na"訓練初期相モデルとオラクルモデルとの相違について検討する。 より均一に散らばるように,各クラスの表現を効果的に正規化するクラスワイド・デコレーション(CwD)を提案する。 私たちのCwDは実装が簡単で、既存のメソッドに簡単にプラグインできます。
  論文  参考訳（メタデータ） (2021-12-09T07:20:32Z)
• Just Train Twice: Improving Group Robustness without Training Group Information [101.84574184298006]
  経験的リスク最小化による標準トレーニングは、特定のグループにおける平均的かつ低い精度で高い精度を達成するモデルを生成することができる。 群分布的ロバストな最適化 (group DRO) のような、最悪のグループ精度を達成する以前のアプローチでは、トレーニングポイントごとに高価なグループアノテーションが必要である。 本稿では,複数のエポックに対して標準的なERMモデルを訓練し,第1モデルが誤分類したトレーニング例を重み付けする第2モデルを訓練する,単純な2段階のアプローチであるJTTを提案する。
  論文  参考訳（メタデータ） (2021-07-19T17:52:32Z)
• Top-Related Meta-Learning Method for Few-Shot Object Detection [8.144721518458844]
  分類タスクのためのTop-C分類損失(TL-C)とメタモデルにより得られたカテゴリベースメタ機能のためのカテゴリベースグループ化機構を提案する。 我々の技術は、数発の撮影で過去の最先端の手法よりも大幅に優れています。
  論文  参考訳（メタデータ） (2020-07-14T05:52:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。