論文の概要: Predict then Interpolate: A Simple Algorithm to Learn Stable Classifiers
- arxiv url: http://arxiv.org/abs/2105.12628v1
- Date: Wed, 26 May 2021 15:37:48 GMT
- ステータス: 処理完了
- システム内更新日: 2021-05-27 13:45:04.285021
- Title: Predict then Interpolate: A Simple Algorithm to Learn Stable Classifiers
- Title(参考訳): predict then interpolate: 安定な分類器を学習する単純なアルゴリズム
- Authors: Yujia Bao, Shiyu Chang, Regina Barzilay
- Abstract要約: Predict then Interpolate (PI) は環境全体にわたって安定な相関関係を学習するためのアルゴリズムである。
正しい予測と間違った予測の分布を補間することにより、不安定な相関が消えるオラクル分布を明らかにすることができる。
- 参考スコア(独自算出の注目度): 59.06169363181417
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: We propose Predict then Interpolate (PI), a simple algorithm for learning
correlations that are stable across environments. The algorithm follows from
the intuition that when using a classifier trained on one environment to make
predictions on examples from another environment, its mistakes are informative
as to which correlations are unstable. In this work, we prove that by
interpolating the distributions of the correct predictions and the wrong
predictions, we can uncover an oracle distribution where the unstable
correlation vanishes. Since the oracle interpolation coefficients are not
accessible, we use group distributionally robust optimization to minimize the
worst-case risk across all such interpolations. We evaluate our method on both
text classification and image classification. Empirical results demonstrate
that our algorithm is able to learn robust classifiers (outperforms IRM by
23.85% on synthetic environments and 12.41% on natural environments). Our code
and data are available at https://github.com/YujiaBao/Predict-then-Interpolate.
- Abstract(参考訳): 環境にまたがって安定な相関関係を学習するための単純なアルゴリズムであるpredictor then interpolate (pi)を提案する。
このアルゴリズムは、ある環境で訓練された分類器を使って別の環境の例を予測した場合、どの相関が不安定であるかという誤りが情報となるという直感から導かれる。
本研究では、正しい予測と間違った予測の分布を補間することにより、不安定な相関が消えるオラクル分布を明らかにすることができることを示す。
オラクル補間係数はアクセスできないので、そのような補間全体にわたって最悪のケースリスクを最小限に抑えるために、群的ロバストな最適化を用いる。
本手法はテキスト分類と画像分類の両方で評価する。
実験の結果,本アルゴリズムはロバストな分類器(合成環境では23.85%,自然環境では12.41%)を学習できることがわかった。
私たちのコードとデータはhttps://github.com/yujiabao/predict-then-interpolateで入手できます。
関連論文リスト
- Collaborative Learning with Different Labeling Functions [8.53926206853583]
我々は、$n$のデータ分布ごとに正確な分類器を学習することを目的とした、協調型PAC学習の亜種について研究する。
データ分布がより弱い実現可能性の仮定を満たす場合、サンプル効率の学習は依然として可能であることを示す。
論文 参考訳(メタデータ) (2024-02-16T04:32:22Z) - Noisy Correspondence Learning with Self-Reinforcing Errors Mitigation [63.180725016463974]
クロスモーダル検索は、実際は精力的な、十分に整合した大規模データセットに依存している。
我々は、新しい雑音対応学習フレームワーク、textbfSelf-textbfReinforcing textbfErrors textbfMitigation(SREM)を導入する。
論文 参考訳(メタデータ) (2023-12-27T09:03:43Z) - Distributionally Robust Skeleton Learning of Discrete Bayesian Networks [9.46389554092506]
我々は、潜在的に破損したデータから一般的な離散ベイズネットワークの正確なスケルトンを学習する問題を考察する。
本稿では,有界ワッサーシュタイン距離(KL)における分布群に対する最も有害なリスクを,経験的分布へのKL分散を最適化することを提案する。
本稿では,提案手法が標準正規化回帰手法と密接に関連していることを示す。
論文 参考訳(メタデータ) (2023-11-10T15:33:19Z) - Correcting Underrepresentation and Intersectional Bias for Fair
Classification [55.2480439325792]
偏見バイアスによって劣化したデータから学習する問題について考察し, 正の例を, 一定の数のセンシティブなグループに対して, 異なる未知のレートでフィルタする。
交叉群のメンバーシップが各交叉率を計算不能にするような設定であっても,少数の偏りのないデータを用いてグループワイド・ドロップアウトパラメータを効率的に推定できることが示される。
我々は,この学習と再重み付け過程をカプセル化するアルゴリズムを提案し,高い確率で真の分布に対する仮説のリスクが任意に近いことをPACスタイルの強い保証を提供する。
論文 参考訳(メタデータ) (2023-06-19T18:25:44Z) - Intra-class Adaptive Augmentation with Neighbor Correction for Deep
Metric Learning [99.14132861655223]
深層学習のためのクラス内適応拡張(IAA)フレームワークを提案する。
クラスごとのクラス内変動を合理的に推定し, 適応型合成試料を生成し, 硬質試料の採掘を支援する。
本手法は,検索性能の最先端手法を3%~6%向上させる。
論文 参考訳(メタデータ) (2022-11-29T14:52:38Z) - Benefit of Interpolation in Nearest Neighbor Algorithms [21.79888306754263]
いくつかの研究では、過度にパラメータ化されたディープニューラルネットワークは、トレーニングエラーがほぼゼロであっても、小さなテストエラーを達成することが観察されている。
私たちは、データメカニズムを通じて(過度なパラメータ化なしに)トレーニングエラーをゼロにする別の方法に変わります。
論文 参考訳(メタデータ) (2022-02-23T22:47:18Z) - The Interplay between Distribution Parameters and the
Accuracy-Robustness Tradeoff in Classification [0.0]
アドリラルトレーニングは、通常のモデルに比べて自然(未成熟)の例では正確でないモデルをもたらす傾向にある。
これは、アルゴリズムの欠点か、トレーニングデータ分散の基本的な性質によるものとみなすことができる。
本研究では,二進ガウス混合分類問題の下で後者のケースに焦点をあてる。
論文 参考訳(メタデータ) (2021-07-01T06:57:50Z) - Examining and Combating Spurious Features under Distribution Shift [94.31956965507085]
我々は、最小限の統計量という情報理論の概念を用いて、ロバストで刺激的な表現を定義し、分析する。
入力分布のバイアスしか持たない場合でも、モデルはトレーニングデータから急激な特徴を拾い上げることができることを証明しています。
分析から着想を得た結果,グループDROは,グループ同士の相関関係を直接考慮しない場合に失敗する可能性が示唆された。
論文 参考訳(メタデータ) (2021-06-14T05:39:09Z) - Good Classifiers are Abundant in the Interpolating Regime [64.72044662855612]
補間分類器間のテストエラーの完全な分布を正確に計算する手法を開発した。
テストエラーは、最悪の補間モデルのテストエラーから大きく逸脱する、小さな典型的な$varepsilon*$に集中する傾向にある。
以上の結果から,統計的学習理論における通常の解析手法は,実際に観測された優れた一般化性能を捉えるのに十分な粒度にはならない可能性が示唆された。
論文 参考訳(メタデータ) (2020-06-22T21:12:31Z) - Domain Adaptive Bootstrap Aggregating [5.444459446244819]
ブートストラップ集約(英: bootstrap aggregating)は、予測アルゴリズムの安定性を改善する一般的な方法である。
本稿では, ドメイン適応型バッグング手法と, 隣り合う新しい反復型サンプリング手法を提案する。
論文 参考訳(メタデータ) (2020-01-12T20:02:58Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。