論文の概要: Predict then Interpolate: A Simple Algorithm to Learn Stable Classifiers

• arxiv url: http://arxiv.org/abs/2105.12628v1
• Date: Wed, 26 May 2021 15:37:48 GMT
• ステータス: 処理完了
• システム内更新日: 2021-05-27 13:45:04.285021
• Title: Predict then Interpolate: A Simple Algorithm to Learn Stable Classifiers
• Title（参考訳）: predict then interpolate: 安定な分類器を学習する単純なアルゴリズム
• Authors: Yujia Bao, Shiyu Chang, Regina Barzilay
• Abstract要約: Predict then Interpolate (PI) は環境全体にわたって安定な相関関係を学習するためのアルゴリズムである。 正しい予測と間違った予測の分布を補間することにより、不安定な相関が消えるオラクル分布を明らかにすることができる。
• 参考スコア（独自算出の注目度）: 59.06169363181417
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: We propose Predict then Interpolate (PI), a simple algorithm for learning correlations that are stable across environments. The algorithm follows from the intuition that when using a classifier trained on one environment to make predictions on examples from another environment, its mistakes are informative as to which correlations are unstable. In this work, we prove that by interpolating the distributions of the correct predictions and the wrong predictions, we can uncover an oracle distribution where the unstable correlation vanishes. Since the oracle interpolation coefficients are not accessible, we use group distributionally robust optimization to minimize the worst-case risk across all such interpolations. We evaluate our method on both text classification and image classification. Empirical results demonstrate that our algorithm is able to learn robust classifiers (outperforms IRM by 23.85% on synthetic environments and 12.41% on natural environments). Our code and data are available at https://github.com/YujiaBao/Predict-then-Interpolate.
• Abstract（参考訳）: 環境にまたがって安定な相関関係を学習するための単純なアルゴリズムであるpredictor then interpolate (pi)を提案する。 このアルゴリズムは、ある環境で訓練された分類器を使って別の環境の例を予測した場合、どの相関が不安定であるかという誤りが情報となるという直感から導かれる。 本研究では、正しい予測と間違った予測の分布を補間することにより、不安定な相関が消えるオラクル分布を明らかにすることができることを示す。 オラクル補間係数はアクセスできないので、そのような補間全体にわたって最悪のケースリスクを最小限に抑えるために、群的ロバストな最適化を用いる。 本手法はテキスト分類と画像分類の両方で評価する。 実験の結果,本アルゴリズムはロバストな分類器(合成環境では23.85%,自然環境では12.41%)を学習できることがわかった。 私たちのコードとデータはhttps://github.com/yujiabao/predict-then-interpolateで入手できます。

関連論文リスト

• Generalization error of min-norm interpolators in transfer learning [2.7309692684728617]
  最小ノルム補間器は、現代の機械学習アルゴリズムの暗黙の正規化限界として自然に現れる。 多くのアプリケーションでは、トレーニング中に限られた量のテストデータが利用できるが、この設定におけるmin-normの特性は十分に理解されていない。 我々はこれらの特徴を達成するために、新しい異方性局所法を確立した。
  論文  参考訳（メタデータ） (2024-06-20T02:23:28Z)
• Noisy Correspondence Learning with Self-Reinforcing Errors Mitigation [63.180725016463974]
  クロスモーダル検索は、実際は精力的な、十分に整合した大規模データセットに依存している。 我々は、新しい雑音対応学習フレームワーク、textbfSelf-textbfReinforcing textbfErrors textbfMitigation(SREM)を導入する。
  論文  参考訳（メタデータ） (2023-12-27T09:03:43Z)
• Distributionally Robust Skeleton Learning of Discrete Bayesian Networks [9.46389554092506]
  我々は、潜在的に破損したデータから一般的な離散ベイズネットワークの正確なスケルトンを学習する問題を考察する。 本稿では,有界ワッサーシュタイン距離(KL)における分布群に対する最も有害なリスクを,経験的分布へのKL分散を最適化することを提案する。 本稿では,提案手法が標準正規化回帰手法と密接に関連していることを示す。
  論文  参考訳（メタデータ） (2023-11-10T15:33:19Z)
• Intra-class Adaptive Augmentation with Neighbor Correction for Deep Metric Learning [99.14132861655223]
  深層学習のためのクラス内適応拡張(IAA)フレームワークを提案する。 クラスごとのクラス内変動を合理的に推定し, 適応型合成試料を生成し, 硬質試料の採掘を支援する。 本手法は,検索性能の最先端手法を3%～6%向上させる。
  論文  参考訳（メタデータ） (2022-11-29T14:52:38Z)
• Benefit of Interpolation in Nearest Neighbor Algorithms [21.79888306754263]
  いくつかの研究では、過度にパラメータ化されたディープニューラルネットワークは、トレーニングエラーがほぼゼロであっても、小さなテストエラーを達成することが観察されている。 私たちは、データメカニズムを通じて(過度なパラメータ化なしに)トレーニングエラーをゼロにする別の方法に変わります。
  論文  参考訳（メタデータ） (2022-02-23T22:47:18Z)
• Efficient and Differentiable Conformal Prediction with General Function Classes [96.74055810115456]
  本稿では,複数の学習可能なパラメータに対する共形予測の一般化を提案する。 本研究は, クラス内において, ほぼ有効な人口被覆率, ほぼ最適効率を実現していることを示す。 実験の結果,提案アルゴリズムは有効な予測セットを学習し,効率を著しく向上できることがわかった。
  論文  参考訳（メタデータ） (2022-02-22T18:37:23Z)
• The Interplay between Distribution Parameters and the Accuracy-Robustness Tradeoff in Classification [0.0]
  アドリラルトレーニングは、通常のモデルに比べて自然(未成熟)の例では正確でないモデルをもたらす傾向にある。 これは、アルゴリズムの欠点か、トレーニングデータ分散の基本的な性質によるものとみなすことができる。 本研究では,二進ガウス混合分類問題の下で後者のケースに焦点をあてる。
  論文  参考訳（メタデータ） (2021-07-01T06:57:50Z)
• Examining and Combating Spurious Features under Distribution Shift [94.31956965507085]
  我々は、最小限の統計量という情報理論の概念を用いて、ロバストで刺激的な表現を定義し、分析する。 入力分布のバイアスしか持たない場合でも、モデルはトレーニングデータから急激な特徴を拾い上げることができることを証明しています。 分析から着想を得た結果,グループDROは,グループ同士の相関関係を直接考慮しない場合に失敗する可能性が示唆された。
  論文  参考訳（メタデータ） (2021-06-14T05:39:09Z)
• Good Classifiers are Abundant in the Interpolating Regime [64.72044662855612]
  補間分類器間のテストエラーの完全な分布を正確に計算する手法を開発した。 テストエラーは、最悪の補間モデルのテストエラーから大きく逸脱する、小さな典型的な$varepsilon*$に集中する傾向にある。 以上の結果から,統計的学習理論における通常の解析手法は,実際に観測された優れた一般化性能を捉えるのに十分な粒度にはならない可能性が示唆された。
  論文  参考訳（メタデータ） (2020-06-22T21:12:31Z)
• Domain Adaptive Bootstrap Aggregating [5.444459446244819]
  ブートストラップ集約(英: bootstrap aggregating)は、予測アルゴリズムの安定性を改善する一般的な方法である。 本稿では, ドメイン適応型バッグング手法と, 隣り合う新しい反復型サンプリング手法を提案する。
  論文  参考訳（メタデータ） (2020-01-12T20:02:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。