論文の概要: Model Rectification via Unknown Unknowns Extraction from Deployment Samples

• arxiv url: http://arxiv.org/abs/2102.04145v1
• Date: Mon, 8 Feb 2021 11:46:19 GMT
• ステータス: 処理完了
• システム内更新日: 2021-02-09 16:12:25.983679
• Title: Model Rectification via Unknown Unknowns Extraction from Deployment Samples
• Title（参考訳）: 展開サンプルからの未知未知数抽出によるモデル整流
• Authors: Bruno Abrahao, Zheng Wang, Haider Ahmed, Yuchen Zhu
• Abstract要約: 本稿では, 訓練後のモデル修正を, 教師付き方式で実施することを目的とした, 汎用的なアルゴリズムフレームワークを提案する。 RTSCVは未知の未知(u.u.s)を抽出する RTSCVは最先端のアプローチよりも一貫して優れていることを示す。
• 参考スコア（独自算出の注目度）: 8.0497115494227
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Model deficiency that results from incomplete training data is a form of structural blindness that leads to costly errors, oftentimes with high confidence. During the training of classification tasks, underrepresented class-conditional distributions that a given hypothesis space can recognize results in a mismatch between the model and the target space. To mitigate the consequences of this discrepancy, we propose Random Test Sampling and Cross-Validation (RTSCV) as a general algorithmic framework that aims to perform a post-training model rectification at deployment time in a supervised way. RTSCV extracts unknown unknowns (u.u.s), i.e., examples from the class-conditional distributions that a classifier is oblivious to, and works in combination with a diverse family of modern prediction models. RTSCV augments the training set with a sample of the test set (or deployment data) and uses this redefined class layout to discover u.u.s via cross-validation, without relying on active learning or budgeted queries to an oracle. We contribute a theoretical analysis that establishes performance guarantees based on the design bases of modern classifiers. Our experimental evaluation demonstrates RTSCV's effectiveness, using 7 benchmark tabular and computer vision datasets, by reducing a performance gap as large as 41% from the respective pre-rectification models. Last we show that RTSCV consistently outperforms state-of-the-art approaches.
• Abstract（参考訳）: 不完全なトレーニングデータから生じるモデル不足は、コストのかかるエラーにつながる構造的盲点の一形態であり、しばしば高い信頼性を持つ。 分類タスクのトレーニング中に、与えられた仮説空間がモデルと対象空間の間のミスマッチの結果を認識することができるクラス条件分布を過小評価する。 そこで,本研究では,展開時のトレーニング後のモデル整合を監督的に行うための汎用アルゴリズムフレームワークとして,Random Test Sampling and Cross-Validation(RTSCV)を提案する。 RTSCVは未知の未知物(u.u.s)、すなわち分類器が不明瞭であるクラス条件分布の例を抽出し、多様な現代予測モデルと組み合わせて機能する。 RTSCVは、テストセット(またはデプロイメントデータ)のサンプルでトレーニングセットを拡張し、この再定義されたクラスレイアウトを使用して、クロスバリデーション(cross-validation)を通じてU.u.sを検出する。 我々は,現代の分類器の設計ベースに基づく性能保証を確立する理論的解析を行う。 実験により,各事前修正モデルから最大41%の性能ギャップを減らし,7つのベンチマーク表とコンピュータビジョンデータセットを用いてRTSCVの有効性を実証した。 最後に、RTSCVは最先端のアプローチよりも一貫して優れていることを示す。

関連論文リスト

• RanPAC: Random Projections and Pre-trained Models for Continual Learning [55.13320831716942]
  継続学習(CL)は、古いタスクを忘れずに、非定常データストリームで異なるタスク(分類など)を漸進的に学習することを目的としている。 本稿では,事前学習モデルを用いたCLの簡潔かつ効果的なアプローチを提案する。 本稿では,事前学習した表現を用いた場合の分布差を低減するために,クラスプロトタイプのデコレーションの重要性を示す。
  論文  参考訳（メタデータ） (2023-07-05T12:49:02Z)
• Test-Time Adaptation with CLIP Reward for Zero-Shot Generalization in Vision-Language Models [67.21528544724546]
  テスト時間適応(TTA)メソッドはエントロピーの最小化によって自己をブートストラップする。 このような過度な適合を回避し、タスク目標とモデルを整合させるため、フィードバック付きTTAを提案する。 我々は、画像分類、画像テキスト検索、画像キャプションなど様々なタスクにおいて、テスト期間中にVLモデルに対するフィードバックを提供するために、CLIPを報酬モデルとして採用する。
  論文  参考訳（メタデータ） (2023-05-29T11:03:59Z)
• Rethinking Precision of Pseudo Label: Test-Time Adaptation via Complementary Learning [10.396596055773012]
  本稿では,テスト時間適応性を高めるための新しい補完学習手法を提案する。 テスト時適応タスクでは、ソースドメインからの情報は通常利用できない。 我々は,相補ラベルのリスク関数がバニラ損失式と一致することを強調した。
  論文  参考訳（メタデータ） (2023-01-15T03:36:33Z)
• Distributionally Robust Models with Parametric Likelihood Ratios [123.05074253513935]
  3つの単純なアイデアにより、より広いパラメトリックな確率比のクラスを用いてDROでモデルを訓練することができる。 パラメトリック逆数を用いてトレーニングしたモデルは、他のDROアプローチと比較して、サブポピュレーションシフトに対して一貫して頑健であることがわかった。
  論文  参考訳（メタデータ） (2022-04-13T12:43:12Z)
• Uncertainty Estimation for Language Reward Models [5.33024001730262]
  言語モデルは、テキストコーパスの教師なしトレーニングからさまざまな能力を学ぶことができる。 人間がラベル付きデータを提供するよりも選択肢を選択する方が簡単であり、事前の作業はそのような選好比較から報酬モデルをトレーニングすることで最先端のパフォーマンスを達成した。 能動的学習とリスク-逆強化学習を用いてサンプル効率とロバスト性を向上させる不確実性推定によるこれらの問題に対処することを模索する。
  論文  参考訳（メタデータ） (2022-03-14T20:13:21Z)
• General Greedy De-bias Learning [163.65789778416172]
  本稿では,関数空間における勾配降下のような偏りのあるモデルとベースモデルを優雅に訓練する一般グリーディ・デバイアス学習フレームワーク(GGD)を提案する。 GGDは、事前知識を持つタスク固有バイアスモデルと、事前知識を持たない自己アンサンブルバイアスモデルの両方の設定の下で、より堅牢なベースモデルを学ぶことができる。
  論文  参考訳（メタデータ） (2021-12-20T14:47:32Z)
• Understanding Classifier Mistakes with Generative Models [88.20470690631372]
  ディープニューラルネットワークは教師付き学習タスクに有効であるが、脆弱であることが示されている。 本稿では、生成モデルを利用して、分類器が一般化に失敗するインスタンスを特定し、特徴付ける。 我々のアプローチは、トレーニングセットのクラスラベルに依存しないため、半教師付きでトレーニングされたモデルに適用できる。
  論文  参考訳（メタデータ） (2020-10-05T22:13:21Z)
• Good Classifiers are Abundant in the Interpolating Regime [64.72044662855612]
  補間分類器間のテストエラーの完全な分布を正確に計算する手法を開発した。 テストエラーは、最悪の補間モデルのテストエラーから大きく逸脱する、小さな典型的な$varepsilon*$に集中する傾向にある。 以上の結果から,統計的学習理論における通常の解析手法は,実際に観測された優れた一般化性能を捉えるのに十分な粒度にはならない可能性が示唆された。
  論文  参考訳（メタデータ） (2020-06-22T21:12:31Z)
• Estimating the Prediction Performance of Spatial Models via Spatial k-Fold Cross Validation [1.7205106391379026]
  機械学習では、モデルの性能を評価するときにデータが独立していると仮定することが多い。 空間自己相関(spatial autocorrelation, SAC)は、標準クロスバリデーション(CV)法により、楽観的に偏りのある予測性能推定を生成する。 本研究では,SACによる楽観的バイアスを伴わないモデル予測性能を評価するため,空間k-fold Cross Validation (SKCV) と呼ばれるCV法の改良版を提案する。
  論文  参考訳（メタデータ） (2020-05-28T19:55:18Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。