論文の概要: Backward-Compatible Prediction Updates: A Probabilistic Approach

• arxiv url: http://arxiv.org/abs/2107.01057v1
• Date: Fri, 2 Jul 2021 13:05:31 GMT
• ステータス: 処理完了
• システム内更新日: 2021-07-05 13:02:32.997157
• Title: Backward-Compatible Prediction Updates: A Probabilistic Approach
• Title（参考訳）: 後方対応型予測更新:確率論的アプローチ
• Authors: Frederik Tr\"auble, Julius von K\"ugelgen, Matth\"aus Kleindessner, Francesco Locatello, Bernhard Sch\"olkopf, Peter Gehler
• Abstract要約: 本稿では,予測更新問題を定式化し,上記の質問に対する効率的な確率的アプローチを提案する。 標準分類ベンチマークデータセットの広範な実験において,提案手法は後方互換性のある予測更新のための代替戦略よりも優れていることを示す。
• 参考スコア（独自算出の注目度）: 12.049279991559091
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: When machine learning systems meet real world applications, accuracy is only one of several requirements. In this paper, we assay a complementary perspective originating from the increasing availability of pre-trained and regularly improving state-of-the-art models. While new improved models develop at a fast pace, downstream tasks vary more slowly or stay constant. Assume that we have a large unlabelled data set for which we want to maintain accurate predictions. Whenever a new and presumably better ML models becomes available, we encounter two problems: (i) given a limited budget, which data points should be re-evaluated using the new model?; and (ii) if the new predictions differ from the current ones, should we update? Problem (i) is about compute cost, which matters for very large data sets and models. Problem (ii) is about maintaining consistency of the predictions, which can be highly relevant for downstream applications; our demand is to avoid negative flips, i.e., changing correct to incorrect predictions. In this paper, we formalize the Prediction Update Problem and present an efficient probabilistic approach as answer to the above questions. In extensive experiments on standard classification benchmark data sets, we show that our method outperforms alternative strategies along key metrics for backward-compatible prediction updates.
• Abstract（参考訳）: 機械学習システムが現実世界のアプリケーションに適合する場合、精度はいくつかの要件の1つに過ぎません。 本稿では,事前学習および定期的な最先端モデルの改善による相補的視点について検討する。 新しい改善されたモデルは速いペースで進化するが、下流のタスクはよりゆっくりと変化するか、一定である。 正確な予測を維持したいという、大きなラベルのないデータセットがあると仮定する。 i) 予算が限られている場合、どのデータポイントが新しいモデルで再評価されるべきか? と (ii) もし新しい予測が現在の予測と違うなら、更新すべきだろうか? 問題 (i) は計算コストであり、非常に大きなデータセットとモデルにとって重要である。 問題 (ii) は予測の整合性を維持することであり、これは下流のアプリケーションに非常に関係がある。 本稿では,予測更新問題を定式化し,上記の問題に対する効率的な確率的アプローチを提案する。 標準分類ベンチマークデータセットの広範な実験において,提案手法は後方互換性のある予測更新のための重要な指標に沿って,代替戦略よりも優れていることを示す。

関連論文リスト

• Learning Sample Difficulty from Pre-trained Models for Reliable Prediction [55.77136037458667]
  本稿では,大規模事前学習モデルを用いて,サンプル難易度を考慮したエントロピー正規化による下流モデルトレーニングを指導する。 我々は、挑戦的なベンチマークで精度と不確実性の校正を同時に改善する。
  論文  参考訳（メタデータ） (2023-04-20T07:29:23Z)
• Adaptive Sparse Gaussian Process [0.0]
  これらの問題に対処できる最初の適応スパースガウスプロセス(GP)を提案する。 まず,変分スパースGPアルゴリズムを変形係数によって適応的に再構成する。 そこで我々は,新しいサンプルが到着するたびに,スパースGPモデルの単一誘導点と残りのモデルパラメータを同時に更新することを提案する。
  論文  参考訳（メタデータ） (2023-02-20T21:34:36Z)
• X-model: Improving Data Efficiency in Deep Learning with A Minimax Model [78.55482897452417]
  ディープラーニングにおける分類と回帰設定の両面でのデータ効率の向上を目標とする。 両世界の力を生かすために,我々は新しいX-モデルを提案する。 X-モデルは、特徴抽出器とタスク固有のヘッドの間でミニマックスゲームを行う。
  論文  参考訳（メタデータ） (2021-10-09T13:56:48Z)
• Improving Uncertainty Calibration via Prior Augmented Data [56.88185136509654]
  ニューラルネットワークは、普遍関数近似器として機能することで、複雑なデータ分布から学習することに成功した。 彼らはしばしば予測に自信過剰であり、不正確で誤った確率的予測に繋がる。 本稿では,モデルが不当に過信である特徴空間の領域を探索し,それらの予測のエントロピーをラベルの以前の分布に対して条件的に高める手法を提案する。
  論文  参考訳（メタデータ） (2021-02-22T07:02:37Z)
• Learnable and Instance-Robust Predictions for Online Matching, Flows and Load Balancing [12.961453245099044]
  本稿では,アルゴリズムが形式的に学習可能で,例えば頑健であることを要求して,予測を伴うアルゴリズムの拡張モデルを提案する。 ネットワークフロー割当問題と制限された割当ミスパン最小化の予測を含むオンラインアルゴリズムを設計する。
  論文  参考訳（メタデータ） (2020-11-23T21:38:57Z)
• Evaluating Prediction-Time Batch Normalization for Robustness under Covariate Shift [81.74795324629712]
  我々は予測時間バッチ正規化と呼び、共変量シフト時のモデル精度とキャリブレーションを大幅に改善する。 予測時間バッチ正規化は、既存の最先端アプローチに相補的な利点をもたらし、ロバスト性を向上させることを示します。 この手法は、事前トレーニングと併用して使用すると、さまざまな結果が得られるが、より自然なタイプのデータセットシフトでは、パフォーマンスが良くないようだ。
  論文  参考訳（メタデータ） (2020-06-19T05:08:43Z)
• Stochastic Optimization for Performative Prediction [31.876692592395777]
  モデルパラメータを単に更新することと、新しいモデルをデプロイすることの違いについて検討する。 各更新後にモデルを厳格にデプロイし、再デプロイする前に数回の更新を行うための収束率を証明する。 彼らは、パフォーマンス効果の強さによって、どちらのアプローチも他方よりも優れる体制が存在することを説明している。
  論文  参考訳（メタデータ） (2020-06-12T00:31:16Z)
• Ambiguity in Sequential Data: Predicting Uncertain Futures with Recurrent Models [110.82452096672182]
  逐次データによる曖昧な予測を扱うために,Multiple hypothesis Prediction(MHP)モデルの拡張を提案する。 また、不確実性を考慮するのに適した曖昧な問題に対する新しい尺度も導入する。
  論文  参考訳（メタデータ） (2020-03-10T09:15:42Z)
• Meta-Learned Confidence for Few-shot Learning [60.6086305523402]
  数ショットのメトリックベースのアプローチのための一般的なトランスダクティブ推論手法は、最も確実なクエリ例の平均で、各クラスのプロトタイプを更新することである。 本稿では,各クエリの信頼度をメタラーニングして,ラベルのないクエリに最適な重みを割り当てる手法を提案する。 4つのベンチマークデータセットに対してメタ学習の信頼度で、少数ショットの学習モデルを検証した。
  論文  参考訳（メタデータ） (2020-02-27T10:22:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。