論文の概要: Sequential algorithmic modification with test data reuse

• arxiv url: http://arxiv.org/abs/2203.11377v1
• Date: Mon, 21 Mar 2022 22:43:40 GMT
• ステータス: 処理完了
• システム内更新日: 2022-03-24 10:19:00.484291
• Title: Sequential algorithmic modification with test data reuse
• Title（参考訳）: テストデータ再利用による逐次アルゴリズム修正
• Authors: Jean Feng, Gene Pennello, Nicholas Petrick, Berkman Sahiner, Romain Pirracchio, Alexej Gossmann
• Abstract要約: 機械学習アルゴリズムの初期リリース後、後続の収集データで再トレーニングすることで、モデルを微調整することができる。 各修正はパフォーマンスを劣化させるリスクを導入し、テストデータセットで検証する必要があります。 最近の研究では、同じデータセットで修正を繰り返しテストする方法が示されている。
• 参考スコア（独自算出の注目度）: 4.893345190925178
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: After initial release of a machine learning algorithm, the model can be fine-tuned by retraining on subsequently gathered data, adding newly discovered features, or more. Each modification introduces a risk of deteriorating performance and must be validated on a test dataset. It may not always be practical to assemble a new dataset for testing each modification, especially when most modifications are minor or are implemented in rapid succession. Recent works have shown how one can repeatedly test modifications on the same dataset and protect against overfitting by (i) discretizing test results along a grid and (ii) applying a Bonferroni correction to adjust for the total number of modifications considered by an adaptive developer. However, the standard Bonferroni correction is overly conservative when most modifications are beneficial and/or highly correlated. This work investigates more powerful approaches using alpha-recycling and sequentially-rejective graphical procedures (SRGPs). We introduce novel extensions that account for correlation between adaptively chosen algorithmic modifications. In empirical analyses, the SRGPs control the error rate of approving unacceptable modifications and approve a substantially higher number of beneficial modifications than previous approaches.
• Abstract（参考訳）: 機械学習アルゴリズムの初期リリース後、モデルは、次に収集されたデータを再トレーニングし、新たに発見された機能を追加することで、微調整することができる。 各修正はパフォーマンスを劣化させるリスクを導入し、テストデータセットで検証する必要があります。 修正ごとにテストするための新しいデータセットを組み立てることは、必ずしも現実的ではないかもしれない。 最近の研究では、同じデータセットで修正を繰り返しテストし、過剰適合から保護する方法が示されている。 (i)グリッドに沿った試験結果の判別と (ii)適応開発者が考慮した修正の総数を調整するためにボンフェルロニ補正を適用すること。 しかしながら、標準的なボニフェロニ補正は、ほとんどの修正が有益または高相関である場合、過度に保守的である。 本研究では,アルファリサイクルと逐次回帰グラフィカルプロシージャ(SRGP)を用いたより強力なアプローチについて検討する。 適応的に選択されたアルゴリズム修正の相関を考慮に入れた新しい拡張を導入する。 経験的分析では、SRGPは許容できない修正を承認するエラー率を制御し、以前のアプローチよりもはるかに多くの有益な修正を承認する。

関連論文リスト

• Failing Forward: Improving Generative Error Correction for ASR with Synthetic Data and Retrieval Augmentation [73.9145653659403]
  生成誤差補正モデルは、トレーニング中に発生する特定の種類のエラーを超えて一般化することが困難であることを示す。 DARAGは、ドメイン内(ID)およびOODシナリオにおけるASRのためのGCCを改善するために設計された新しいアプローチである。 私たちのアプローチはシンプルでスケーラブルで、ドメインと言語に依存しません。
  論文  参考訳（メタデータ） (2024-10-17T04:00:29Z)
• Adapting Conformal Prediction to Distribution Shifts Without Labels [16.478151550456804]
  コンフォーマル予測(CP)により、機械学習モデルは、保証されたカバレッジ率で予測セットを出力できる。 我々の目標は、テストドメインからのラベルなしデータのみを使用して、CP生成予測セットの品質を改善することです。 これは、未ラベルテストデータに対するベースモデルの不確実性に応じてCPのスコア関数を調整する、ECP と EACP と呼ばれる2つの新しい手法によって達成される。
  論文  参考訳（メタデータ） (2024-06-03T15:16:02Z)
• What, How, and When Should Object Detectors Update in Continually Changing Test Domains? [34.13756022890991]
  テストデータを推測しながらモデルをオンラインに適応させるテスト時適応アルゴリズムが提案されている。 連続的に変化するテスト領域におけるオブジェクト検出のための新しいオンライン適応手法を提案する。 提案手法は,広く使用されているベンチマークのベースラインを超え,最大4.9%,mAP7.9%の改善を実現している。
  論文  参考訳（メタデータ） (2023-12-12T07:13:08Z)
• RDumb: A simple approach that questions our progress in continual test-time adaptation [12.374649969346441]
  テスト時間適応(TTA)では、事前トレーニングされたモデルをデプロイ時にデータ配布を変更するように更新することができる。 近年の長期にわたる連続的適応手法の提案と適用方法が提案されている。 最終的には、最先端の1つのメソッド以外はすべて崩壊し、非適応モデルよりもパフォーマンスが悪くなることに気付きました。
  論文  参考訳（メタデータ） (2023-06-08T17:52:34Z)
• On Pitfalls of Test-Time Adaptation [82.8392232222119]
  TTA(Test-Time Adaptation)は、分散シフトの下で堅牢性に取り組むための有望なアプローチとして登場した。 TTABは,10の最先端アルゴリズム,多種多様な分散シフト,および2つの評価プロトコルを含むテスト時間適応ベンチマークである。
  論文  参考訳（メタデータ） (2023-06-06T09:35:29Z)
• DELTA: degradation-free fully test-time adaptation [59.74287982885375]
  テスト時間バッチ正規化(BN)や自己学習といった,一般的な適応手法では,2つの好ましくない欠陥が隠されていることがわかった。 まず、テスト時間BNにおける正規化統計は、現在受信されているテストサンプルに完全に影響され、その結果、不正確な推定結果が得られることを明らかにする。 第二に、テスト時間適応中にパラメータ更新が支配的なクラスに偏っていることを示す。
  論文  参考訳（メタデータ） (2023-01-30T15:54:00Z)
• Improved Text Classification via Test-Time Augmentation [2.493374942115722]
  テスト時間拡張は画像分類モデルの性能を向上させるための確立された手法である。 本稿では,言語モデルによる精度向上を実現するための拡張ポリシーを提案する。 バイナリ分類タスクとデータセットによる実験は、テスト時間拡張が一貫した改善をもたらすことを示している。
  論文  参考訳（メタデータ） (2022-06-27T19:57:27Z)
• Efficient Test-Time Model Adaptation without Forgetting [60.36499845014649]
  テストタイム適応は、トレーニングとテストデータの間の潜在的な分散シフトに取り組むことを目指している。 信頼性および非冗長なサンプルを同定するためのアクティブなサンプル選択基準を提案する。 また、重要なモデルパラメータを劇的な変化から制約するFisher regularizerを導入します。
  論文  参考訳（メタデータ） (2022-04-06T06:39:40Z)
• Privacy Preserving Recalibration under Domain Shift [119.21243107946555]
  本稿では,差分プライバシー制約下での校正問題の性質を抽象化する枠組みを提案する。 また、新しいリカレーションアルゴリズム、精度温度スケーリングを設計し、プライベートデータセットの事前処理より優れています。
  論文  参考訳（メタデータ） (2020-08-21T18:43:37Z)
• Evaluating Prediction-Time Batch Normalization for Robustness under Covariate Shift [81.74795324629712]
  我々は予測時間バッチ正規化と呼び、共変量シフト時のモデル精度とキャリブレーションを大幅に改善する。 予測時間バッチ正規化は、既存の最先端アプローチに相補的な利点をもたらし、ロバスト性を向上させることを示します。 この手法は、事前トレーニングと併用して使用すると、さまざまな結果が得られるが、より自然なタイプのデータセットシフトでは、パフォーマンスが良くないようだ。
  論文  参考訳（メタデータ） (2020-06-19T05:08:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。