Fugu-MT 論文翻訳(概要): The Limitations of Model Retraining in the Face of Performativity

論文の概要: The Limitations of Model Retraining in the Face of Performativity

arxiv url: http://arxiv.org/abs/2408.08499v1
Date: Fri, 16 Aug 2024 02:53:01 GMT
ステータス: 処理完了
システム内更新日: 2024-08-19 16:50:01.702605
Title: The Limitations of Model Retraining in the Face of Performativity
Title（参考訳）: 変形性に面したモデル再訓練の限界
Authors: Anmol Kabra, Kumar Kshitij Patel,
Abstract要約: 簡単な分布シフトであっても, ナイーブリトレーニングは, 確実に準最適であることを示す。再学習に正規化を加えることで、これら2つの問題を正し、分布シフトに直面した証明可能な最適モデルが得られることを示す。
参考スコア（独自算出の注目度）: 6.130998208629276
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: We study stochastic optimization in the context of performative shifts, where the data distribution changes in response to the deployed model. We demonstrate that naive retraining can be provably suboptimal even for simple distribution shifts. The issue worsens when models are retrained given a finite number of samples at each retraining step. We show that adding regularization to retraining corrects both of these issues, attaining provably optimal models in the face of distribution shifts. Our work advocates rethinking how machine learning models are retrained in the presence of performative effects.
Abstract（参考訳）: 本研究では,データ分散が配置されたモデルに応答して変化する性能変化の文脈における確率的最適化について検討する。簡単な分布シフトであっても, ナイーブリトレーニングは, 確実に準最適であることを示す。この問題は、リトレーニングの各ステップで有限個のサンプルが与えられたモデルが再トレーニングされると悪化する。再学習に正規化を加えることで、これら2つの問題を正し、分布シフトに直面した証明可能な最適モデルが得られることを示す。我々の研究は、パフォーマンス効果の存在下で機械学習モデルがどのように再訓練されるかを再考することを提唱している。

関連論文リスト

Distilled Datamodel with Reverse Gradient Matching [74.75248610868685]
オフライントレーニングとオンライン評価段階を含む,データ影響評価のための効率的なフレームワークを提案する。提案手法は, 直接再学習法と比較して, プロセスの大幅な高速化を図りながら, 同等のモデル行動評価を実現する。
論文参考訳（メタデータ） (2024-04-22T09:16:14Z)
A Framework for Monitoring and Retraining Language Models in Real-World Applications [3.566775910781198]
多くの現実世界のアプリケーションでは、継続的モデル監視とモデル再トレーニングが必要になります。データやコンセプトドリフトなどの再トレーニングにはさまざまな理由があり、適切なメトリックによって監視されるモデルのパフォーマンスに反映される可能性がある。マルチラベル分類モデルを用いて, モデル性能や資源利用などの重要な要因に対する各種リトレーニング決定点の影響について検討する。
論文参考訳（メタデータ） (2023-11-16T14:32:18Z)
Distributionally Robust Post-hoc Classifiers under Prior Shifts [31.237674771958165]
本研究では,クラスプライヤやグループプライヤの分布の変化による変化に頑健なトレーニングモデルの問題点について検討する。本稿では,事前学習モデルからの予測に対するスケーリング調整を行う,非常に軽量なポストホック手法を提案する。
論文参考訳（メタデータ） (2023-09-16T00:54:57Z)
Gradient Surgery for One-shot Unlearning on Generative Model [0.989293617504294]
我々は、深層生成モデルに影響を及ぼすデータを取り除くための、単純で効果的なアプローチを導入する。マルチタスク学習における作業に触発されて,サンプル間の影響の相互作用を規則化する勾配の操作を提案する。
論文参考訳（メタデータ） (2023-07-10T13:29:23Z)
Distributionally Robust Models with Parametric Likelihood Ratios [123.05074253513935]
3つの単純なアイデアにより、より広いパラメトリックな確率比のクラスを用いてDROでモデルを訓練することができる。パラメトリック逆数を用いてトレーニングしたモデルは、他のDROアプローチと比較して、サブポピュレーションシフトに対して一貫して頑健であることがわかった。
論文参考訳（メタデータ） (2022-04-13T12:43:12Z)
FairIF: Boosting Fairness in Deep Learning via Influence Functions with Validation Set Sensitive Attributes [51.02407217197623]
本稿では,FAIRIFという2段階の学習アルゴリズムを提案する。サンプル重みが計算される再重み付きデータセットの損失を最小限に抑える。 FAIRIFは、様々な種類のバイアスに対して、フェアネスとユーティリティのトレードオフを良くしたモデルが得られることを示す。
論文参考訳（メタデータ） (2022-01-15T05:14:48Z)
One for More: Selecting Generalizable Samples for Generalizable ReID Model [92.40951770273972]
本稿では,選択したサンプルを損失関数として一般化する1対3の学習目標を提案する。提案した1対3のサンプルは,ReIDトレーニングフレームワークにシームレスに統合できる。
論文参考訳（メタデータ） (2020-12-10T06:37:09Z)
Exposing Shallow Heuristics of Relation Extraction Models with Challenge Data [49.378860065474875]
我々は、TACREDで訓練されたSOTA関係抽出(RE)モデルの故障モードを同定する。トレーニングの例として、いくつかの課題データを追加することで、モデルのパフォーマンスが向上する。
論文参考訳（メタデータ） (2020-10-07T21:17:25Z)
Learning Diverse Representations for Fast Adaptation to Distribution Shift [78.83747601814669]
本稿では,複数のモデルを学習する手法を提案する。分散シフトへの迅速な適応を促進するフレームワークの能力を実証する。
論文参考訳（メタデータ） (2020-06-12T12:23:50Z)
Neural Network Retraining for Model Serving [32.857847595096025]
我々は、推論における新しいデータの継続的な流れに対応するために、ニューラルネットワークモデルの漸進的(再)トレーニングを提案する。破滅的な再トレーニングと効率的な再トレーニングの2つの課題に対処する。
論文参考訳（メタデータ） (2020-04-29T13:52:28Z)
PrIU: A Provenance-Based Approach for Incrementally Updating Regression Models [9.496524884855559]
本稿では,予測精度を犠牲にすることなく,モデルパラメータを漸進的に更新する手法PrIUを提案する。漸進的に更新されたモデルパラメータの正しさと収束性を証明し、実験的に検証する。実験結果から, PrIU-optはスクラッチからモデルを再トレーニングするのに対して, 非常に類似したモデルを得るよりも, 最大2桁のスピードアップを達成できることがわかった。
論文参考訳（メタデータ） (2020-02-26T21:04:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。