論文の概要: Evaluating Model Retraining under Drift: Paired Comparisons of Cumulative Subgroup Disparity

• arxiv url: http://arxiv.org/abs/2609.09788v1
• Date: Wed, 09 Sep 2026 06:39:03 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-10 19:44:08.920103
• Title: Evaluating Model Retraining under Drift: Paired Comparisons of Cumulative Subgroup Disparity
• Title（参考訳）: ドリフト下におけるモデル再訓練の評価:累積部分群差の比較
• Abstract要約: 我々は、スケジュール、損失トリガー、サブグループギャップトリガーされたポリシーを、同じ観測と遅延ラベルに対する初期モデルを維持することで比較する。 これら3つの政策は平均累積差が低く、ウィンドウごとの平均ギャップにおける0.04から0.88ポイントの減少に相当する。 サブグループ特異的なドリフトでは, 両者の感度が低下し, より小さな真正レートギャップが認められた。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Choosing when to retrain a deployed classifier requires assessing subgroup error rates across the sequence of models used, including periods between updates. We compare complete scheduled, loss-triggered, and subgroup-gap-triggered policies with retaining the initial model on the same observations and delayed labels. For true-positive and false-positive rates separately, the outcome is the paired difference in absolute subgroup gaps summed over deployment windows. Population evaluation in simulation, action records, and alternative schedules assess how measurement and retraining behaviour affect these comparisons. In a follow-up sample of 400 new trajectories per condition across two simulated drift regimes, all three policies had lower mean cumulative disparity, equivalent to reductions of 0.04 to 0.88 percentage points in the average gap per window. Evaluating the unchanged models against the known generating distributions preserved all mean directions, but finite-window and population comparisons agreed on whether updating increased, reduced or left cumulative disparity unchanged in 69 to 92 percent of trajectories. Under subgroup-specific drift, smaller true-positive-rate gaps accompanied lower sensitivity in both groups. In an exploratory American Community Survey replay, person weighting reversed all three race false-positive-rate mean comparisons without changing predictions or actions; all three weighted intervals included zero. Policy comparisons require group-specific rates, action distributions, and an explicit evaluation population alongside mean disparity. These analyses are non-confirmatory. Shared replay requires policy-independent observations and complete labels after the specified delay.
• Abstract（参考訳）: デプロイされた分類器をいつ再トレーニングするかを選択するには、更新の期間を含む、使用するモデルのシーケンスにわたってサブグループエラー率を評価する必要がある。 我々は、スケジュール、損失トリガー、サブグループギャップトリガーされたポリシーを、同じ観測と遅延ラベルに対する初期モデルを維持することで比較する。 真陽性と偽陽性の比率を別々に比較すると、結果は配置ウィンドウにまとめられた絶対部分群ギャップの対差である。 シミュレーション、行動記録、代替スケジュールにおける個体群評価は、これらの比較にどのように影響するかを評価する。 2つの模擬ドリフト状態における条件毎の400の新しい軌跡の追跡サンプルでは、3つの政策はすべて平均累積差が低く、窓ごとの平均ギャップにおける0.04から0.88ポイントの減少に相当する。 既知の生成分布に対して変化のないモデルを評価することは、すべての平均方向を保存したが、有限ウィンドウと人口比較は、69～92%の軌跡の更新、縮小または左累積差が変化しないかどうかに一致した。 サブグループ特異的なドリフトでは, 両者の感度が低下し, より小さな真正レートギャップが認められた。 探索的なアメリカン・コミュニティ・サーベイ(英語版)のリプレイでは、人の重み付けは、予測や行動を変えることなく、3つの人種の偽陽性率の平均比較を逆転させた。 政策比較には、グループ固有の率、行動分布、および平均格差とともに明示的な評価人口が必要である。 これらの分析は確認できない。 共有されたリプレイには、ポリシーに依存しない観察と、指定された遅延後の完全なラベルが必要である。

関連論文リスト

• Perturbation Sensitivity at Convergence: A Simple Signal for Identifying Spuriously Correlated Samples [2.036610981667781]
  スプリアス相関を含むデータに対する経験的リスク最小化により訓練されたモデルは、相関が保たないサブポピュレーションで失敗しながら、高い平均精度を達成する。 両個体群を区別しなくなった場合, 収束後に使用可能な信号が利用可能であることが示される。 検出されたサンプルをトレーニングのバランスに使用すると、ウォーターバードの最悪のグループ精度が57.3%から80.8%に上昇し、また、接地型グループラベルでは85.8%に上昇する。
  論文  参考訳（メタデータ） (2026-08-05T21:29:11Z)
• What Shapes Emergent Misalignment? Insights from Training Dynamics, Model Priors, and Data [20.335735139409245]
  創発的ミスアライメント(EM: Emergent misalignment)は、モデルが狭い微調整で一般化される現象である。 我々は、EMとその変数を直接微調整のコンポーネント(トレーニング力学、モデル事前、データ)を通して研究する。
  論文  参考訳（メタデータ） (2026-06-18T18:04:20Z)
• Ensemble Threshold Calibration for Stable Sensitivity Control [0.0]
  本稿では,数千万組の幾何対もの幾何に対して,過度に分散した正確なリコールを実現するエンド・ツー・エンドのフレームワークを提案する。 我々のアプローチは、小さなエラーで常にリコールターゲットにヒットし、他のキャリブレーションと比較して冗長な検証を減らし、単一のTPU v3コア上でエンドツーエンドで実行します。
  論文  参考訳（メタデータ） (2025-10-02T15:22:28Z)
• The Lie of the Average: How Class Incremental Learning Evaluation Deceives You? [48.83567710215299]
  クラスインクリメンタルラーニング(CIL)では、モデルが学習済みのクラスを忘れずに、新しいクラスを継続的に学習する必要がある。 我々は、ロバストなCIL評価プロトコルは、性能分布全体を正確に特徴付け、推定するべきであると論じる。 我々は,タスク間類似度を用いて,極端なクラスシーケンスを適応的に識別し,サンプリングする評価プロトコルEDGEを提案する。
  論文  参考訳（メタデータ） (2025-09-26T17:00:15Z)
• Closed-Form Beta Distribution Estimation from Sparse Statistics with Random Forest Implicit Regularization [0.0]
  この研究は3つの主要な貢献を通じてスパースデータとアンサンブル分類から分布回復を推し進める。 まず,限定統計量から大規模ベータ分布を再構成する閉形式推定器を提案する。 第2に,誤差境界の導出による分類精度と分布の近接性の関係を確立する。 第3に、ゼロ分散特徴が暗黙の正則化として作用し、中間ランク予測器の選択確率が増加することを示す。
  論文  参考訳（メタデータ） (2025-07-31T17:55:07Z)
• Aioli: A Unified Optimization Framework for Language Model Data Mixing [74.50480703834508]
  提案手法は, 単層サンプリングベースラインを平均的なテストパープレキシティで一貫した性能を発揮できないことを示す。 我々は、Aioliという新しいオンライン手法を導き、トレーニング全体を通して法パラメータの混合を直接推定し、それらを用いて比率を動的に調整する。
  論文  参考訳（メタデータ） (2024-11-08T17:50:24Z)
• Correcting Underrepresentation and Intersectional Bias for Classification [49.1574468325115]
  我々は、表現不足のバイアスによって破損したデータから学習する問題を考察する。 偏りのないデータの少ない場合、グループワイドのドロップアウト率を効率的に推定できることが示される。 本アルゴリズムは,有限VC次元のモデルクラスに対して,効率的な学習を可能にする。
  論文  参考訳（メタデータ） (2023-06-19T18:25:44Z)
• Consistent Diffusion Models: Mitigating Sampling Drift by Learning to be Consistent [97.64313409741614]
  本稿では, モデルが生成したデータ上での予測が時間とともに一定であることを示す, 両立性特性を強制することを提案する。 CIFAR-10の条件および非条件生成とAFHQとFFHQのベースライン改良について,本研究の新たな訓練目標が得られた。
  論文  参考訳（メタデータ） (2023-02-17T18:45:04Z)
• Wild-Time: A Benchmark of in-the-Wild Distribution Shift over Time [69.77704012415845]
  時間的シフトは、現実世界にデプロイされた機械学習モデルのパフォーマンスを著しく低下させる可能性がある。 ドメイン一般化、連続学習、自己教師付き学習、アンサンブル学習の手法を含む13の先行手法をベンチマークする。 いずれの評価方略も,分布外データから分布外データへの平均的な性能低下を観察する。
  論文  参考訳（メタデータ） (2022-11-25T17:07:53Z)
• ELODI: Ensemble Logit Difference Inhibition for Positive-Congruent Training [110.52785254565518]
  負のフリップ率(NFR)を減少させる既存の方法は、新しいモデルに古いモデルを模倣させたり、アンサンブルを使用したりすることで、全体的な精度を犠牲にしている。 我々は、NFRの低減におけるアンサンブルの役割を分析し、通常決定境界に近くない負のフリップを取り除くことを観察する。 本稿では,誤り率とNFRの両方でパラゴン性能を実現する分類システムを訓練するためのELODI(Ensemble Logit Difference Inhibition)を提案する。
  論文  参考訳（メタデータ） (2022-05-12T17:59:56Z)
• Distributionally Robust Models with Parametric Likelihood Ratios [123.05074253513935]
  3つの単純なアイデアにより、より広いパラメトリックな確率比のクラスを用いてDROでモデルを訓練することができる。 パラメトリック逆数を用いてトレーニングしたモデルは、他のDROアプローチと比較して、サブポピュレーションシフトに対して一貫して頑健であることがわかった。
  論文  参考訳（メタデータ） (2022-04-13T12:43:12Z)
• A graphical method of cumulative differences between two subpopulations [0.0]
  本稿では, 比較対象のサブポピュレーションのどのメンバーのスコアも, いずれのサブポピュレーションの他のメンバーのスコアと完全に等しいような共通ケースの手法を開発する。
  論文  参考訳（メタデータ） (2021-08-05T14:59:56Z)
• Selective Classification Can Magnify Disparities Across Groups [89.14499988774985]
  選択的分類は平均的精度を向上させることができるが、既存の精度格差を同時に増大させることができる。 禁忌の増大は、一部のグループでのアキュラシーを減少させることもある。 我々は,グループ間で類似のフルカバレッジ精度を実現する分散ロバストモデルを訓練し,選択分類が各グループを均一に改善することを示す。
  論文  参考訳（メタデータ） (2020-10-27T08:51:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。