論文の概要: Towards Stable Machine Learning Model Retraining via Slowly Varying Sequences

• arxiv url: http://arxiv.org/abs/2403.19871v5
• Date: Tue, 04 Feb 2025 12:25:48 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-05 14:55:11.173359
• Title: Towards Stable Machine Learning Model Retraining via Slowly Varying Sequences
• Title（参考訳）: Slowly Varying Sequencesによる安定機械学習モデルの訓練に向けて
• Authors: Dimitris Bertsimas, Vassilis Digalakis Jr, Yu Ma, Phevos Paschalidis,
• Abstract要約: そこで本研究では,リトレーニングを繰り返して安定なモデル列を見つけるためのモデルに依存しないフレームワークを提案する。 最適モデルの復元が保証される混合整数最適化の定式化を開発する。 平均的に、予測力の2%の低下は、安定性の30%の改善につながることが判明した。
• 参考スコア（独自算出の注目度）: 6.067007470552307
• License:
• Abstract: We consider the problem of retraining machine learning (ML) models when new batches of data become available. Existing approaches greedily optimize for predictive power independently at each batch, without considering the stability of the model's structure or analytical insights across retraining iterations. We propose a model-agnostic framework for finding sequences of models that are stable across retraining iterations. We develop a mixed-integer optimization formulation that is guaranteed to recover Pareto optimal models (in terms of the predictive power-stability trade-off) with good generalization properties, as well as an efficient polynomial-time algorithm that performs well in practice. We focus on retaining consistent analytical insights-which is important to model interpretability, ease of implementation, and fostering trust with users-by using custom-defined distance metrics that can be directly incorporated into the optimization problem. We evaluate our framework across models (regression, decision trees, boosted trees, and neural networks) and application domains (healthcare, vision, and language), including deployment in a production pipeline at a major US hospital. We find that, on average, a 2% reduction in predictive power leads to a 30% improvement in stability.
• Abstract（参考訳）: 機械学習モデル(ML)の新たなバッチが利用可能になった場合,機械学習モデルの再トレーニングの問題点を考察する。 既存のアプローチは、モデルの構造の安定性や再学習の繰り返しに対する分析的な洞察を考慮せずに、各バッチで独立して予測パワーを厳格に最適化する。 そこで本研究では,リトレーニングを繰り返して安定なモデル列を見つけるためのモデルに依存しないフレームワークを提案する。 我々は,パレート最適モデル(予測パワー-安定性トレードオフの観点から)を優れた一般化特性で再現することが保証される混合整数最適化式と,実際によく動作する効率的な多項式時間アルゴリズムを開発する。 我々は、最適化問題に直接組み込むことができるカスタム定義距離メトリクスを使用して、解釈可能性のモデル化、実装の容易さ、ユーザとの信頼向上に重要な、一貫した分析的な洞察を維持することに注力する。 米国の主要な病院で生産パイプラインを運用するなど、モデル(回帰、決定木、強化木、ニューラルネットワーク)とアプリケーションドメイン(ヘルスケア、ビジョン、言語)でフレームワークを評価します。 平均的に、予測力の2%の低下は、安定性の30%の改善につながることがわかった。

関連論文リスト

• Feasible Learning [78.6167929413604]
  本稿では,サンプル中心の学習パラダイムであるFeasible Learning(FL)を紹介する。 大規模言語モデルにおける画像分類, 年齢回帰, 好みの最適化といった経験的分析により, FLを用いて訓練したモデルでは, 平均的性能に限界があるものの, ERMと比較して改善された尾の挙動を示しながらデータから学習できることが実証された。
  論文  参考訳（メタデータ） (2025-01-24T20:39:38Z)
• Self-Improvement in Language Models: The Sharpening Mechanism [70.9248553790022]
  我々は、レンズを通して自己改善の能力について、新たな視点を提供する。 言語モデルは、正しい応答を生成する場合よりも、応答品質の検証が優れているという観察に感銘を受けて、後学習において、モデル自体を検証対象として、自己改善を形式化する。 SFTとRLHFに基づく自己改善アルゴリズムの2つの自然ファミリーを解析する。
  論文  参考訳（メタデータ） (2024-12-02T20:24:17Z)
• Deep autoregressive density nets vs neural ensembles for model-based offline reinforcement learning [2.9158689853305693]
  本稿では、利用可能なデータからシステムダイナミクスを推定し、仮想モデルロールアウトにおけるポリシー最適化を行うモデルベース強化学習アルゴリズムについて考察する。 このアプローチは、実際のシステムで破滅的な失敗を引き起こす可能性のあるモデルエラーを悪用することに対して脆弱である。 D4RLベンチマークの1つのよく校正された自己回帰モデルにより、より良い性能が得られることを示す。
  論文  参考訳（メタデータ） (2024-02-05T10:18:15Z)
• Maintaining Stability and Plasticity for Predictive Churn Reduction [8.971668467496055]
  我々は,累積モデル組合せ (AMC) という解を提案する。 AMCは一般的な手法であり、モデルやデータ特性に応じてそれぞれ独自の利点を持ついくつかの事例を提案する。
  論文  参考訳（メタデータ） (2023-05-06T20:56:20Z)
• HyperImpute: Generalized Iterative Imputation with Automatic Model Selection [77.86861638371926]
  カラムワイズモデルを適応的かつ自動的に構成するための一般化反復計算フレームワークを提案する。 既製の学習者,シミュレータ,インターフェースを備えた具体的な実装を提供する。
  論文  参考訳（メタデータ） (2022-06-15T19:10:35Z)
• Approximate Bayesian Optimisation for Neural Networks [6.921210544516486]
  モデル選択の重要性を強調するために、機械学習アルゴリズムを自動化するための一連の作業が行われた。 理想主義的な方法で解析的トラクタビリティと計算可能性を解決する必要性は、効率と適用性を確保することを可能にしている。
  論文  参考訳（メタデータ） (2021-08-27T19:03:32Z)
• Modeling the Second Player in Distributionally Robust Optimization [90.25995710696425]
  我々は、最悪のケース分布を特徴付けるために神経生成モデルを使うことを議論する。 このアプローチは多くの実装と最適化の課題をもたらします。 提案されたアプローチは、同等のベースラインよりも堅牢なモデルを生み出す。
  論文  参考訳（メタデータ） (2021-03-18T14:26:26Z)
• Robust priors for regularized regression [12.945710636153537]
  尾根回帰のような罰則化された回帰アプローチは0に向かって縮小するが、0重みは通常は意味のある先行ではない。 人間が使用する単純で堅牢な決定にインスパイアされた私たちは、ペナル化された回帰モデルのための非ゼロの事前計算を構築しました。 頑丈な先行モデルでは、最悪のパフォーマンスに優れていた。
  論文  参考訳（メタデータ） (2020-10-06T10:43:14Z)
• Neural Model-based Optimization with Right-Censored Observations [42.530925002607376]
  ニューラルネットワーク(NN)は、モデルベースの最適化手順のコアでうまく機能することが実証されている。 トレーニングされた回帰モデルは,いくつかのベースラインよりも優れた予測品質が得られることを示す。
  論文  参考訳（メタデータ） (2020-09-29T07:32:30Z)
• Control as Hybrid Inference [62.997667081978825]
  本稿では、反復推論と償却推論のバランスを自然に仲介するCHIの実装について述べる。 連続的な制御ベンチマークでアルゴリズムのスケーラビリティを検証し、強力なモデルフリーおよびモデルベースラインを上回る性能を示す。
  論文  参考訳（メタデータ） (2020-07-11T19:44:09Z)
• Multiplicative noise and heavy tails in stochastic optimization [62.993432503309485]
  経験的最適化は現代の機械学習の中心であるが、その成功における役割はまだ不明である。 分散による離散乗法雑音のパラメータによく現れることを示す。 最新のステップサイズやデータを含む重要な要素について、詳細な分析を行い、いずれも最先端のニューラルネットワークモデルで同様の結果を示す。
  論文  参考訳（メタデータ） (2020-06-11T09:58:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。