論文の概要: Optimal Empirical Risk Minimization under Temporal Distribution Shifts
- arxiv url: http://arxiv.org/abs/2507.13287v1
- Date: Thu, 17 Jul 2025 16:53:31 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-07-18 20:10:24.580788
- Title: Optimal Empirical Risk Minimization under Temporal Distribution Shifts
- Title（参考訳）: 時間分布シフトによる最適経験的リスク最小化
- Authors: Yujin Jeong, Ramesh Johari, Dominik Rothenhäusler, Emily Fox,
- Abstract要約: 本稿では,時間分布シフトの際の実験的リスク最小化手順を最適に導出するRIDERを紹介する。
RIDERは、Yearbookデータセットの微調整ステップとして適用した場合、サンプル外予測性能を一貫して改善することを示す。
また、RIDERは、株式市場のボラティリティの予測と、ニューヨーク市のタクシーデータにおける乗車時間の予測という、2つの現実的なタスクにおいて、標準的な重み付け戦略よりも優れていることを示す。
- 参考スコア（独自算出の注目度）: 6.374763930914524
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Temporal distribution shifts pose a key challenge for machine learning models trained and deployed in dynamically evolving environments. This paper introduces RIDER (RIsk minimization under Dynamically Evolving Regimes) which derives optimally-weighted empirical risk minimization procedures under temporal distribution shifts. Our approach is theoretically grounded in the random distribution shift model, where random shifts arise as a superposition of numerous unpredictable changes in the data-generating process. We show that common weighting schemes, such as pooling all data, exponentially weighting data, and using only the most recent data, emerge naturally as special cases in our framework. We demonstrate that RIDER consistently improves out-of-sample predictive performance when applied as a fine-tuning step on the Yearbook dataset, across a range of benchmark methods in Wild-Time. Moreover, we show that RIDER outperforms standard weighting strategies in two other real-world tasks: predicting stock market volatility and forecasting ride durations in NYC taxi data.
- Abstract（参考訳）: 時間分布シフトは、動的に進化する環境でトレーニングされ、デプロイされる機械学習モデルにとって重要な課題である。
本稿では、時間分布シフトによる最適重み付き経験的リスク最小化手順を導出するRIDER(RIsk Minimization under Dynamically Evolving Regimes)を提案する。
提案手法は,データ生成過程における多くの予測不可能な変化の重畳としてランダムなシフトが発生する確率分布シフトモデルに理論的に基礎を置いている。
すべてのデータをプールしたり、指数関数的に重み付けしたり、最新のデータのみを使用したりといった、一般的な重み付けスキームが、私たちのフレームワークの特別なケースとして自然に現れることを示す。
RIDERは、Wild-Timeの様々なベンチマーク手法を用いて、Yearbookデータセットの微調整ステップとして適用した場合、サンプル外予測性能を一貫して改善することを示した。
さらに、RIDERは、株式市場のボラティリティの予測と、ニューヨーク市のタクシーデータにおける乗車時間の予測という、2つの現実的なタスクにおいて、標準的な重み付け戦略よりも優れていることを示す。
関連論文リスト
- A Simplified Analysis of SGD for Linear Regression with Weight Averaging [64.2393952273612]
最近の研究は、定常学習率を用いた線形回帰におけるSGD最適化のためのシャープレートを提供する。
簡単な線形代数ツールを用いて,2021ベニグニグニグニグニグニグニグニグニグニグニグニグニグニグニグニグニグニグニグニグニグニグニグニグナグニグニグニグニグニグニグニグニグニグニグネグニグニグニグニグネグニグニグネグニ
我々の研究は線形回帰の勾配勾配を非常に容易に解析し、ミニバッチと学習率のスケジューリングのさらなる分析に役立てることができると信じている。
論文 参考訳（メタデータ） (2025-06-18T15:10:38Z) - Efficient Safety Alignment of Large Language Models via Preference Re-ranking and Representation-based Reward Modeling [84.00480999255628]
大規模言語モデル(LLM)の安全性アライメントのための強化学習アルゴリズムは,分散シフトの課題に直面している。
現在のアプローチでは、ターゲットポリシーからのオンラインサンプリングを通じてこの問題に対処するのが一般的である。
モデル固有の安全判断能力を活用して報酬信号を抽出する新しいフレームワークを提案する。
論文 参考訳（メタデータ） (2025-03-13T06:40:34Z) - Tight Lower Bounds and Improved Convergence in Performative Prediction [29.169972807928]
過去のスナップショットから過去のデータセットを活用することで、繰り返しリスク最小化(RRM)フレームワークを拡張します。
データセットの最終イテレーションのみを使用するメソッドに対して,新たな上限を導入します。
様々な性能予測ベンチマークにおいて,安定点への高速収束を実証的に観察する。
論文 参考訳（メタデータ） (2024-12-04T19:06:19Z) - ReAugment: Model Zoo-Guided RL for Few-Shot Time Series Augmentation and Forecasting [74.00765474305288]
本稿では,時系列データ拡張のための強化学習(RL)の試験的検討を行う。
我々の手法であるReAugmentは、トレーニングセットのどの部分が拡張されるべきか、どのように拡張を行うべきか、RLがプロセスにどのような利点をもたらすのか、という3つの重要な問題に取り組む。
論文 参考訳（メタデータ） (2024-09-10T07:34:19Z) - Out of the Ordinary: Spectrally Adapting Regression for Covariate Shift [12.770658031721435]
本稿では,学習前のニューラル回帰モデルの最後の層の重みを適応させて,異なる分布から得られる入力データを改善する手法を提案する。
本稿では,この軽量なスペクトル適応手法により,合成および実世界のデータセットの分布外性能が向上することを示す。
論文 参考訳（メタデータ） (2023-12-29T04:15:58Z) - A Conditioned Unsupervised Regression Framework Attuned to the Dynamic Nature of Data Streams [0.0]
本稿では,制限付きラベル付きデータを用いたストリーミング環境の最適戦略を提案し,教師なし回帰のための適応手法を提案する。
提案手法は,初期ラベルのスパースセットを活用し,革新的なドリフト検出機構を導入する。
適応性を高めるために,Adaptive WINdowingアルゴリズムとRoot Mean Square Error (RMSE)に基づく誤り一般化アルゴリズムを統合する。
論文 参考訳（メタデータ） (2023-12-12T19:23:54Z) - MemDA: Forecasting Urban Time Series with Memory-based Drift Adaptation [24.284969264008733]
本稿では,データの周期性を考慮してドリフトを符号化するコンセプトドリフト問題に対する新しい都市時系列予測モデルを提案する。
我々の設計は最先端の手法よりも優れており、既存の予測バックボーンに十分に一般化することができる。
論文 参考訳（メタデータ） (2023-09-25T15:22:28Z) - Time Series Prediction under Distribution Shift using Differentiable
Forgetting [0.0]
我々は,重み付き経験的リスク最小化問題として,分布シフトの下での時系列予測について検討した。
経験的リスクにおける過去の観測の重み付けは、忘れる機構によって決定される。
そこで本研究では,忘れる機構のパラメータに対する勾配に基づく学習手法を提案する。
論文 参考訳（メタデータ） (2022-07-23T10:32:37Z) - An Empirical Study on Distribution Shift Robustness From the Perspective
of Pre-Training and Data Augmentation [91.62129090006745]
本稿では,事前学習とデータ拡張の観点から分布シフト問題を考察する。
我々は,事前学習とデータ拡張に焦点を当てた,最初の総合的な実証的研究を行った。
論文 参考訳（メタデータ） (2022-05-25T13:04:53Z) - Distributionally Robust Models with Parametric Likelihood Ratios [123.05074253513935]
3つの単純なアイデアにより、より広いパラメトリックな確率比のクラスを用いてDROでモデルを訓練することができる。
パラメトリック逆数を用いてトレーニングしたモデルは、他のDROアプローチと比較して、サブポピュレーションシフトに対して一貫して頑健であることがわかった。
論文 参考訳（メタデータ） (2022-04-13T12:43:12Z) - Which Invariance Should We Transfer? A Causal Minimax Learning Approach [18.71316951734806]
本稿では、因果的観点からの包括的ミニマックス分析について述べる。
最小の最悪のリスクを持つサブセットを探索する効率的なアルゴリズムを提案する。
本手法の有効性と有効性は, 合成データとアルツハイマー病の診断で実証された。
論文 参考訳（メタデータ） (2021-07-05T09:07:29Z) - Learning Invariant Representations and Risks for Semi-supervised Domain
Adaptation [109.73983088432364]
半教師付きドメイン適応(Semi-DA)の設定の下で不変表現とリスクを同時に学習することを目的とした最初の手法を提案する。
共同で textbfLearning textbfInvariant textbfRepresentations と textbfRisks の LIRR アルゴリズムを導入する。
論文 参考訳（メタデータ） (2020-10-09T15:42:35Z) - Multiplicative noise and heavy tails in stochastic optimization [62.993432503309485]
経験的最適化は現代の機械学習の中心であるが、その成功における役割はまだ不明である。
分散による離散乗法雑音のパラメータによく現れることを示す。
最新のステップサイズやデータを含む重要な要素について、詳細な分析を行い、いずれも最先端のニューラルネットワークモデルで同様の結果を示す。
論文 参考訳（メタデータ） (2020-06-11T09:58:01Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。