論文の概要: Tight Lower Bounds and Improved Convergence in Performative Prediction

• arxiv url: http://arxiv.org/abs/2412.03671v1
• Date: Wed, 04 Dec 2024 19:06:19 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-06 14:42:10.581115
• Title: Tight Lower Bounds and Improved Convergence in Performative Prediction
• Title（参考訳）: 変形予測における下地境界の高度化と収束性の改善
• Authors: Pedram Khorsandi, Rushil Gupta, Mehrnaz Mofakhami, Simon Lacoste-Julien, Gauthier Gidel,
• Abstract要約: 過去のスナップショットから過去のデータセットを活用することで、繰り返しリスク最小化(RRM)フレームワークを拡張します。 データセットの最終イテレーションのみを使用するメソッドに対して,新たな上限を導入します。 様々な性能予測ベンチマークにおいて,安定点への高速収束を実証的に観察する。
• 参考スコア（独自算出の注目度）: 29.169972807928
• License:
• Abstract: Performative prediction is a framework accounting for the shift in the data distribution induced by the prediction of a model deployed in the real world. Ensuring rapid convergence to a stable solution where the data distribution remains the same after the model deployment is crucial, especially in evolving environments. This paper extends the Repeated Risk Minimization (RRM) framework by utilizing historical datasets from previous retraining snapshots, yielding a class of algorithms that we call Affine Risk Minimizers and enabling convergence to a performatively stable point for a broader class of problems. We introduce a new upper bound for methods that use only the final iteration of the dataset and prove for the first time the tightness of both this new bound and the previous existing bounds within the same regime. We also prove that utilizing historical datasets can surpass the lower bound for last iterate RRM, and empirically observe faster convergence to the stable point on various performative prediction benchmarks. We offer at the same time the first lower bound analysis for RRM within the class of Affine Risk Minimizers, quantifying the potential improvements in convergence speed that could be achieved with other variants in our framework.
• Abstract（参考訳）: パフォーマンス予測(Performative prediction)は、現実世界にデプロイされたモデルの予測によって引き起こされるデータ分散の変化を考慮に入れたフレームワークである。 モデルデプロイメントが重要で、特に進化する環境では、データの分散が同じである安定したソリューションに迅速に収束する。 本稿では,従来のリトレーニングスナップショットからの履歴データセットを利用して,アフィンリスク最小化器(Affine Risk Minimizers)と呼ばれるアルゴリズムのクラスを生成し,より広範な問題に対する実行的安定点への収束を可能にすることにより,RRM(Repeated Risk Minimization)フレームワークを拡張した。 我々は、データセットの最終イテレーションのみを使用するメソッドに対して、新しい上限を導入し、この新しい境界と、同じ状態にある既存の境界の両方の厳密さを初めて証明する。 また、過去のデータセットを利用することで、最終反復RRMの下位境界を超え、様々な性能予測ベンチマークにおいて、安定点への高速収束を実証的に観察できることも証明した。 同時に、Affine Risk Minimizers のクラスにおける RRM の最初の下界解析を提供し、我々のフレームワークの他の変種で達成可能な収束速度の潜在的な改善を定量化します。

関連論文リスト

• Risk and cross validation in ridge regression with correlated samples [72.59731158970894]
  我々は,データポイントが任意の相関関係を持つ場合,リッジ回帰のイン・オブ・サンプルリスクのトレーニング例を提供する。 さらに、テストポイントがトレーニングセットと非自明な相関を持ち、時系列予測で頻繁に発生するような場合まで分析を拡張します。 我々は多種多様な高次元データにまたがって理論を検証する。
  論文  参考訳（メタデータ） (2024-08-08T17:27:29Z)
• CoRMF: Criticality-Ordered Recurrent Mean Field Ising Solver [4.364088891019632]
  我々は、RNNに基づく効率的なIsingモデル解法、Criticality-ordered Recurrent Mean Field (CoRMF)を提案する。 基礎となるIsingグラフの近似木構造を利用することで、新しく得られた臨界度順序は、変動平均場とRNNの統一を可能にする。 CoRFMはデータ/証拠のない自己学習方式でIsing問題を解き、RNNから直接サンプリングすることで推論タスクを実行することができる。
  論文  参考訳（メタデータ） (2024-03-05T16:55:06Z)
• Consensus-Adaptive RANSAC [104.87576373187426]
  本稿では,パラメータ空間の探索を学習する新しいRANSACフレームワークを提案する。 注意機構は、ポイント・ツー・モデル残差のバッチで動作し、軽量のワンステップ・トランスフォーマーで見いだされたコンセンサスを考慮するために、ポイント・ツー・モデル推定状態を更新する。
  論文  参考訳（メタデータ） (2023-07-26T08:25:46Z)
• Domain-Adjusted Regression or: ERM May Already Learn Features Sufficient for Out-of-Distribution Generalization [52.7137956951533]
  既存の特徴から予測器を学習するためのよりシンプルな手法を考案することは、将来の研究にとって有望な方向である、と我々は主張する。 本稿では,線形予測器を学習するための凸目標である領域調整回帰(DARE)を紹介する。 自然モデルの下では、DARE解が制限されたテスト分布の集合に対する最小最適予測器であることを証明する。
  論文  参考訳（メタデータ） (2022-02-14T16:42:16Z)
• RIFLE: Imputation and Robust Inference from Low Order Marginals [10.082738539201804]
  我々は,不備なデータの存在下での回帰と分類のための統計的推論フレームワークを開発する。 我々のフレームワークであるRIFLEは、基礎となるデータ分布の低次モーメントを対応する信頼区間で推定し、分布的に堅牢なモデルを学ぶ。 実験の結果,RIFLEは,欠落値の割合が高い場合や,データポイント数が比較的小さい場合には,他のベンチマークアルゴリズムよりも優れていることがわかった。
  論文  参考訳（メタデータ） (2021-09-01T23:17:30Z)
• Risk Minimization from Adaptively Collected Data: Guarantees for Supervised and Policy Learning [57.88785630755165]
  経験的リスク最小化(Empirical Risk Minimization, ERM)は、機械学習のワークホースであるが、適応的に収集されたデータを使用すると、そのモデルに依存しない保証が失敗する可能性がある。 本研究では,仮説クラス上での損失関数の平均値を最小限に抑えるため,適応的に収集したデータを用いた一般的な重み付きERMアルゴリズムについて検討する。 政策学習では、探索がゼロになるたびに既存の文献のオープンギャップを埋める率-最適後悔保証を提供する。
  論文  参考訳（メタデータ） (2021-06-03T09:50:13Z)
• The Risks of Invariant Risk Minimization [52.7137956951533]
  不変リスク最小化(Invariant Risk Minimization)は、データの深い不変性を学ぶという考え方に基づく目標である。 我々は、IRMの目的に基づく分類の最初の分析と、最近提案されたこれらの代替案について、かなり自然で一般的なモデルで分析する。 IRMは、テストデータがトレーニング分布と十分に類似していない限り、破滅的に失敗する可能性がある。
  論文  参考訳（メタデータ） (2020-10-12T14:54:32Z)
• Learning Invariant Representations and Risks for Semi-supervised Domain Adaptation [109.73983088432364]
  半教師付きドメイン適応(Semi-DA)の設定の下で不変表現とリスクを同時に学習することを目的とした最初の手法を提案する。 共同で textbfLearning textbfInvariant textbfRepresentations と textbfRisks の LIRR アルゴリズムを導入する。
  論文  参考訳（メタデータ） (2020-10-09T15:42:35Z)
• Meta Learning as Bayes Risk Minimization [18.76745359031975]
  確率的フレームワークを使用して、関連する2つのタスクの意味を定式化する。 我々の定式化において、BRM最適解は、文脈データセット上で条件付けられたタスク固有の潜在変数の後方分布から計算された予測分布によって与えられる。 後部分布の近似は、真の後部分布と同じ速度で最大推定値に収束することを示す。
  論文  参考訳（メタデータ） (2020-06-02T09:38:00Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。