論文の概要: Performative Prediction with Bandit Feedback: Learning through Reparameterization
- arxiv url: http://arxiv.org/abs/2305.01094v4
- Date: Mon, 12 Aug 2024 20:59:55 GMT
- ステータス: 処理完了
- システム内更新日: 2024-08-14 23:38:51.688920
- Title: Performative Prediction with Bandit Feedback: Learning through Reparameterization
- Title(参考訳): 帯域フィードバックを用いた変形予測:再パラメータ化による学習
- Authors: Yatong Chen, Wei Tang, Chien-Ju Ho, Yang Liu,
- Abstract要約: 行動予測は、データの分布自体がモデルの展開に応じて変化する社会予測を研究するためのフレームワークである。
本研究では,実行予測目標をデータ分散関数として再パラメータ化する再パラメータ化を開発する。
- 参考スコア(独自算出の注目度): 23.039885534575966
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Performative prediction, as introduced by Perdomo et al, is a framework for studying social prediction in which the data distribution itself changes in response to the deployment of a model. Existing work in this field usually hinges on three assumptions that are easily violated in practice: that the performative risk is convex over the deployed model, that the mapping from the model to the data distribution is known to the model designer in advance, and the first-order information of the performative risk is available. In this paper, we initiate the study of performative prediction problems that do not require these assumptions. Specifically, we develop a reparameterization framework that reparametrizes the performative prediction objective as a function of the induced data distribution. We then develop a two-level zeroth-order optimization procedure, where the first level performs iterative optimization on the distribution parameter space, and the second level learns the model that induces a particular target distribution at each iteration. Under mild conditions, this reparameterization allows us to transform the non-convex objective into a convex one and achieve provable regret guarantees. In particular, we provide a regret bound that is sublinear in the total number of performative samples taken and is only polynomial in the dimension of the model parameter.
- Abstract(参考訳): Perdomoらによって導入されたPerformative Predictionは、データ分布自体がモデルの展開に応じて変化する社会予測を研究するためのフレームワークである。
この分野での既存の作業は、通常、実行リスクがデプロイされたモデル上で凸である、モデルからデータ分散へのマッピングが事前にモデルデザイナに知られ、実行リスクの第一次情報が利用可能である、という3つの前提に反する。
本稿では,これらの仮定を必要としない性能予測問題の研究を開始する。
具体的には、誘導されたデータ分布の関数として、実行予測対象を再パラメータ化する再パラメータ化フレームワークを開発する。
次に、2段階ゼロ階最適化手法を開発し、第1段階が分布パラメータ空間上で反復最適化を行い、第2段階が各イテレーションで特定のターゲット分布を誘導するモデルを学習する。
穏やかな条件下では、この再パラメータ化により、非凸目標を凸目標に変換し、証明可能な後悔の保証を達成することができる。
特に、得られた実演サンプルの総数において線型であり、モデルパラメータの次元における多項式である後悔境界を提供する。
関連論文リスト
- Inference at the data's edge: Gaussian processes for modeling and inference under model-dependency, poor overlap, and extrapolation [0.0]
ガウス過程 (GP) はフレキシブルな非線形回帰法である。
これは、予測された(非現実的な)値に対する不確実性を扱うための原則化されたアプローチを提供する。
これは外挿または弱い重なり合いの条件下では特に有用である。
論文 参考訳(メタデータ) (2024-07-15T05:09:50Z) - Rejection via Learning Density Ratios [50.91522897152437]
拒絶による分類は、モデルを予測しないことを許容する学習パラダイムとして現れます。
そこで我々は,事前学習したモデルの性能を最大化する理想的なデータ分布を求める。
私たちのフレームワークは、クリーンでノイズの多いデータセットで実証的にテストされます。
論文 参考訳(メタデータ) (2024-05-29T01:32:17Z) - Source-Free Unsupervised Domain Adaptation with Hypothesis Consolidation
of Prediction Rationale [53.152460508207184]
Source-Free Unsupervised Domain Adaptation (SFUDA)は、モデルがターゲットのドメインラベルやソースドメインデータにアクセスせずに新しいドメインに適応する必要がある、という課題である。
本稿では,各サンプルについて複数の予測仮説を考察し,各仮説の背景にある理論的根拠について考察する。
最適性能を達成するために,モデル事前適応,仮説統合,半教師付き学習という3段階の適応プロセスを提案する。
論文 参考訳(メタデータ) (2024-02-02T05:53:22Z) - DF2: Distribution-Free Decision-Focused Learning [53.2476224456902]
決定中心学習(DFL)は近年,予測最適化問題に対する強力なアプローチとして出現している。
既存のエンドツーエンドDFL法は、モデル誤差、サンプル平均近似誤差、予測対象の分布に基づくパラメータ化の3つの重大なボトルネックによって妨げられている。
DF2は,これら3つのボトルネックに明示的に対処するために設計された,初となるテキストフリーな意思決定型学習手法である。
論文 参考訳(メタデータ) (2023-08-11T00:44:46Z) - Prediction-Oriented Bayesian Active Learning [51.426960808684655]
予測情報ゲイン(EPIG)は、パラメータではなく予測空間における情報ゲインを測定する。
EPIGは、さまざまなデータセットやモデルにわたるBALDと比較して、予測パフォーマンスが向上する。
論文 参考訳(メタデータ) (2023-04-17T10:59:57Z) - Performative Prediction with Neural Networks [22.66295224352892]
パフォーマンス予測は、予測するデータに影響を与えるモデルを学習するためのフレームワークである。
繰り返しリスク最小化法を用いて、性能的に安定な分類器を見つけるための標準収束結果は、データの分布がモデルのパラメータに連続であることを仮定する。
この研究では、データ分布はモデルの予測に関してリプシッツ連続であると仮定する。
論文 参考訳(メタデータ) (2023-04-14T01:12:48Z) - Optimizing model-agnostic Random Subspace ensembles [5.680512932725364]
教師あり学習のためのモデルに依存しないアンサンブルアプローチを提案する。
提案手法は、ランダム部分空間アプローチのパラメトリックバージョンを用いてモデルのアンサンブルを学習することとを交互に行う。
シミュレーションおよび実世界のデータセット上で,予測と特徴ランキングの両面で,提案手法の優れた性能を示す。
論文 参考訳(メタデータ) (2021-09-07T13:58:23Z) - Scalable Marginal Likelihood Estimation for Model Selection in Deep
Learning [78.83598532168256]
階層型モデル選択は、推定困難のため、ディープラーニングではほとんど使われない。
本研究は,検証データが利用できない場合,限界的可能性によって一般化が向上し,有用であることを示す。
論文 参考訳(メタデータ) (2021-04-11T09:50:24Z) - Unlabelled Data Improves Bayesian Uncertainty Calibration under
Covariate Shift [100.52588638477862]
後続正則化に基づく近似ベイズ推定法を開発した。
前立腺癌の予後モデルを世界規模で導入する上で,本手法の有用性を実証する。
論文 参考訳(メタデータ) (2020-06-26T13:50:19Z) - Stochastic Optimization for Performative Prediction [31.876692592395777]
モデルパラメータを単に更新することと、新しいモデルをデプロイすることの違いについて検討する。
各更新後にモデルを厳格にデプロイし、再デプロイする前に数回の更新を行うための収束率を証明する。
彼らは、パフォーマンス効果の強さによって、どちらのアプローチも他方よりも優れる体制が存在することを説明している。
論文 参考訳(メタデータ) (2020-06-12T00:31:16Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。