論文の概要: Performative Prediction with Bandit Feedback: Learning through
Reparameterization
- arxiv url: http://arxiv.org/abs/2305.01094v3
- Date: Tue, 24 Oct 2023 20:16:24 GMT
- ステータス: 処理完了
- システム内更新日: 2023-10-26 21:13:45.383796
- Title: Performative Prediction with Bandit Feedback: Learning through
Reparameterization
- Title(参考訳): バンディットフィードバックによる実効予測:再パラメータ化による学習
- Authors: Yatong Chen, Wei Tang, Chien-Ju Ho, Yang Liu
- Abstract要約: 本研究では,データ分散の関数として性能予測を再パラメータ化するフレームワークを開発する。
提案手法は, モデルパラメータの次元にのみ含まれる, 実演用サンプルの総数に準線形な後悔境界を与える。
アプリケーション側では、YouTubeやTokTokのような大規模オンラインレコメンデーションシステムに有効な方法だと考えています。
- 参考スコア(独自算出の注目度): 25.169419772432796
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Performative prediction, as introduced by
\citeauthor{perdomo2020performative}, is a framework for studying social
prediction in which the data distribution itself changes in response to the
deployment of a model. Existing work in this field usually hinges on three
assumptions that are easily violated in practice: that the performative risk is
convex over the deployed model, that the mapping from the model to the data
distribution is known to the model designer in advance, and the first-order
information of the performative risk is available. In this paper, we initiate
the study of performative prediction problems that do not require these
assumptions. Specifically, we develop a {\em reparameterization} framework that
reparametrizes the performative prediction objective as a function of the
induced data distribution. We also develop a two-level zeroth-order
optimization procedure, where the first level performs iterative optimization
on the distribution parameter space, and the second level learns the model that
induced a particular target distribution parameter at each iteration. Under
mild conditions, this reparameterization allows us to transform the non-convex
objective into a convex one and achieve provable regret guarantees. In
particular, we provide a regret bound that is sublinear in the total number of
performative samples taken and is only polynomial in the dimension of the model
parameter. On the application side, we believe our method is useful for large
online recommendation systems like YouTube or TikTok, where the recommendation
update frequency is high and might potentially reshape future preferences.
- Abstract(参考訳): 実効的予測は、 \citeauthor{perdomo2020performative} によって導入された、モデルの展開に応じてデータ分布自体が変化する社会予測を研究するためのフレームワークである。
この分野での既存の作業は通常、実行リスクがデプロイされたモデル上で凸である、モデルからデータ分散へのマッピングが事前にモデルデザイナに知られており、実行リスクの第一次情報が利用可能である、という3つの前提に基づいている。
本稿では,これらの仮定を必要としない実効予測問題の研究を開始する。
具体的には、実行予測目標を誘導データ分布の関数として再パラメータ化する「em再パラメータ化」フレームワークを開発する。
また,第1レベルが分布パラメータ空間上で反復最適化を行い,第2レベルが各イテレーションで特定の目標分布パラメータを誘導するモデルを学習する2レベルゼロ階最適化手法を開発した。
軽度条件下では、この再パラメータ化により、非凸目標を凸目標に変換し、証明可能な後悔保証を達成することができる。
特に, 実演サンプルの総数において部分線形であり, モデルパラメータの次元における多項式のみである後悔境界を与える。
アプリケーション側では、youtubeやtiktokのような大規模なオンラインレコメンデーションシステムでは、レコメンデーション更新頻度が高く、将来の好みを変える可能性がある。
関連論文リスト
- Adaptive Optimization for Prediction with Missing Data [6.800113478497425]
適応線形回帰モデルの中には,命令規則と下流線形回帰モデルを同時に学習するのと等価なものもある。
ランダムにデータの欠落が強くない環境では,本手法はサンプル外精度を2~10%向上させる。
論文 参考訳(メタデータ) (2024-02-02T16:35:51Z) - Source-Free Unsupervised Domain Adaptation with Hypothesis Consolidation
of Prediction Rationale [53.152460508207184]
Source-Free Unsupervised Domain Adaptation (SFUDA)は、モデルがターゲットのドメインラベルやソースドメインデータにアクセスせずに新しいドメインに適応する必要がある、という課題である。
本稿では,各サンプルについて複数の予測仮説を考察し,各仮説の背景にある理論的根拠について考察する。
最適性能を達成するために,モデル事前適応,仮説統合,半教師付き学習という3段階の適応プロセスを提案する。
論文 参考訳(メタデータ) (2024-02-02T05:53:22Z) - A performance characteristic curve for model evaluation: the application
in information diffusion prediction [3.8711489380602804]
拡散データ中のランダム性を定量化するために,情報エントロピーに基づくメトリクスを提案し,モデルのランダム性と予測精度の間のスケーリングパターンを同定する。
異なるシーケンス長、システムサイズ、ランダム性によるパターンのデータポイントは、すべて単一の曲線に崩壊し、正しい予測を行うモデル固有の能力を取得する。
曲線の妥当性は、同じ家系の3つの予測モデルによって検証され、既存の研究と一致して結論に達する。
論文 参考訳(メタデータ) (2023-09-18T07:32:57Z) - DF2: Distribution-Free Decision-Focused Learning [53.2476224456902]
決定中心学習(DFL)は近年,予測最適化問題に対する強力なアプローチとして出現している。
既存のエンドツーエンドDFL法は、モデル誤差、サンプル平均近似誤差、予測対象の分布に基づくパラメータ化の3つの重大なボトルネックによって妨げられている。
DF2は,これら3つのボトルネックに明示的に対処するために設計された,初となるテキストフリーな意思決定型学習手法である。
論文 参考訳(メタデータ) (2023-08-11T00:44:46Z) - Precision-Recall Divergence Optimization for Generative Modeling with
GANs and Normalizing Flows [54.050498411883495]
本研究では,ジェネレーティブ・アドバイサル・ネットワークや正規化フローなどの生成モデルのための新しいトレーニング手法を開発した。
指定された精度-リコールトレードオフを達成することは、textitPR-divergencesと呼ぶ家族からのユニークな$f$-divergenceを最小化することを意味する。
当社のアプローチは,ImageNetなどのデータセットでテストした場合の精度とリコールの両面で,BigGANのような既存の最先端モデルの性能を向上させる。
論文 参考訳(メタデータ) (2023-05-30T10:07:17Z) - Prediction-Oriented Bayesian Active Learning [51.426960808684655]
予測情報ゲイン(EPIG)は、パラメータではなく予測空間における情報ゲインを測定する。
EPIGは、さまざまなデータセットやモデルにわたるBALDと比較して、予測パフォーマンスが向上する。
論文 参考訳(メタデータ) (2023-04-17T10:59:57Z) - Performative Prediction with Neural Networks [22.66295224352892]
パフォーマンス予測は、予測するデータに影響を与えるモデルを学習するためのフレームワークである。
繰り返しリスク最小化法を用いて、性能的に安定な分類器を見つけるための標準収束結果は、データの分布がモデルのパラメータに連続であることを仮定する。
この研究では、データ分布はモデルの予測に関してリプシッツ連続であると仮定する。
論文 参考訳(メタデータ) (2023-04-14T01:12:48Z) - Optimizing model-agnostic Random Subspace ensembles [5.680512932725364]
教師あり学習のためのモデルに依存しないアンサンブルアプローチを提案する。
提案手法は、ランダム部分空間アプローチのパラメトリックバージョンを用いてモデルのアンサンブルを学習することとを交互に行う。
シミュレーションおよび実世界のデータセット上で,予測と特徴ランキングの両面で,提案手法の優れた性能を示す。
論文 参考訳(メタデータ) (2021-09-07T13:58:23Z) - Scalable Marginal Likelihood Estimation for Model Selection in Deep
Learning [78.83598532168256]
階層型モデル選択は、推定困難のため、ディープラーニングではほとんど使われない。
本研究は,検証データが利用できない場合,限界的可能性によって一般化が向上し,有用であることを示す。
論文 参考訳(メタデータ) (2021-04-11T09:50:24Z) - Unlabelled Data Improves Bayesian Uncertainty Calibration under
Covariate Shift [100.52588638477862]
後続正則化に基づく近似ベイズ推定法を開発した。
前立腺癌の予後モデルを世界規模で導入する上で,本手法の有用性を実証する。
論文 参考訳(メタデータ) (2020-06-26T13:50:19Z) - Stochastic Optimization for Performative Prediction [31.876692592395777]
モデルパラメータを単に更新することと、新しいモデルをデプロイすることの違いについて検討する。
各更新後にモデルを厳格にデプロイし、再デプロイする前に数回の更新を行うための収束率を証明する。
彼らは、パフォーマンス効果の強さによって、どちらのアプローチも他方よりも優れる体制が存在することを説明している。
論文 参考訳(メタデータ) (2020-06-12T00:31:16Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。