論文の概要: Performative Prediction with Bandit Feedback: Learning through Reparameterization

• arxiv url: http://arxiv.org/abs/2305.01094v3
• Date: Tue, 24 Oct 2023 20:16:24 GMT
• ステータス: 処理完了
• システム内更新日: 2023-10-26 21:13:45.383796
• Title: Performative Prediction with Bandit Feedback: Learning through Reparameterization
• Title（参考訳）: バンディットフィードバックによる実効予測:再パラメータ化による学習
• Authors: Yatong Chen, Wei Tang, Chien-Ju Ho, Yang Liu
• Abstract要約: 本研究では,データ分散の関数として性能予測を再パラメータ化するフレームワークを開発する。 提案手法は, モデルパラメータの次元にのみ含まれる, 実演用サンプルの総数に準線形な後悔境界を与える。 アプリケーション側では、YouTubeやTokTokのような大規模オンラインレコメンデーションシステムに有効な方法だと考えています。
• 参考スコア（独自算出の注目度）: 25.169419772432796
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Performative prediction, as introduced by \citeauthor{perdomo2020performative}, is a framework for studying social prediction in which the data distribution itself changes in response to the deployment of a model. Existing work in this field usually hinges on three assumptions that are easily violated in practice: that the performative risk is convex over the deployed model, that the mapping from the model to the data distribution is known to the model designer in advance, and the first-order information of the performative risk is available. In this paper, we initiate the study of performative prediction problems that do not require these assumptions. Specifically, we develop a {\em reparameterization} framework that reparametrizes the performative prediction objective as a function of the induced data distribution. We also develop a two-level zeroth-order optimization procedure, where the first level performs iterative optimization on the distribution parameter space, and the second level learns the model that induced a particular target distribution parameter at each iteration. Under mild conditions, this reparameterization allows us to transform the non-convex objective into a convex one and achieve provable regret guarantees. In particular, we provide a regret bound that is sublinear in the total number of performative samples taken and is only polynomial in the dimension of the model parameter. On the application side, we believe our method is useful for large online recommendation systems like YouTube or TikTok, where the recommendation update frequency is high and might potentially reshape future preferences.
• Abstract（参考訳）: 実効的予測は、 \citeauthor{perdomo2020performative} によって導入された、モデルの展開に応じてデータ分布自体が変化する社会予測を研究するためのフレームワークである。 この分野での既存の作業は通常、実行リスクがデプロイされたモデル上で凸である、モデルからデータ分散へのマッピングが事前にモデルデザイナに知られており、実行リスクの第一次情報が利用可能である、という3つの前提に基づいている。 本稿では,これらの仮定を必要としない実効予測問題の研究を開始する。 具体的には、実行予測目標を誘導データ分布の関数として再パラメータ化する「em再パラメータ化」フレームワークを開発する。 また,第1レベルが分布パラメータ空間上で反復最適化を行い,第2レベルが各イテレーションで特定の目標分布パラメータを誘導するモデルを学習する2レベルゼロ階最適化手法を開発した。 軽度条件下では、この再パラメータ化により、非凸目標を凸目標に変換し、証明可能な後悔保証を達成することができる。 特に, 実演サンプルの総数において部分線形であり, モデルパラメータの次元における多項式のみである後悔境界を与える。 アプリケーション側では、youtubeやtiktokのような大規模なオンラインレコメンデーションシステムでは、レコメンデーション更新頻度が高く、将来の好みを変える可能性がある。

関連論文リスト

• Progression: an extrapolation principle for regression [0.0]
  本稿では,新しい統計外挿原理を提案する。 これは、予測器とトレーニング予測器のサンプルの境界における応答との単純な関係を仮定する。 我々の半パラメトリック法である進行法は、この外挿原理を活用し、トレーニングデータ範囲を超えた近似誤差の保証を提供する。
  論文  参考訳（メタデータ） (2024-10-30T17:29:51Z)
• Influence Functions for Scalable Data Attribution in Diffusion Models [52.92223039302037]
  拡散モデルは、生成的モデリングに大きな進歩をもたらした。 しかし、彼らの普及はデータ属性と解釈可能性に関する課題を引き起こす。 本稿では,テキスト・インフルエンス・ファンクション・フレームワークを開発することにより,このような課題に対処することを目的とする。
  論文  参考訳（メタデータ） (2024-10-17T17:59:02Z)
• Inference at the data's edge: Gaussian processes for modeling and inference under model-dependency, poor overlap, and extrapolation [0.0]
  ガウス過程 (GP) はフレキシブルな非線形回帰法である。 これは、予測された(非現実的な)値に対する不確実性を扱うための原則化されたアプローチを提供する。 これは外挿または弱い重なり合いの条件下では特に有用である。
  論文  参考訳（メタデータ） (2024-07-15T05:09:50Z)
• Rejection via Learning Density Ratios [50.91522897152437]
  拒絶による分類は、モデルを予測しないことを許容する学習パラダイムとして現れます。 そこで我々は,事前学習したモデルの性能を最大化する理想的なデータ分布を求める。 私たちのフレームワークは、クリーンでノイズの多いデータセットで実証的にテストされます。
  論文  参考訳（メタデータ） (2024-05-29T01:32:17Z)
• Source-Free Unsupervised Domain Adaptation with Hypothesis Consolidation of Prediction Rationale [53.152460508207184]
  Source-Free Unsupervised Domain Adaptation (SFUDA)は、モデルがターゲットのドメインラベルやソースドメインデータにアクセスせずに新しいドメインに適応する必要がある、という課題である。 本稿では,各サンプルについて複数の予測仮説を考察し,各仮説の背景にある理論的根拠について考察する。 最適性能を達成するために,モデル事前適応,仮説統合,半教師付き学習という3段階の適応プロセスを提案する。
  論文  参考訳（メタデータ） (2024-02-02T05:53:22Z)
• DF2: Distribution-Free Decision-Focused Learning [53.2476224456902]
  決定中心学習(DFL)は近年,予測最適化問題に対する強力なアプローチとして出現している。 既存のエンドツーエンドDFL法は、モデル誤差、サンプル平均近似誤差、予測対象の分布に基づくパラメータ化の3つの重大なボトルネックによって妨げられている。 DF2は,これら3つのボトルネックに明示的に対処するために設計された,初となるテキストフリーな意思決定型学習手法である。
  論文  参考訳（メタデータ） (2023-08-11T00:44:46Z)
• Performative Prediction with Neural Networks [24.880495520422]
  パフォーマンス予測は、予測するデータに影響を与えるモデルを学習するためのフレームワークである。 繰り返しリスク最小化法を用いて、性能的に安定な分類器を見つけるための標準収束結果は、データの分布がモデルのパラメータに連続であることを仮定する。 この研究では、データ分布はモデルの予測に関してリプシッツ連続であると仮定する。
  論文  参考訳（メタデータ） (2023-04-14T01:12:48Z)
• Optimizing model-agnostic Random Subspace ensembles [5.680512932725364]
  教師あり学習のためのモデルに依存しないアンサンブルアプローチを提案する。 提案手法は、ランダム部分空間アプローチのパラメトリックバージョンを用いてモデルのアンサンブルを学習することとを交互に行う。 シミュレーションおよび実世界のデータセット上で,予測と特徴ランキングの両面で,提案手法の優れた性能を示す。
  論文  参考訳（メタデータ） (2021-09-07T13:58:23Z)
• Learning Consistent Deep Generative Models from Sparse Data via Prediction Constraints [16.48824312904122]
  我々は変分オートエンコーダやその他の深層生成モデルを学ぶための新しいフレームワークを開発する。 これら2つのコントリビューション -- 予測制約と一貫性制約 -- が,画像分類性能の有望な向上につながることを示す。
  論文  参考訳（メタデータ） (2020-12-12T04:18:50Z)
• Estimating Generalization under Distribution Shifts via Domain-Invariant Representations [75.74928159249225]
  未知の真のターゲットラベルのプロキシとして、ドメイン不変の予測器のセットを使用します。 結果として生じるリスク見積の誤差は、プロキシモデルのターゲットリスクに依存する。
  論文  参考訳（メタデータ） (2020-07-06T17:21:24Z)
• Unlabelled Data Improves Bayesian Uncertainty Calibration under Covariate Shift [100.52588638477862]
  後続正則化に基づく近似ベイズ推定法を開発した。 前立腺癌の予後モデルを世界規模で導入する上で,本手法の有用性を実証する。
  論文  参考訳（メタデータ） (2020-06-26T13:50:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。