論文の概要: Learning from Aggregate responses: Instance Level versus Bag Level Loss
Functions
- arxiv url: http://arxiv.org/abs/2401.11081v1
- Date: Sat, 20 Jan 2024 02:14:11 GMT
- ステータス: 処理完了
- システム内更新日: 2024-01-23 18:06:06.935133
- Title: Learning from Aggregate responses: Instance Level versus Bag Level Loss
Functions
- Title（参考訳）: 集約応答から学ぶ: インスタンスレベル対バッグレベルの損失関数
- Authors: Adel Javanmard, Lin Chen, Vahab Mirrokni, Ashwinkumar Badanidiyuru,
Gang Fu
- Abstract要約: 多くの実践的アプリケーションでは、学習者のプライバシを保護するために、学習者と共有する前にトレーニングデータを集約する。
本研究では,バッグレベルの損失とインスタンスレベルの損失の2つの自然損失関数について検討した。
本稿では,アグリゲート応答からの個人学習のメカニズムを提案し,リスクプライバシトレードオフの予測の観点から最適なバッグサイズを導出する。
- 参考スコア（独自算出の注目度）: 23.32422115080128
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Due to the rise of privacy concerns, in many practical applications the
training data is aggregated before being shared with the learner, in order to
protect privacy of users' sensitive responses. In an aggregate learning
framework, the dataset is grouped into bags of samples, where each bag is
available only with an aggregate response, providing a summary of individuals'
responses in that bag. In this paper, we study two natural loss functions for
learning from aggregate responses: bag-level loss and the instance-level loss.
In the former, the model is learnt by minimizing a loss between aggregate
responses and aggregate model predictions, while in the latter the model aims
to fit individual predictions to the aggregate responses. In this work, we show
that the instance-level loss can be perceived as a regularized form of the
bag-level loss. This observation lets us compare the two approaches with
respect to bias and variance of the resulting estimators, and introduce a novel
interpolating estimator which combines the two approaches. For linear
regression tasks, we provide a precise characterization of the risk of the
interpolating estimator in an asymptotic regime where the size of the training
set grows in proportion to the features dimension. Our analysis allows us to
theoretically understand the effect of different factors, such as bag size on
the model prediction risk. In addition, we propose a mechanism for
differentially private learning from aggregate responses and derive the optimal
bag size in terms of prediction risk-privacy trade-off. We also carry out
thorough experiments to corroborate our theory and show the efficacy of the
interpolating estimator.
- Abstract（参考訳）: プライバシの懸念の高まりにより、多くの実用的なアプリケーションでは、トレーニングデータは学習者と共有する前に集約され、ユーザの敏感な応答のプライバシを保護する。
集合学習フレームワークでは、データセットはサンプルの袋にグループ化され、各バッグは集約されたレスポンスでのみ利用でき、そのバッグ内の個人のレスポンスの要約を提供する。
本稿では,バッグレベルの損失とインスタンスレベルの損失の2つの自然な損失関数について検討する。
前者はアグリゲート応答とアグリゲートモデル予測の損失を最小限にすることで学習し、後者ではアグリゲート応答に個々の予測を適合させることを目標としている。
本研究では,バッグレベルの損失の正規化形態として,インスタンスレベルの損失を認識できることを示す。
この観測により, 得られた推定器の偏りと分散に対する2つのアプローチを比較し, 2つのアプローチを組み合わせた新しい補間推定器を提案する。
線形回帰タスクでは,特徴量に比例してトレーニング集合のサイズが大きくなる漸近的な環境において,補間推定器のリスクを正確に評価する。
解析により,バッグサイズなどの異なる要因がモデル予測リスクに与える影響を理論的に理解することができる。
さらに,アグリゲート応答からの個人学習のメカニズムを提案し,リスクプライバシトレードオフの予測の観点から最適なバッグサイズを導出する。
また,本理論を裏付ける徹底的な実験を行い,補間推定器の有効性を示す。
関連論文リスト
- Aggregation Weighting of Federated Learning via Generalization Bound
Estimation [65.8630966842025]
フェデレートラーニング(FL)は通常、サンプル比率によって決定される重み付けアプローチを使用して、クライアントモデルパラメータを集約する。
上記の重み付け法を,各局所モデルの一般化境界を考慮した新しい戦略に置き換える。
論文 参考訳（メタデータ） (2023-11-10T08:50:28Z) - Linked shrinkage to improve estimation of interaction effects in
regression models [0.0]
回帰モデルにおける双方向相互作用項によく適応する推定器を開発する。
我々は,選択戦略では難しい推論モデルの可能性を評価する。
私たちのモデルは、かなり大きなサンプルサイズであっても、ランダムな森林のような、より高度な機械学習者に対して非常に競争力があります。
論文 参考訳（メタデータ） (2023-09-25T10:03:39Z) - Structured Radial Basis Function Network: Modelling Diversity for
Multiple Hypotheses Prediction [51.82628081279621]
多重モード回帰は非定常過程の予測や分布の複雑な混合において重要である。
構造的放射基底関数ネットワークは回帰問題に対する複数の仮説予測器のアンサンブルとして提示される。
この構造モデルにより, このテッセルレーションを効率よく補間し, 複数の仮説対象分布を近似することが可能であることが証明された。
論文 参考訳（メタデータ） (2023-09-02T01:27:53Z) - When No-Rejection Learning is Consistent for Regression with Rejection [11.244583592648443]
本研究では,すべてのデータを用いて予測を学習するノンリジェクト学習戦略について検討する。
本稿では,すべてのデータを用いて予測を学習するノンリジェクト学習戦略について検討する。
論文 参考訳（メタデータ） (2023-07-06T11:43:22Z) - Learning from Aggregated Data: Curated Bags versus Random Bags [35.394402088653415]
我々は、個々のラベルではなく、集約されたデータラベルで機械学習モデルをトレーニングする可能性を探る。
キュレートしたバッグ設定では,性能の劣化を伴わずに勾配に基づく学習が可能であることを示す。
ランダムなバッグ設定では、バッグのサイズと達成可能なエラー率との間のトレードオフがある。
論文 参考訳（メタデータ） (2023-05-16T15:53:45Z) - CARMS: Categorical-Antithetic-REINFORCE Multi-Sample Gradient Estimator [60.799183326613395]
本稿では, 相互に負に相関した複数のサンプルに基づく分類的確率変数の非バイアス推定器を提案する。
CARMSは、ReINFORCEとコプラベースのサンプリングを組み合わせることで、重複サンプルを回避し、その分散を低減し、重要サンプリングを使用して推定器を偏りなく維持する。
我々は、生成的モデリングタスクと構造化された出力予測タスクに基づいて、いくつかのベンチマークデータセット上でCARMSを評価し、強力な自己制御ベースラインを含む競合する手法より優れていることを示す。
論文 参考訳（メタデータ） (2021-10-26T20:14:30Z) - Stateful Offline Contextual Policy Evaluation and Learning [88.9134799076718]
我々は、シーケンシャルデータから、政治以外の評価と学習について研究する。
動的パーソナライズされた価格設定などの問題の因果構造を形式化する。
本報告では,本クラスにおけるアウト・オブ・サンプル・ポリシーの性能改善について述べる。
論文 参考訳（メタデータ） (2021-10-19T16:15:56Z) - Strategic Instrumental Variable Regression: Recovering Causal
Relationships From Strategic Responses [16.874125120501944]
観測可能な特徴と予測したい結果の因果関係を回復するために,戦略的対応を効果的に活用できることが示される。
我々の研究は、機械学習モデルに対する戦略的応答と機器変数(IV)回帰との新たな関係を確立する。
論文 参考訳（メタデータ） (2021-07-12T22:12:56Z) - Risk Minimization from Adaptively Collected Data: Guarantees for
Supervised and Policy Learning [57.88785630755165]
経験的リスク最小化(Empirical Risk Minimization, ERM)は、機械学習のワークホースであるが、適応的に収集されたデータを使用すると、そのモデルに依存しない保証が失敗する可能性がある。
本研究では,仮説クラス上での損失関数の平均値を最小限に抑えるため,適応的に収集したデータを用いた一般的な重み付きERMアルゴリズムについて検討する。
政策学習では、探索がゼロになるたびに既存の文献のオープンギャップを埋める率-最適後悔保証を提供する。
論文 参考訳（メタデータ） (2021-06-03T09:50:13Z) - Asymptotic Behavior of Adversarial Training in Binary Classification [41.7567932118769]
敵の訓練は、敵の攻撃に対する防衛の最先端の方法と考えられている。
実際に成功したにもかかわらず、敵の訓練のパフォーマンスを理解する上でのいくつかの問題は未解決のままである。
2進分類における対角訓練の最小化のための正確な理論的予測を導出する。
論文 参考訳（メタデータ） (2020-10-26T01:44:20Z) - Sampling Attacks: Amplification of Membership Inference Attacks by
Repeated Queries [74.59376038272661]
本手法は,他の標準メンバーシップ相手と異なり,被害者モデルのスコアにアクセスできないような厳格な制限の下で動作可能な,新しいメンバーシップ推論手法であるサンプリングアタックを導入する。
ラベルのみを公開している被害者モデルでは,攻撃のサンプリングが引き続き可能であり,攻撃者はその性能の最大100%を回復できることを示す。
防衛においては,被害者モデルのトレーニング中の勾配摂動と予測時の出力摂動の形式で差分プライバシーを選択する。
論文 参考訳（メタデータ） (2020-09-01T12:54:54Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。