論文の概要: Learning Across Bandits in High Dimension via Robust Statistics

• arxiv url: http://arxiv.org/abs/2112.14233v1
• Date: Tue, 28 Dec 2021 17:37:08 GMT
• ステータス: 処理完了
• システム内更新日: 2021-12-30 15:36:57.086477
• Title: Learning Across Bandits in High Dimension via Robust Statistics
• Title（参考訳）: ロバスト統計による高次元帯域幅の学習
• Authors: Kan Xu, Hamsa Bastani
• Abstract要約: 意思決定者はしばしば「多くの盗賊」問題に直面し、関連するが異質な文脈的盗賊のインスタンスを同時に学ばなければならない。 本稿では,この構造をサンプル効率良く活用する新しい2段階推定器を提案する。 この推定器をバンディットアルゴリズムに組み込み、文脈次元$d$の後悔境界を改善することを証明する。
• 参考スコア（独自算出の注目度）: 1.370633147306388
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Decision-makers often face the "many bandits" problem, where one must simultaneously learn across related but heterogeneous contextual bandit instances. For instance, a large retailer may wish to dynamically learn product demand across many stores to solve pricing or inventory problems, making it desirable to learn jointly for stores serving similar customers; alternatively, a hospital network may wish to dynamically learn patient risk across many providers to allocate personalized interventions, making it desirable to learn jointly for hospitals serving similar patient populations. We study the setting where the unknown parameter in each bandit instance can be decomposed into a global parameter plus a sparse instance-specific term. Then, we propose a novel two-stage estimator that exploits this structure in a sample-efficient way by using a combination of robust statistics (to learn across similar instances) and LASSO regression (to debias the results). We embed this estimator within a bandit algorithm, and prove that it improves asymptotic regret bounds in the context dimension $d$; this improvement is exponential for data-poor instances. We further demonstrate how our results depend on the underlying network structure of bandit instances.
• Abstract（参考訳）: 意思決定者はしばしば「多くの盗賊」問題に直面し、関連するが異質な文脈的盗賊のインスタンスを同時に学ばなければならない。 例えば、大手小売店は、価格や在庫問題を解決するために、多くの店舗で製品需要を動的に学習し、類似の顧客に仕える店舗で共同で学習することが望ましい場合があり、また、病院ネットワークは、パーソナライズされた介入を割り当てるために、多くの業者で患者リスクを動的に学習し、類似の患者集団に仕える病院で共同学習することが望ましい場合もあります。 本稿では,各帯域単位の未知パラメータを大域的パラメータとスパースなインスタンス固有項に分解可能な設定について検討する。 そこで本研究では,ロバストな統計値(類似のインスタンスで学習)とラッソ回帰(結果の偏差)の組み合わせを用いて,この構造をサンプル効率良く活用する新しい二段階推定器を提案する。 この推定器をbanditアルゴリズムに組み込んで、コンテキスト次元$d$の漸近的後悔境界を改善することを証明します。 さらに,バンディットインスタンスの基盤となるネットワーク構造にどのように依存するかを示す。

関連論文リスト

• Collaborative Learning with Shared Linear Representations: Statistical Rates and Optimal Algorithms [13.643155483461028]
  コラボレーション学習により、複数のクライアントがローカルデータ分散間で共有された特徴表現を学習できる。 クライアントが共通の低次元線形表現を共有する際の最適統計率を同定する。 この結果から,システムレベルでのコラボレーションは,独立したクライアント学習に比べて,サンプリングの複雑さを低減させることがわかった。
  論文  参考訳（メタデータ） (2024-09-07T21:53:01Z)
• Collaborative Learning with Different Labeling Functions [7.228285747845779]
  我々は、$n$のデータ分布ごとに正確な分類器を学習することを目的とした、協調型PAC学習の亜種について研究する。 データ分布がより弱い実現可能性の仮定を満たす場合、サンプル効率の学習は依然として可能であることを示す。
  論文  参考訳（メタデータ） (2024-02-16T04:32:22Z)
• FedLALR: Client-Specific Adaptive Learning Rates Achieve Linear Speedup for Non-IID Data [54.81695390763957]
  フェデレートラーニング(Federated Learning)は、分散機械学習の手法である。 我々は,AMSGradの異種局所変種であるFedLALRを提案し,各クライアントが学習率を調整する。 クライアントが指定した自動調整型学習率スケジューリングが,クライアント数に対して収束し,線形高速化を実現することを示す。
  論文  参考訳（メタデータ） (2023-09-18T12:35:05Z)
• On-Demand Sampling: Learning Optimally from Multiple Distributions [63.20009081099896]
  社会と現実世界の考察は、マルチディストリビューション学習パラダイムの台頭につながっている。 これらの学習パラダイムの最適なサンプル複雑性を確立し、このサンプル複雑性を満たすアルゴリズムを提供する。 アルゴリズムの設計と解析は,ゼロサムゲーム解決のためのオンライン学習手法の拡張によって実現されている。
  論文  参考訳（メタデータ） (2022-10-22T19:07:26Z)
• Straggler-Resilient Personalized Federated Learning [55.54344312542944]
  フェデレーション学習は、プライバシと通信の制限を尊重しながら、クライアントの大規模なネットワークに分散されたサンプルからのトレーニングモデルを可能にする。 これら2つのハードルを同時に処理する理論的なスピードアップを保証する新しいアルゴリズム手法を開発した。 提案手法は,すべてのクライアントのデータを用いてグローバルな共通表現を見つけ,各クライアントに対してパーソナライズされたソリューションにつながるパラメータの集合を学習するために,表現学習理論からのアイデアに依存している。
  論文  参考訳（メタデータ） (2022-06-05T01:14:46Z)
• BatchFormer: Learning to Explore Sample Relationships for Robust Representation Learning [93.38239238988719]
  本稿では,各ミニバッチからサンプル関係を学習可能なディープニューラルネットワークを提案する。 BatchFormerは各ミニバッチのバッチ次元に適用され、トレーニング中のサンプル関係を暗黙的に探索する。 我々は10以上のデータセットに対して広範な実験を行い、提案手法は異なるデータ不足アプリケーションにおいて大幅な改善を実現する。
  論文  参考訳（メタデータ） (2022-03-03T05:31:33Z)
• Exploiting Shared Representations for Personalized Federated Learning [54.65133770989836]
  本稿では,クライアント間の共有データ表現と,クライアント毎のユニークなローカルヘッダを学習するための,新しいフェデレーション学習フレームワークとアルゴリズムを提案する。 提案アルゴリズムは, クライアント間の分散計算能力を利用して, 表現の更新毎に低次元の局所パラメータに対して, 多数の局所更新を行う。 この結果は、データ分布間の共有低次元表現を学習することを目的とした、幅広い種類の問題に対するフェデレーション学習以上の関心を持っている。
  論文  参考訳（メタデータ） (2021-02-14T05:36:25Z)
• DEMI: Discriminative Estimator of Mutual Information [5.248805627195347]
  連続確率変数間の相互情報を推定することは、高次元データにとってしばしば難解で困難である。 近年の進歩は、相互情報の変動的下界を最適化するためにニューラルネットワークを活用している。 提案手法は,データサンプルペアが結合分布から引き出される確率を提供する分類器の訓練に基づく。
  論文  参考訳（メタデータ） (2020-10-05T04:19:27Z)
• Learning Diverse Representations for Fast Adaptation to Distribution Shift [78.83747601814669]
  本稿では,複数のモデルを学習する手法を提案する。 分散シフトへの迅速な適応を促進するフレームワークの能力を実証する。
  論文  参考訳（メタデータ） (2020-06-12T12:23:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。