論文の概要: Optimal Heterogeneous Collaborative Linear Regression and Contextual Bandits

• arxiv url: http://arxiv.org/abs/2306.06291v1
• Date: Fri, 9 Jun 2023 22:48:13 GMT
• ステータス: 処理完了
• システム内更新日: 2023-06-13 19:53:10.831400
• Title: Optimal Heterogeneous Collaborative Linear Regression and Contextual Bandits
• Title（参考訳）: 最適不均質な線形回帰と文脈的バンディット
• Authors: Xinmeng Huang, Kan Xu, Donghwan Lee, Hamed Hassani, Hamsa Bastani, Edgar Dobriban
• Abstract要約: 本研究では、各インスタンスの関連パラメータが大域的パラメータとスパースなインスタンス固有項と等しくなるような協調線形回帰と文脈的バンドイットについて検討する。 MOLARと呼ばれる新しい2段階推定器を提案し、まず、インスタンスの線形回帰推定のエントリーワイド中央値を構築し、その後、インスタンス固有推定値を中央値に向けて縮小することで、この構造を利用する。 次に、MOLARを用いて、不均一な協調的文脈的包帯の手法を開発し、独立した包帯法と比較して、後悔の保証を改善する。
• 参考スコア（独自算出の注目度）: 34.121889149071684
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Large and complex datasets are often collected from several, possibly heterogeneous sources. Collaborative learning methods improve efficiency by leveraging commonalities across datasets while accounting for possible differences among them. Here we study collaborative linear regression and contextual bandits, where each instance's associated parameters are equal to a global parameter plus a sparse instance-specific term. We propose a novel two-stage estimator called MOLAR that leverages this structure by first constructing an entry-wise median of the instances' linear regression estimates, and then shrinking the instance-specific estimates towards the median. MOLAR improves the dependence of the estimation error on the data dimension, compared to independent least squares estimates. We then apply MOLAR to develop methods for sparsely heterogeneous collaborative contextual bandits, which lead to improved regret guarantees compared to independent bandit methods. We further show that our methods are minimax optimal by providing a number of lower bounds. Finally, we support the efficiency of our methods by performing experiments on both synthetic data and the PISA dataset on student educational outcomes from heterogeneous countries.
• Abstract（参考訳）: 大規模で複雑なデータセットは、しばしば、多種多様な情報源から収集される。 協調学習手法は、データセット間の共通性を活用しながら、それらの相違を考慮し、効率を向上する。 本稿では,協調的線形回帰と文脈的バンディットについて検討する。各インスタンスの関連するパラメータはグローバルパラメータとスパースなインスタンス固有項に等しい。 MOLARと呼ばれる新しい2段階推定器を提案し、まずインスタンスの線形回帰推定のエントリーワイド中央値を構築し、次にインスタンス固有推定値を中央値に向けて縮小する。 MOLARは、データ次元に対する推定誤差の依存性を、独立した最小二乗推定よりも改善する。 そこで我々はmolarを用いて,不均質な協調的協調的バンディットの手法を開発し,独立的なバンディット法と比較して後悔の保証を改善した。 さらに,本手法は下限を多数提供することにより,ミニマックス最適であることを示す。 最後に、異種諸国の学生教育成果に対する合成データとPISAデータセットの両方の実験を行うことにより、本手法の効率化を支援する。

関連論文リスト

• Analysing Multi-Task Regression via Random Matrix Theory with Application to Time Series Forecasting [16.640336442849282]
  我々は,マルチタスク最適化問題を正規化手法として定式化し,マルチタスク学習情報を活用することを可能とする。 線形モデルの文脈におけるマルチタスク最適化のための閉形式解を導出する。
  論文  参考訳（メタデータ） (2024-06-14T17:59:25Z)
• Interpetable Target-Feature Aggregation for Multi-Task Learning based on Bias-Variance Analysis [53.38518232934096]
  マルチタスク学習(MTL)は、タスク間の共有知識を活用し、一般化とパフォーマンスを改善するために設計された強力な機械学習パラダイムである。 本稿では,タスククラスタリングと特徴変換の交点におけるMTL手法を提案する。 両段階において、鍵となる側面は減った目標と特徴の解釈可能性を維持することである。
  論文  参考訳（メタデータ） (2024-06-12T08:30:16Z)
• Heterogeneous Multi-Task Gaussian Cox Processes [61.67344039414193]
  異種相関タスクを共同でモデル化するためのマルチタスクガウスコックスプロセスの新たな拡張を提案する。 MOGPは、分類、回帰、ポイントプロセスタスクの専用可能性のパラメータに先行して、異種タスク間の情報の共有を容易にする。 モデルパラメータを推定するための閉形式反復更新を実現する平均場近似を導出する。
  論文  参考訳（メタデータ） (2023-08-29T15:01:01Z)
• Multi-Task Learning for Sparsity Pattern Heterogeneity: Statistical and Computational Perspectives [10.514866749547558]
  マルチタスク学習(MTL)において、複数の線形モデルがデータセットの集合上で協調的に訓練される問題を考える。 我々のフレームワークの重要な特徴は、回帰係数のスパーシティパターンと非ゼロ係数の値がタスク間で異なることである。 提案手法は,1) 係数のサポートを個別に促進し,2) 非ゼロ係数の値を類似させることにより,タスク間の情報共有を奨励する。 これにより、非ゼロ係数値がタスク間で異なる場合でも、モデルが可変選択中に強度を借りることができる。
  論文  参考訳（メタデータ） (2022-12-16T19:52:25Z)
• New Tight Relaxations of Rank Minimization for Multi-Task Learning [161.23314844751556]
  2つの正規化項に基づく2つの新しいマルチタスク学習定式化を提案する。 本手法は,タスク間で共有される低ランク構造を正確に復元し,関連するマルチタスク学習方法より優れていることを示す。
  論文  参考訳（メタデータ） (2021-12-09T07:29:57Z)
• A Unified Framework for Multi-distribution Density Ratio Estimation [101.67420298343512]
  バイナリ密度比推定(DRE)は多くの最先端の機械学習アルゴリズムの基礎を提供する。 ブレグマン最小化の発散の観点から一般的な枠組みを開発する。 我々のフレームワークはバイナリDREでそれらのフレームワークを厳格に一般化する手法に導かれることを示す。
  論文  参考訳（メタデータ） (2021-12-07T01:23:20Z)
• Byzantine Resilient Distributed Multi-Task Learning [6.850757447639822]
  タスク間の関連性を学習するための分散アルゴリズムは、ビザンティンエージェントの存在下では回復力がないことを示す。 ビザンチンレジリエントな分散マルチタスク学習のためのアプローチを提案する。
  論文  参考訳（メタデータ） (2020-10-25T04:32:52Z)
• DEMI: Discriminative Estimator of Mutual Information [5.248805627195347]
  連続確率変数間の相互情報を推定することは、高次元データにとってしばしば難解で困難である。 近年の進歩は、相互情報の変動的下界を最適化するためにニューラルネットワークを活用している。 提案手法は,データサンプルペアが結合分布から引き出される確率を提供する分類器の訓練に基づく。
  論文  参考訳（メタデータ） (2020-10-05T04:19:27Z)
• Rank-Based Multi-task Learning for Fair Regression [9.95899391250129]
  バイアス付きデータセットに基づくマルチタスク回帰モデルのための新しい学習手法を開発した。 一般的な非パラメトリックオラクルベースの非ワールド乗算器データセットを使用します。
  論文  参考訳（メタデータ） (2020-09-23T22:32:57Z)
• An Online Method for A Class of Distributionally Robust Optimization with Non-Convex Objectives [54.29001037565384]
  本稿では,オンライン分散ロバスト最適化(DRO)のクラスを解決するための実用的なオンライン手法を提案する。 本研究は,ネットワークの堅牢性向上のための機械学習における重要な応用を実証する。
  論文  参考訳（メタデータ） (2020-06-17T20:19:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。