論文の概要: Optimal Multitask Linear Regression and Contextual Bandits under Sparse Heterogeneity

• arxiv url: http://arxiv.org/abs/2306.06291v3
• Date: Fri, 13 Dec 2024 00:38:11 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-16 15:00:52.679112
• Title: Optimal Multitask Linear Regression and Contextual Bandits under Sparse Heterogeneity
• Title（参考訳）: スパースヘテロジニティ下における最適マルチタスク線形回帰とコンテキスト帯域
• Authors: Xinmeng Huang, Kan Xu, Donghwan Lee, Hamed Hassani, Hamsa Bastani, Edgar Dobriban,
• Abstract要約: マルチタスク学習手法は、データセット間の共通性を活用することにより効率を向上する。 マルチタスク線形回帰と文脈帯域幅をスパースヘテロジニティ下で検討した。 提案手法は,多くの下界を提供することにより,最小限の最適化が可能であることを示す。
• 参考スコア（独自算出の注目度）: 41.772562538698395
• License:
• Abstract: Large and complex datasets are often collected from several, possibly heterogeneous sources. Multitask learning methods improve efficiency by leveraging commonalities across datasets while accounting for possible differences among them. Here, we study multitask linear regression and contextual bandits under sparse heterogeneity, where the source/task-associated parameters are equal to a global parameter plus a sparse task-specific term. We propose a novel two-stage estimator called MOLAR that leverages this structure by first constructing a covariate-wise weighted median of the task-wise linear regression estimates and then shrinking the task-wise estimates towards the weighted median. Compared to task-wise least squares estimates, MOLAR improves the dependence of the estimation error on the data dimension. Extensions of MOLAR to generalized linear models and constructing confidence intervals are discussed in the paper. We then apply MOLAR to develop methods for sparsely heterogeneous multitask contextual bandits, obtaining improved regret guarantees over single-task bandit methods. We further show that our methods are minimax optimal by providing a number of lower bounds. Finally, we support the efficiency of our methods by performing experiments on both synthetic data and the PISA dataset on student educational outcomes from heterogeneous countries.
• Abstract（参考訳）: 大規模で複雑なデータセットは、多種多種多様な情報源から収集されることが多い。 マルチタスク学習手法は、データセット間の共通性を活用しながら、それらの相違を考慮し、効率を向上する。 本稿では,マルチタスクの線形回帰とコンテキストバンドレットをスパース不均一性の下で検討し,ソース/タスク関連パラメータがグローバルパラメータとスパースタスク固有項とに等しいことを示す。 MOLARと呼ばれる新しい2段階推定器を提案し、まず、タスクワイド線形回帰推定の共変量重み付き中央値を構築し、その後、タスクワイド中央値に対してタスクワイド推定を縮小することで、この構造を利用する。 タスクの最小二乗推定と比較すると、MOLARはデータ次元に対する推定誤差の依存性を改善する。 本稿では,一般化線形モデルへのMOLARの拡張と信頼区間の構築について論じる。 次に,MOLARを適用して,単一タスクの帯域幅法に比較して,不均一なマルチタスクコンテキスト帯域幅を求める手法を提案する。 さらに,提案手法は,多くの下界を提供することにより,最小限の最適化が可能であることを示す。 最後に、異種諸国の学生教育成果に対する合成データとPISAデータセットの両方の実験を行うことにより、本手法の効率性を支援する。

関連論文リスト

• Analysing Multi-Task Regression via Random Matrix Theory with Application to Time Series Forecasting [16.640336442849282]
  我々は,マルチタスク最適化問題を正規化手法として定式化し,マルチタスク学習情報を活用することを可能とする。 線形モデルの文脈におけるマルチタスク最適化のための閉形式解を導出する。
  論文  参考訳（メタデータ） (2024-06-14T17:59:25Z)
• Interpetable Target-Feature Aggregation for Multi-Task Learning based on Bias-Variance Analysis [53.38518232934096]
  マルチタスク学習(MTL)は、タスク間の共有知識を活用し、一般化とパフォーマンスを改善するために設計された強力な機械学習パラダイムである。 本稿では,タスククラスタリングと特徴変換の交点におけるMTL手法を提案する。 両段階において、鍵となる側面は減った目標と特徴の解釈可能性を維持することである。
  論文  参考訳（メタデータ） (2024-06-12T08:30:16Z)
• Heterogeneous Multi-Task Gaussian Cox Processes [61.67344039414193]
  異種相関タスクを共同でモデル化するためのマルチタスクガウスコックスプロセスの新たな拡張を提案する。 MOGPは、分類、回帰、ポイントプロセスタスクの専用可能性のパラメータに先行して、異種タスク間の情報の共有を容易にする。 モデルパラメータを推定するための閉形式反復更新を実現する平均場近似を導出する。
  論文  参考訳（メタデータ） (2023-08-29T15:01:01Z)
• Multi-Task Learning for Sparsity Pattern Heterogeneity: Statistical and Computational Perspectives [10.514866749547558]
  マルチタスク学習(MTL)において、複数の線形モデルがデータセットの集合上で協調的に訓練される問題を考える。 我々のフレームワークの重要な特徴は、回帰係数のスパーシティパターンと非ゼロ係数の値がタスク間で異なることである。 提案手法は,1) 係数のサポートを個別に促進し,2) 非ゼロ係数の値を類似させることにより,タスク間の情報共有を奨励する。 これにより、非ゼロ係数値がタスク間で異なる場合でも、モデルが可変選択中に強度を借りることができる。
  論文  参考訳（メタデータ） (2022-12-16T19:52:25Z)
• New Tight Relaxations of Rank Minimization for Multi-Task Learning [161.23314844751556]
  2つの正規化項に基づく2つの新しいマルチタスク学習定式化を提案する。 本手法は,タスク間で共有される低ランク構造を正確に復元し,関連するマルチタスク学習方法より優れていることを示す。
  論文  参考訳（メタデータ） (2021-12-09T07:29:57Z)
• A Unified Framework for Multi-distribution Density Ratio Estimation [101.67420298343512]
  バイナリ密度比推定(DRE)は多くの最先端の機械学習アルゴリズムの基礎を提供する。 ブレグマン最小化の発散の観点から一般的な枠組みを開発する。 我々のフレームワークはバイナリDREでそれらのフレームワークを厳格に一般化する手法に導かれることを示す。
  論文  参考訳（メタデータ） (2021-12-07T01:23:20Z)
• Byzantine Resilient Distributed Multi-Task Learning [6.850757447639822]
  タスク間の関連性を学習するための分散アルゴリズムは、ビザンティンエージェントの存在下では回復力がないことを示す。 ビザンチンレジリエントな分散マルチタスク学習のためのアプローチを提案する。
  論文  参考訳（メタデータ） (2020-10-25T04:32:52Z)
• DEMI: Discriminative Estimator of Mutual Information [5.248805627195347]
  連続確率変数間の相互情報を推定することは、高次元データにとってしばしば難解で困難である。 近年の進歩は、相互情報の変動的下界を最適化するためにニューラルネットワークを活用している。 提案手法は,データサンプルペアが結合分布から引き出される確率を提供する分類器の訓練に基づく。
  論文  参考訳（メタデータ） (2020-10-05T04:19:27Z)
• Rank-Based Multi-task Learning for Fair Regression [9.95899391250129]
  バイアス付きデータセットに基づくマルチタスク回帰モデルのための新しい学習手法を開発した。 一般的な非パラメトリックオラクルベースの非ワールド乗算器データセットを使用します。
  論文  参考訳（メタデータ） (2020-09-23T22:32:57Z)
• An Online Method for A Class of Distributionally Robust Optimization with Non-Convex Objectives [54.29001037565384]
  本稿では,オンライン分散ロバスト最適化(DRO)のクラスを解決するための実用的なオンライン手法を提案する。 本研究は,ネットワークの堅牢性向上のための機械学習における重要な応用を実証する。
  論文  参考訳（メタデータ） (2020-06-17T20:19:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。