論文の概要: Optimal Multitask Linear Regression and Contextual Bandits under Sparse Heterogeneity
- arxiv url: http://arxiv.org/abs/2306.06291v3
- Date: Fri, 13 Dec 2024 00:38:11 GMT
- ステータス: 翻訳完了
- システム内更新日: 2024-12-16 15:00:52.679112
- Title: Optimal Multitask Linear Regression and Contextual Bandits under Sparse Heterogeneity
- Title（参考訳）: スパースヘテロジニティ下における最適マルチタスク線形回帰とコンテキスト帯域
- Authors: Xinmeng Huang, Kan Xu, Donghwan Lee, Hamed Hassani, Hamsa Bastani, Edgar Dobriban,
- Abstract要約: マルチタスク学習手法は、データセット間の共通性を活用することにより効率を向上する。
マルチタスク線形回帰と文脈帯域幅をスパースヘテロジニティ下で検討した。
提案手法は,多くの下界を提供することにより,最小限の最適化が可能であることを示す。
- 参考スコア（独自算出の注目度）: 41.772562538698395
- License:
- Abstract: Large and complex datasets are often collected from several, possibly heterogeneous sources. Multitask learning methods improve efficiency by leveraging commonalities across datasets while accounting for possible differences among them. Here, we study multitask linear regression and contextual bandits under sparse heterogeneity, where the source/task-associated parameters are equal to a global parameter plus a sparse task-specific term. We propose a novel two-stage estimator called MOLAR that leverages this structure by first constructing a covariate-wise weighted median of the task-wise linear regression estimates and then shrinking the task-wise estimates towards the weighted median. Compared to task-wise least squares estimates, MOLAR improves the dependence of the estimation error on the data dimension. Extensions of MOLAR to generalized linear models and constructing confidence intervals are discussed in the paper. We then apply MOLAR to develop methods for sparsely heterogeneous multitask contextual bandits, obtaining improved regret guarantees over single-task bandit methods. We further show that our methods are minimax optimal by providing a number of lower bounds. Finally, we support the efficiency of our methods by performing experiments on both synthetic data and the PISA dataset on student educational outcomes from heterogeneous countries.
- Abstract（参考訳）: 大規模で複雑なデータセットは、多種多種多様な情報源から収集されることが多い。
マルチタスク学習手法は、データセット間の共通性を活用しながら、それらの相違を考慮し、効率を向上する。
本稿では,マルチタスクの線形回帰とコンテキストバンドレットをスパース不均一性の下で検討し,ソース/タスク関連パラメータがグローバルパラメータとスパースタスク固有項とに等しいことを示す。
MOLARと呼ばれる新しい2段階推定器を提案し、まず、タスクワイド線形回帰推定の共変量重み付き中央値を構築し、その後、タスクワイド中央値に対してタスクワイド推定を縮小することで、この構造を利用する。
タスクの最小二乗推定と比較すると、MOLARはデータ次元に対する推定誤差の依存性を改善する。
本稿では,一般化線形モデルへのMOLARの拡張と信頼区間の構築について論じる。
次に,MOLARを適用して,単一タスクの帯域幅法に比較して,不均一なマルチタスクコンテキスト帯域幅を求める手法を提案する。
さらに,提案手法は,多くの下界を提供することにより,最小限の最適化が可能であることを示す。
最後に、異種諸国の学生教育成果に対する合成データとPISAデータセットの両方の実験を行うことにより、本手法の効率性を支援する。
関連論文リスト
- Geometry-Aware Instrumental Variable Regression [56.16884466478886]
本稿では,データ導出情報によるデータ多様体の幾何を考慮した移動型IV推定器を提案する。
本手法のプラグイン・アンド・プレイ実装は,標準設定で関連する推定器と同等に動作する。
論文 参考訳（メタデータ） (2024-05-19T17:49:33Z) - Collaborative Heterogeneous Causal Inference Beyond Meta-analysis [68.4474531911361]
異種データを用いた因果推論のための協調的逆確率スコア推定器を提案する。
異質性の増加に伴うメタアナリシスに基づく手法に対して,本手法は有意な改善を示した。
論文 参考訳（メタデータ） (2024-04-24T09:04:36Z) - Multi-Fidelity Covariance Estimation in the Log-Euclidean Geometry [0.0]
対称正定値多様体の対数ユークリッド幾何学を利用する共分散行列の多値推定器を導入する。
固定予算が与えられた推定器の平均二乗誤差を最小化する最適サンプル割り当て方式を開発した。
物理アプリケーションからのデータによるアプローチの評価は、ベンチマークと比較すると、より正確なメトリック学習と1桁以上のスピードアップを示している。
論文 参考訳（メタデータ） (2023-01-31T16:33:46Z) - Towards Realistic Low-resource Relation Extraction: A Benchmark with
Empirical Baseline Study [51.33182775762785]
本稿では,低リソース環境下での関係抽出システムを構築するための実証的研究について述べる。
低リソース環境での性能を評価するための3つのスキームについて検討する。 (i) ラベル付きラベル付きデータを用いた異なるタイプのプロンプトベース手法、 (ii) 長期分布問題に対処する多様なバランシング手法、 (iii) ラベル付きインドメインデータを生成するためのデータ拡張技術と自己学習。
論文 参考訳（メタデータ） (2022-10-19T15:46:37Z) - A Unified Framework for Multi-distribution Density Ratio Estimation [101.67420298343512]
バイナリ密度比推定(DRE)は多くの最先端の機械学習アルゴリズムの基礎を提供する。
ブレグマン最小化の発散の観点から一般的な枠組みを開発する。
我々のフレームワークはバイナリDREでそれらのフレームワークを厳格に一般化する手法に導かれることを示す。
論文 参考訳（メタデータ） (2021-12-07T01:23:20Z) - Optimal Ensemble Construction for Multi-Study Prediction with
Applications to COVID-19 Excess Mortality Estimation [7.02598981483736]
マルチスタディ・アンサンブルは、研究固有のモデルに適合し、アンサンブル重みを別々に推定する2段階戦略を用いる。
このアプローチは、モデル適合段階でのアンサンブル特性を無視し、効率を損なう可能性がある。
パンデミックの開始前にはほとんどデータが入手できない場合、他の国のデータを活用することで、予測精度が大幅に向上することを示した。
論文 参考訳（メタデータ） (2021-09-19T16:52:41Z) - Distributionally Robust Learning [11.916893752969429]
本書は,データの摂動に頑健な包括的統計学習フレームワークを開発する。
各問題に対する引き込み可能なDRO緩和が導出され、境界と正規化の間の接続が確立される。
理論以外にも、数値実験や、合成データと実データを用いたケーススタディも含んでいる。
論文 参考訳（メタデータ） (2021-08-20T04:14:18Z) - Near-optimal inference in adaptive linear regression [60.08422051718195]
最小二乗法のような単純な方法でさえ、データが適応的に収集されるときの非正規な振る舞いを示すことができる。
我々は,これらの分布異常を少なくとも2乗推定で補正するオンラインデバイアス推定器のファミリーを提案する。
我々は,マルチアームバンディット,自己回帰時系列推定,探索による能動的学習などの応用を通して,我々の理論の有用性を実証する。
論文 参考訳（メタデータ） (2021-07-05T21:05:11Z) - Scalable Personalised Item Ranking through Parametric Density Estimation [53.44830012414444]
暗黙のフィードバックから学ぶことは、一流問題の難しい性質のために困難です。
ほとんどの従来の方法は、一級問題に対処するためにペアワイズランキングアプローチとネガティブサンプラーを使用します。
本論文では,ポイントワイズと同等の収束速度を実現する学習対ランクアプローチを提案する。
論文 参考訳（メタデータ） (2021-05-11T03:38:16Z) - DEMI: Discriminative Estimator of Mutual Information [5.248805627195347]
連続確率変数間の相互情報を推定することは、高次元データにとってしばしば難解で困難である。
近年の進歩は、相互情報の変動的下界を最適化するためにニューラルネットワークを活用している。
提案手法は,データサンプルペアが結合分布から引き出される確率を提供する分類器の訓練に基づく。
論文 参考訳（メタデータ） (2020-10-05T04:19:27Z) - Doubly Robust Semiparametric Difference-in-Differences Estimators with
High-Dimensional Data [15.27393561231633]
不均一な治療効果を推定するための2段半パラメトリック差分差分推定器を提案する。
第1段階では、確率スコアを推定するために、一般的な機械学習手法が使用できる。
第2段階ではパラメトリックパラメータと未知関数の両方の収束率を導出する。
論文 参考訳（メタデータ） (2020-09-07T15:14:29Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。