論文の概要: Heterogeneous transfer learning for high dimensional regression with feature mismatch
- arxiv url: http://arxiv.org/abs/2412.18081v1
- Date: Tue, 24 Dec 2024 01:29:31 GMT
- ステータス: 翻訳完了
- システム内更新日: 2024-12-25 15:56:30.615828
- Title: Heterogeneous transfer learning for high dimensional regression with feature mismatch
- Title（参考訳）: 特徴ミスマッチを用いた高次元回帰のための不均一な伝達学習
- Authors: Jae Ho Chang, Massimiliano Russo, Subhadeep Paul,
- Abstract要約: 我々は、情報源やプロキシドメインから新たなターゲットドメインに知識を移すことの問題を考察し、おそらく異なる特徴を持つ高次元回帰モデルを学ぶ。
ほとんどの均質移動とマルチタスク学習法は、ターゲットドメインとプロキシドメインが同じ特徴空間を持つと仮定する。
本稿では,プロキシデータのプロジェクションステップを通じて,欠落した特徴と観察された特徴の関係を学習する2段階の手法を提案する。
- 参考スコア（独自算出の注目度）: 1.6385815610837167
- License:
- Abstract: We consider the problem of transferring knowledge from a source, or proxy, domain to a new target domain for learning a high-dimensional regression model with possibly different features. Recently, the statistical properties of homogeneous transfer learning have been investigated. However, most homogeneous transfer and multi-task learning methods assume that the target and proxy domains have the same feature space, limiting their practical applicability. In applications, target and proxy feature spaces are frequently inherently different, for example, due to the inability to measure some variables in the target data-poor environments. Conversely, existing heterogeneous transfer learning methods do not provide statistical error guarantees, limiting their utility for scientific discovery. We propose a two-stage method that involves learning the relationship between the missing and observed features through a projection step in the proxy data and then solving a joint penalized regression optimization problem in the target data. We develop an upper bound on the method's parameter estimation risk and prediction risk, assuming that the proxy and the target domain parameters are sparsely different. Our results elucidate how estimation and prediction error depend on the complexity of the model, sample size, the extent of overlap, and correlation between matched and mismatched features.
- Abstract（参考訳）: 我々は、情報源やプロキシドメインから新たなターゲットドメインに知識を移すことの問題を考察し、おそらく異なる特徴を持つ高次元回帰モデルを学ぶ。
近年, 同種移動学習の統計的性質について検討している。
しかし、ほとんどの均質トランスファーやマルチタスク学習手法は、ターゲットドメインとプロキシドメインが同じ特徴空間を持ち、実用性を制限すると仮定する。
アプリケーションでは、ターゲットデータ・ポーア環境の変数を計測できないなど、ターゲットとプロキシの特徴空間は本質的に異なることが多い。
逆に、既存の異種移動学習法は統計的誤差の保証を提供しておらず、科学的な発見のためにその有用性を制限している。
本稿では,プロキシデータのプロジェクションステップを通じて,欠落した特徴と観測された特徴の関係を学習し,目標データにおける共同ペナル化回帰最適化問題を解く2段階の手法を提案する。
本稿では,提案手法のパラメータ推定リスクと予測リスクの上限を,プロキシと対象ドメインパラメータがわずかに異なることを前提として開発する。
実験結果から, 推定誤差と予測誤差が, モデルの複雑さ, サンプルサイズ, 重複の程度, 一致した特徴と一致しない特徴との相関にどのように依存するかを解明した。
関連論文リスト
- Quantifying Distribution Shifts and Uncertainties for Enhanced Model Robustness in Machine Learning Applications [0.0]
本研究では,合成データを用いたモデル適応と一般化について検討する。
我々は、データ類似性を評価するために、Kullback-Leiblerの発散、Jensen-Shannon距離、Mahalanobis距離などの量的尺度を用いる。
本研究は,マハラノビス距離などの統計指標を用いて,モデル予測が低誤差の「補間体制」内にあるか,あるいは高誤差の「補間体制」が分布変化とモデル不確実性を評価するための補完的手法を提供することを示唆している。
論文 参考訳（メタデータ） (2024-05-03T10:05:31Z) - Collaborative Heterogeneous Causal Inference Beyond Meta-analysis [68.4474531911361]
異種データを用いた因果推論のための協調的逆確率スコア推定器を提案する。
異質性の増加に伴うメタアナリシスに基づく手法に対して,本手法は有意な改善を示した。
論文 参考訳（メタデータ） (2024-04-24T09:04:36Z) - Modeling Uncertain Feature Representation for Domain Generalization [49.129544670700525]
提案手法は,複数の視覚タスクにおけるネットワーク一般化能力を常に改善することを示す。
我々の手法は単純だが有効であり、トレーニング可能なパラメータや損失制約を伴わずにネットワークに容易に統合できる。
論文 参考訳（メタデータ） (2023-01-16T14:25:02Z) - Estimation and inference for transfer learning with high-dimensional
quantile regression [3.4510296013600374]
本研究では,高次元量子レグレッションモデルの枠組みにおける伝達学習手法を提案する。
我々は、微妙に選択された転送可能なソースドメインに基づいて、転送学習推定器の誤差境界を確立する。
データ分割手法を採用することにより、負の転送を回避できる転送可能性検出手法を提案する。
論文 参考訳（メタデータ） (2022-11-26T14:40:19Z) - Transfer Learning for Contextual Multi-armed Bandits [8.97013379960904]
本研究では,コパラメトリックシフトモデルに基づく非文脈的マルチアームバンディットの移動学習問題について検討する。
ミニマックス後悔を実現する新しい伝達学習アルゴリズムを提案する。
対象領域の学習に補助的ソース領域からのデータを活用する利点を説明するため,シミュレーション研究を行った。
論文 参考訳（メタデータ） (2022-11-22T22:24:28Z) - Equivariance Allows Handling Multiple Nuisance Variables When Analyzing
Pooled Neuroimaging Datasets [53.34152466646884]
本稿では,構造空間上でインスタンス化された同変表現学習における最近の結果と,因果推論における古典的結果の簡易な利用が,いかに効果的に実現されたかを示す。
いくつかの仮定の下で、我々のモデルが複数のニュアンス変数を扱えることを実証し、そうでなければサンプルの大部分を取り除く必要のあるシナリオにおいて、プールされた科学データセットの分析を可能にする。
論文 参考訳（メタデータ） (2022-03-29T04:54:06Z) - Uncertainty Modeling for Out-of-Distribution Generalization [56.957731893992495]
特徴統計を適切に操作することで、ディープラーニングモデルの一般化能力を向上させることができると論じる。
一般的な手法では、特徴統計を学習した特徴から測定された決定論的値とみなすことが多い。
我々は、学習中に合成された特徴統計を用いて、領域シフトの不確かさをモデル化することにより、ネットワークの一般化能力を向上させる。
論文 参考訳（メタデータ） (2022-02-08T16:09:12Z) - Geostatistical Learning: Challenges and Opportunities [0.0]
本稿では,地理統計学的(移動)学習問題を紹介し,地理空間データからの学習の課題を説明する。
合成ガウス過程データとニュージーランドの地球物理調査の実データを用いた実験は、いずれの手法も地理空間的文脈におけるモデル選択に適していないことを示している。
論文 参考訳（メタデータ） (2021-02-17T14:33:15Z) - Learning while Respecting Privacy and Robustness to Distributional
Uncertainties and Adversarial Data [66.78671826743884]
分散ロバストな最適化フレームワークはパラメトリックモデルのトレーニングのために検討されている。
目的は、逆操作された入力データに対して頑健なトレーニングモデルを提供することである。
提案されたアルゴリズムは、オーバーヘッドがほとんどない堅牢性を提供する。
論文 参考訳（メタデータ） (2020-07-07T18:25:25Z) - Dropout Strikes Back: Improved Uncertainty Estimation via Diversity
Sampling [3.077929914199468]
ニューラルネットワークにおけるドロップアウト層に対するサンプリング分布の変更により,不確実性評価の品質が向上することを示す。
主要なアイデアは、ニューロン間のデータ駆動相関を計算し、最大多様なニューロンを含むサンプルを生成する、という2つの主要なステップで構成されています。
論文 参考訳（メタデータ） (2020-03-06T15:20:04Z) - Dynamic Federated Learning [57.14673504239551]
フェデレートラーニング(Federated Learning)は、マルチエージェント環境における集中的なコーディネーション戦略の包括的用語として登場した。
我々は、各イテレーションにおいて、利用可能なエージェントのランダムなサブセットがそのデータに基づいてローカル更新を実行する、フェデレートされた学習モデルを考える。
集約最適化問題に対する真の最小化器上の非定常ランダムウォークモデルの下で、アーキテクチャの性能は、各エージェントにおけるデータ変動率、各エージェントにおけるモデル変動率、アルゴリズムの学習率に逆比例する追跡項の3つの要因によって決定されることを示す。
論文 参考訳（メタデータ） (2020-02-20T15:00:54Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。