論文の概要: Unified Transfer Learning Models in High-Dimensional Linear Regression

• arxiv url: http://arxiv.org/abs/2307.00238v3
• Date: Sun, 28 Jan 2024 23:07:56 GMT
• ステータス: 処理完了
• システム内更新日: 2024-01-30 22:33:38.109042
• Title: Unified Transfer Learning Models in High-Dimensional Linear Regression
• Title（参考訳）: 高次元線形回帰における統一伝達学習モデル
• Authors: Shuo Shuo Liu
• Abstract要約: 本稿では,トランスファー可能な変数とソースデータの両方を検出可能な,UTransと呼ばれる解釈可能な統合トランスファー学習モデルを開発する。 解釈可能性を維持しながら、既存のアルゴリズムよりもずっと低い推定と予測エラーを実現する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Transfer learning plays a key role in modern data analysis when: (1) the target data are scarce but the source data are sufficient; (2) the distributions of the source and target data are heterogeneous. This paper develops an interpretable unified transfer learning model, termed as UTrans, which can detect both transferable variables and source data. More specifically, we establish the estimation error bounds and prove that our bounds are lower than those with target data only. Besides, we propose a source detection algorithm based on hypothesis testing to exclude the nontransferable data. We evaluate and compare UTrans to the existing algorithms in multiple experiments. It is shown that UTrans attains much lower estimation and prediction errors than the existing methods, while preserving interpretability. We finally apply it to the US intergenerational mobility data and compare our proposed algorithms to the classical machine learning algorithms.
• Abstract（参考訳）: トランスファーラーニングは,(1)ターゲットデータが少ないが,ソースデータが十分である,(2)ソースとターゲットデータの分布が不均一である,といった現代データ解析において重要な役割を担っている。 本稿では,トランスファー可能な変数とソースデータの両方を検出可能な,UTransと呼ばれる解釈可能な統合トランスファー学習モデルを開発する。 具体的には、推定誤差境界を確立し、対象データのみを持つものよりも境界が低いことを示す。 また,非変換データを排除するための仮説検証に基づくソース検出アルゴリズムを提案する。 複数の実験において,UTransを既存のアルゴリズムと比較した。 UTransは,解釈可能性を維持しつつ,既存の手法よりもはるかに低い推定誤差と予測誤差が得られることを示す。 最終的に、米国の世代間移動データに適用し、提案したアルゴリズムを従来の機械学習アルゴリズムと比較する。

関連論文リスト

• Covariate-Elaborated Robust Partial Information Transfer with Conditional Spike-and-Slab Prior [1.111488407653005]
  本研究では,頑健な部分的情報伝達を実現するために,ConCERT'という新しいベイズ変換学習手法を提案する。 情報伝達のためのターゲットパラメータとソースパラメータの共分散に、条件付きスパイク・アンド・スラブ前処理を導入する。 既存の作業とは対照的に、CONCERTは1ステップの手順であり、変数の選択と情報転送を同時に行う。
  論文  参考訳（メタデータ） (2024-03-30T07:32:58Z)
• Data Quality in Imitation Learning [15.939363481618738]
  ロボット工学のオフライン学習では、インターネットのスケールデータがないだけで、高品質なデータセットが必要なのです。 これは特に、専門家によるデモンストレーションを用いたロボット学習のためのサンプル効率のよいパラダイムである模倣学習(IL)において当てはまる。 本研究では,分散シフトのレンズによる模倣学習のためのデータ品質の形式化に向けた第一歩を踏み出す。
  論文  参考訳（メタデータ） (2023-06-04T18:48:32Z)
• Estimation and inference for transfer learning with high-dimensional quantile regression [3.4510296013600374]
  本研究では,高次元量子レグレッションモデルの枠組みにおける伝達学習手法を提案する。 我々は、微妙に選択された転送可能なソースドメインに基づいて、転送学習推定器の誤差境界を確立する。 データ分割手法を採用することにより、負の転送を回避できる転送可能性検出手法を提案する。
  論文  参考訳（メタデータ） (2022-11-26T14:40:19Z)
• The Power and Limitation of Pretraining-Finetuning for Linear Regression under Covariate Shift [127.21287240963859]
  本研究では,対象データに基づく事前学習と微調整を併用した伝達学習手法について検討する。 大規模な線形回帰インスタンスの場合、$O(N2)$ソースデータによる転送学習は、$N$ターゲットデータによる教師あり学習と同じくらい効果的である。
  論文  参考訳（メタデータ） (2022-08-03T05:59:49Z)
• CAFA: Class-Aware Feature Alignment for Test-Time Adaptation [50.26963784271912]
  テスト時間適応(TTA)は、テスト時にラベルのないデータにモデルを適応させることによって、この問題に対処することを目的としている。 本稿では,クラス認識特徴アライメント(CAFA, Class-Aware Feature Alignment)と呼ばれる単純な機能アライメント損失を提案する。
  論文  参考訳（メタデータ） (2022-06-01T03:02:07Z)
• Invariance Learning in Deep Neural Networks with Differentiable Laplace Approximations [76.82124752950148]
  我々はデータ拡張を選択するための便利な勾配法を開発した。 我々はKronecker-factored Laplace近似を我々の目的とする限界確率に近似する。
  論文  参考訳（メタデータ） (2022-02-22T02:51:11Z)
• Leveraging Unlabeled Data to Predict Out-of-Distribution Performance [63.740181251997306]
  実世界の機械学習デプロイメントは、ソース(トレーニング)とターゲット(テスト)ディストリビューションのミスマッチによって特徴づけられる。 本研究では,ラベル付きソースデータとラベルなしターゲットデータのみを用いて,対象領域の精度を予測する手法を検討する。 本稿では,モデルの信頼度をしきい値として学習し,精度をラベルなし例のごく一部として予測する実践的手法である平均閾値保持信頼度(ATC)を提案する。
  論文  参考訳（メタデータ） (2022-01-11T23:01:12Z)
• A Bayesian Approach to (Online) Transfer Learning: Theory and Algorithms [6.193838300896449]
  本稿では,パラメトリック統計モデルを用いたベイズ的観点からの移動学習について検討する。 具体的には,移動学習問題,即時学習,オンライン学習,時変学習の3つの変種について検討する。 各問題に対して、適切な目的関数を定義し、学習性能の正確な表現または上限を提供する。 例は、小さなサンプルサイズであっても、導出した境界が正確であることを示している。
  論文  参考訳（メタデータ） (2021-09-03T08:43:29Z)
• Transfer Learning under High-dimensional Generalized Linear Models [7.675822266933702]
  本研究では,高次元一般化線形モデルによる伝達学習問題について検討する。 オラクルアルゴリズムを提案し,その$ell$-estimationエラー境界を導出する。 どのソースを転送すべきかわからない場合には、アルゴリズム無しで転送可能なソース検出手法を導入します。
  論文  参考訳（メタデータ） (2021-05-29T15:39:43Z)
• Source Data-absent Unsupervised Domain Adaptation through Hypothesis Transfer and Labeling Transfer [137.36099660616975]
  Unsupervised Adapt Adaptation (UDA) は、関連性のある異なるラベル付きソースドメインから新しいラベルなしターゲットドメインへの知識の転送を目標としている。 既存のudaメソッドの多くはソースデータへのアクセスを必要としており、プライバシ上の懸念からデータが機密で共有できない場合は適用できない。 本稿では、ソースデータにアクセスする代わりに、トレーニング済みの分類モデルのみを用いて現実的な設定に取り組むことを目的とする。
  論文  参考訳（メタデータ） (2020-12-14T07:28:50Z)
• Towards Accurate Knowledge Transfer via Target-awareness Representation Disentanglement [56.40587594647692]
  本稿では,TRED(Target-Awareness Representation Disentanglement)の概念を取り入れた新しいトランスファー学習アルゴリズムを提案する。 TREDは、対象のタスクに関する関連する知識を元のソースモデルから切り離し、ターゲットモデルを微調整する際、レギュレータとして使用する。 各種実世界のデータセットを用いた実験により,本手法は標準微調整を平均2%以上安定的に改善することが示された。
  論文  参考訳（メタデータ） (2020-10-16T17:45:08Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。