論文の概要: Representation Transfer Learning via Multiple Pre-trained models for
Linear Regression
- arxiv url: http://arxiv.org/abs/2305.16440v2
- Date: Sun, 25 Jun 2023 01:16:32 GMT
- ステータス: 処理完了
- システム内更新日: 2023-06-27 22:30:44.502998
- Title: Representation Transfer Learning via Multiple Pre-trained models for
Linear Regression
- Title(参考訳): 線形回帰のための複数事前学習モデルによる表現伝達学習
- Authors: Navjot Singh, Suhas Diggavi
- Abstract要約: サンプルが少ないデータ領域(ターゲット)で線形回帰モデルを学習する問題を考察する。
学習を支援するために、私たちは、潜在的に異なるデータドメインでトレーニングされた事前訓練された回帰モデルセットを提供しています。
対象モデルを構築するための表現伝達に基づく学習手法を提案する。
- 参考スコア(独自算出の注目度): 3.5788754401889014
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: In this paper, we consider the problem of learning a linear regression model
on a data domain of interest (target) given few samples. To aid learning, we
are provided with a set of pre-trained regression models that are trained on
potentially different data domains (sources). Assuming a representation
structure for the data generating linear models at the sources and the target
domains, we propose a representation transfer based learning method for
constructing the target model. The proposed scheme is comprised of two phases:
(i) utilizing the different source representations to construct a
representation that is adapted to the target data, and (ii) using the obtained
model as an initialization to a fine-tuning procedure that re-trains the entire
(over-parameterized) regression model on the target data. For each phase of the
training method, we provide excess risk bounds for the learned model compared
to the true data generating target model. The derived bounds show a gain in
sample complexity for our proposed method compared to the baseline method of
not leveraging source representations when achieving the same excess risk,
therefore, theoretically demonstrating the effectiveness of transfer learning
for linear regression.
- Abstract(参考訳): 本稿では,サンプル数が少ないデータ領域(ターゲット)における線形回帰モデル学習の問題について考察する。
学習を支援するために、トレーニング済みの回帰モデルセットを用意して、潜在的に異なるデータドメイン(ソース)でトレーニングします。
情報源と対象領域における線形モデルを生成するための表現構造を仮定し,対象モデルを構築するための表現伝達に基づく学習手法を提案する。
提案手法は以下の2段階からなる。
(i)異なるソース表現を利用して、対象データに適合した表現を構築すること、及び
(ii)対象データ上の(パラメータを超える)回帰モデル全体を再訓練する微調整手順の初期化として得られたモデルを用いる。
トレーニング手法の各フェーズにおいて、真のデータ生成対象モデルと比較して学習モデルに過剰なリスク境界を提供する。
導出境界は,同じ過大なリスクを負う場合のソース表現を活用できないベースライン法と比較して,提案手法のサンプル複雑性の増大を示し,したがって,線形回帰に対する転送学習の有効性を理論的に示す。
関連論文リスト
- Out of the Ordinary: Spectrally Adapting Regression for Covariate Shift [12.770658031721435]
本稿では,学習前のニューラル回帰モデルの最後の層の重みを適応させて,異なる分布から得られる入力データを改善する手法を提案する。
本稿では,この軽量なスペクトル適応手法により,合成および実世界のデータセットの分布外性能が向上することを示す。
論文 参考訳(メタデータ) (2023-12-29T04:15:58Z) - Federated Learning with Projected Trajectory Regularization [65.6266768678291]
フェデレーション学習は、ローカルデータを共有せずに、分散クライアントから機械学習モデルの共同トレーニングを可能にする。
連合学習における重要な課題の1つは、クライアントにまたがる識別できない分散データを扱うことである。
本稿では,データ問題に対処するための予測軌道正則化(FedPTR)を備えた新しいフェデレーション学習フレームワークを提案する。
論文 参考訳(メタデータ) (2023-12-22T02:12:08Z) - Self-Supervised Dataset Distillation for Transfer Learning [82.09002658558529]
ラベルなしデータセットを、効率的な自己教師付き学習(SSL)のための小さな合成サンプル群に蒸留する新しい問題を提案する。
両レベル最適化におけるSSL目標に対する合成サンプルの勾配は、データ拡張やマスキングから生じるランダム性から、テキストバイアスを受けていることを最初に証明する。
転送学習を含む様々な応用における本手法の有効性を実証的に検証する。
論文 参考訳(メタデータ) (2023-10-10T10:48:52Z) - Dataless Knowledge Fusion by Merging Weights of Language Models [51.8162883997512]
微調整された事前学習言語モデルは、下流のNLPモデルを構築するための主要なパラダイムとなっている。
これは、より優れた単一モデルを生み出すために、個々のモデル間で知識を融合させる障壁を生み出します。
パラメータ空間のモデルをマージするデータレス知識融合法を提案する。
論文 参考訳(メタデータ) (2022-12-19T20:46:43Z) - Transfer Learning with Uncertainty Quantification: Random Effect
Calibration of Source to Target (RECaST) [1.8047694351309207]
我々はRECaSTと呼ばれる伝達学習に基づくモデル予測のための統計的枠組みを開発する。
線形モデル間の伝達学習におけるRECaST手法の有効性を数学的・実験的に実証した。
シミュレーション研究における本手法の性能と実際の病院データへの適用について検討する。
論文 参考訳(メタデータ) (2022-11-29T19:39:47Z) - MINIMALIST: Mutual INformatIon Maximization for Amortized Likelihood
Inference from Sampled Trajectories [61.3299263929289]
シミュレーションベースの推論は、その可能性が実際に計算できない場合でもモデルのパラメータを学習することができる。
あるクラスのメソッドは、異なるパラメータでシミュレートされたデータを使用して、確率とエビデンス比の償却推定器を推定する。
モデルパラメータとシミュレーションデータ間の相互情報の観点から,本手法が定式化可能であることを示す。
論文 参考訳(メタデータ) (2021-06-03T12:59:16Z) - Split Modeling for High-Dimensional Logistic Regression [0.2676349883103404]
短時間コンパイルしたアンサンブルロジスティック分類モデルに対して,新しい手法を提案する。
本手法は,予測精度に優れたバイアスオフの活用法を学習する。
提案手法を実装したオープンソースソフトウェアライブラリを議論する。
論文 参考訳(メタデータ) (2021-02-17T05:57:26Z) - Model-based Policy Optimization with Unsupervised Model Adaptation [37.09948645461043]
本研究では,不正確なモデル推定による実データとシミュレーションデータのギャップを埋めて,より良いポリシ最適化を実現する方法について検討する。
本稿では,教師なしモデル適応を導入したモデルベース強化学習フレームワークAMPOを提案する。
提案手法は,一連の連続制御ベンチマークタスクにおけるサンプル効率の観点から,最先端の性能を実現する。
論文 参考訳(メタデータ) (2020-10-19T14:19:42Z) - Robust Finite Mixture Regression for Heterogeneous Targets [70.19798470463378]
本稿では,サンプルクラスタの探索と,複数の不完全な混合型ターゲットを同時にモデル化するFMRモデルを提案する。
我々は、高次元の学習フレームワークの下で、無症状のオラクルのパフォーマンス境界をモデルに提供します。
その結果,我々のモデルは最先端の性能を達成できることがわかった。
論文 参考訳(メタデータ) (2020-10-12T03:27:07Z) - Model Fusion with Kullback--Leibler Divergence [58.20269014662046]
異種データセットから学習した後続分布を融合する手法を提案する。
我々のアルゴリズムは、融合モデルと個々のデータセット後部の両方に対する平均場仮定に依存している。
論文 参考訳(メタデータ) (2020-07-13T03:27:45Z) - A General Class of Transfer Learning Regression without Implementation
Cost [18.224991762123576]
本稿では,既存の回帰学習手法を統一し,拡張する新しいフレームワークを提案する。
様々な実データアプリケーションを用いて,その単純さ,汎用性,適用性を示す。
論文 参考訳(メタデータ) (2020-06-23T18:00:02Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。