論文の概要: Representation Transfer Learning via Multiple Pre-trained models for
Linear Regression
- arxiv url: http://arxiv.org/abs/2305.16440v2
- Date: Sun, 25 Jun 2023 01:16:32 GMT
- ステータス: 処理完了
- システム内更新日: 2023-06-27 22:30:44.502998
- Title: Representation Transfer Learning via Multiple Pre-trained models for
Linear Regression
- Title（参考訳）: 線形回帰のための複数事前学習モデルによる表現伝達学習
- Authors: Navjot Singh, Suhas Diggavi
- Abstract要約: サンプルが少ないデータ領域(ターゲット)で線形回帰モデルを学習する問題を考察する。
学習を支援するために、私たちは、潜在的に異なるデータドメインでトレーニングされた事前訓練された回帰モデルセットを提供しています。
対象モデルを構築するための表現伝達に基づく学習手法を提案する。
- 参考スコア（独自算出の注目度）: 3.5788754401889014
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: In this paper, we consider the problem of learning a linear regression model
on a data domain of interest (target) given few samples. To aid learning, we
are provided with a set of pre-trained regression models that are trained on
potentially different data domains (sources). Assuming a representation
structure for the data generating linear models at the sources and the target
domains, we propose a representation transfer based learning method for
constructing the target model. The proposed scheme is comprised of two phases:
(i) utilizing the different source representations to construct a
representation that is adapted to the target data, and (ii) using the obtained
model as an initialization to a fine-tuning procedure that re-trains the entire
(over-parameterized) regression model on the target data. For each phase of the
training method, we provide excess risk bounds for the learned model compared
to the true data generating target model. The derived bounds show a gain in
sample complexity for our proposed method compared to the baseline method of
not leveraging source representations when achieving the same excess risk,
therefore, theoretically demonstrating the effectiveness of transfer learning
for linear regression.
- Abstract（参考訳）: 本稿では,サンプル数が少ないデータ領域(ターゲット)における線形回帰モデル学習の問題について考察する。
学習を支援するために、トレーニング済みの回帰モデルセットを用意して、潜在的に異なるデータドメイン(ソース)でトレーニングします。
情報源と対象領域における線形モデルを生成するための表現構造を仮定し,対象モデルを構築するための表現伝達に基づく学習手法を提案する。
提案手法は以下の2段階からなる。
(i)異なるソース表現を利用して、対象データに適合した表現を構築すること、及び
(ii)対象データ上の(パラメータを超える)回帰モデル全体を再訓練する微調整手順の初期化として得られたモデルを用いる。
トレーニング手法の各フェーズにおいて、真のデータ生成対象モデルと比較して学習モデルに過剰なリスク境界を提供する。
導出境界は,同じ過大なリスクを負う場合のソース表現を活用できないベースライン法と比較して,提案手法のサンプル複雑性の増大を示し,したがって,線形回帰に対する転送学習の有効性を理論的に示す。
関連論文リスト
- Distilled Datamodel with Reverse Gradient Matching [74.75248610868685]
オフライントレーニングとオンライン評価段階を含む,データ影響評価のための効率的なフレームワークを提案する。
提案手法は, 直接再学習法と比較して, プロセスの大幅な高速化を図りながら, 同等のモデル行動評価を実現する。
論文 参考訳（メタデータ） (2024-04-22T09:16:14Z) - Solving Inverse Problems with Model Mismatch using Untrained Neural Networks within Model-based Architectures [14.551812310439004]
モデルベースアーキテクチャでは,各インスタンスの計測領域におけるデータの一貫性を一致させるために,トレーニングされていないフォワードモデル残差ブロックを導入する。
提案手法は,パラメータ感受性が低く,追加データを必要としない統一解を提供し,前方モデルの同時適用と1パスの再構成を可能にする。
論文 参考訳（メタデータ） (2024-03-07T19:02:13Z) - Towards Theoretical Understandings of Self-Consuming Generative Models [56.84592466204185]
本稿では,自己消費ループ内で生成モデルを訓練する新たな課題に取り組む。
我々は,このトレーニングが将来のモデルで学習したデータ分布に与える影響を厳格に評価するための理論的枠組みを構築した。
カーネル密度推定の結果は,混合データトレーニングがエラー伝播に与える影響など,微妙な洞察を与える。
論文 参考訳（メタデータ） (2024-02-19T02:08:09Z) - Out of the Ordinary: Spectrally Adapting Regression for Covariate Shift [12.770658031721435]
本稿では,学習前のニューラル回帰モデルの最後の層の重みを適応させて,異なる分布から得られる入力データを改善する手法を提案する。
本稿では,この軽量なスペクトル適応手法により,合成および実世界のデータセットの分布外性能が向上することを示す。
論文 参考訳（メタデータ） (2023-12-29T04:15:58Z) - Transfer Learning with Uncertainty Quantification: Random Effect
Calibration of Source to Target (RECaST) [1.8047694351309207]
我々はRECaSTと呼ばれる伝達学習に基づくモデル予測のための統計的枠組みを開発する。
線形モデル間の伝達学習におけるRECaST手法の有効性を数学的・実験的に実証した。
シミュレーション研究における本手法の性能と実際の病院データへの適用について検討する。
論文 参考訳（メタデータ） (2022-11-29T19:39:47Z) - MINIMALIST: Mutual INformatIon Maximization for Amortized Likelihood
Inference from Sampled Trajectories [61.3299263929289]
シミュレーションベースの推論は、その可能性が実際に計算できない場合でもモデルのパラメータを学習することができる。
あるクラスのメソッドは、異なるパラメータでシミュレートされたデータを使用して、確率とエビデンス比の償却推定器を推定する。
モデルパラメータとシミュレーションデータ間の相互情報の観点から,本手法が定式化可能であることを示す。
論文 参考訳（メタデータ） (2021-06-03T12:59:16Z) - Improving the Reconstruction of Disentangled Representation Learners via Multi-Stage Modeling [54.94763543386523]
現在の自己エンコーダに基づく非絡み合い表現学習法は、(集合体)後部をペナルティ化し、潜伏因子の統計的独立を促進することで、非絡み合いを実現する。
本稿では,不整合因子をペナルティに基づく不整合表現学習法を用いて学習する,新しい多段階モデリング手法を提案する。
次に、低品質な再構成を、欠落した関連潜伏変数をモデル化するために訓練された別の深層生成モデルで改善する。
論文 参考訳（メタデータ） (2020-10-25T18:51:15Z) - Model-based Policy Optimization with Unsupervised Model Adaptation [37.09948645461043]
本研究では,不正確なモデル推定による実データとシミュレーションデータのギャップを埋めて,より良いポリシ最適化を実現する方法について検討する。
本稿では,教師なしモデル適応を導入したモデルベース強化学習フレームワークAMPOを提案する。
提案手法は,一連の連続制御ベンチマークタスクにおけるサンプル効率の観点から,最先端の性能を実現する。
論文 参考訳（メタデータ） (2020-10-19T14:19:42Z) - Robust Finite Mixture Regression for Heterogeneous Targets [70.19798470463378]
本稿では,サンプルクラスタの探索と,複数の不完全な混合型ターゲットを同時にモデル化するFMRモデルを提案する。
我々は、高次元の学習フレームワークの下で、無症状のオラクルのパフォーマンス境界をモデルに提供します。
その結果,我々のモデルは最先端の性能を達成できることがわかった。
論文 参考訳（メタデータ） (2020-10-12T03:27:07Z) - Model Fusion with Kullback--Leibler Divergence [58.20269014662046]
異種データセットから学習した後続分布を融合する手法を提案する。
我々のアルゴリズムは、融合モデルと個々のデータセット後部の両方に対する平均場仮定に依存している。
論文 参考訳（メタデータ） (2020-07-13T03:27:45Z) - A General Class of Transfer Learning Regression without Implementation
Cost [18.224991762123576]
本稿では,既存の回帰学習手法を統一し,拡張する新しいフレームワークを提案する。
様々な実データアプリケーションを用いて,その単純さ,汎用性,適用性を示す。
論文 参考訳（メタデータ） (2020-06-23T18:00:02Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。