論文の概要: Transfer Learning for Linear Regression: a Statistical Test of Gain

• arxiv url: http://arxiv.org/abs/2102.09504v1
• Date: Thu, 18 Feb 2021 17:46:26 GMT
• ステータス: 処理完了
• システム内更新日: 2021-02-19 14:25:08.252748
• Title: Transfer Learning for Linear Regression: a Statistical Test of Gain
• Title（参考訳）: 線形回帰のための転送学習:ゲインの統計的テスト
• Authors: David Obst and Badih Ghattas and Jairo Cugliari and Georges Oppenheim and Sandra Claudel and Yannig Goude
• Abstract要約: Transfer Learningは、ソースデータセットから同様のターゲットデータセットへの知識の再利用を目指している。 新しい入力ベクトル$x$に対する転送の質は固有基底における表現に依存することが示されている。 微調整モデルがベースターゲットモデルよりも予測2次リスクが低いかどうかを予測するために統計的テストが構築される。
• 参考スコア（独自算出の注目度）: 2.1550839871882017
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Transfer learning, also referred as knowledge transfer, aims at reusing knowledge from a source dataset to a similar target one. While many empirical studies illustrate the benefits of transfer learning, few theoretical results are established especially for regression problems. In this paper a theoretical framework for the problem of parameter transfer for the linear model is proposed. It is shown that the quality of transfer for a new input vector $x$ depends on its representation in an eigenbasis involving the parameters of the problem. Furthermore a statistical test is constructed to predict whether a fine-tuned model has a lower prediction quadratic risk than the base target model for an unobserved sample. Efficiency of the test is illustrated on synthetic data as well as real electricity consumption data.
• Abstract（参考訳）: ナレッジトランスファーとも呼ばれるトランスファーラーニングは、ソースデータセットからのナレッジを同様のターゲットに再利用することを目指している。 多くの実証研究は転校学習の利点を示しているが、特に回帰問題に関して理論的な結果が確立されていない。 本稿では,線形モデルに対するパラメータ転送問題に対する理論的枠組みを提案する。 新しい入力ベクトル$x$に対する転送の質は、問題のパラメータを含む固有基底における表現に依存することが示されている。 さらに、未観測試料のベースターゲットモデルよりも微調整モデルの方が2次的リスクが低いかを予測するための統計的テストを構築した。 テストの効率は、実際の電力消費データだけでなく合成データにも示される。

関連論文リスト

• Learning on Transformers is Provable Low-Rank and Sparse: A One-layer Analysis [63.66763657191476]
  低ランク計算としての効率的な数値学習と推論アルゴリズムはトランスフォーマーに基づく適応学習に優れた性能を持つことを示す。 我々は、等級モデルが適応性を改善しながら一般化にどのように影響するかを分析する。 適切なマグニチュードベースのテストは,テストパフォーマンスに多少依存している,と結論付けています。
  論文  参考訳（メタデータ） (2024-06-24T23:00:58Z)
• Towards Theoretical Understandings of Self-Consuming Generative Models [56.84592466204185]
  本稿では,自己消費ループ内で生成モデルを訓練する新たな課題に取り組む。 我々は,このトレーニングが将来のモデルで学習したデータ分布に与える影響を厳格に評価するための理論的枠組みを構築した。 カーネル密度推定の結果は,混合データトレーニングがエラー伝播に与える影響など,微妙な洞察を与える。
  論文  参考訳（メタデータ） (2024-02-19T02:08:09Z)
• Minimax Optimal Transfer Learning for Kernel-based Nonparametric Regression [18.240776405802205]
  本稿では,非パラメトリック回帰の文脈における伝達学習問題について考察する。 目的は、実用性と理論的保証の間のギャップを埋めることである。
  論文  参考訳（メタデータ） (2023-10-21T10:55:31Z)
• Selective Nonparametric Regression via Testing [54.20569354303575]
  本研究では,所定の点における条件分散の値に関する仮説を検証し,留置手順を開発する。 既存の手法とは異なり、提案手法は分散自体の値だけでなく、対応する分散予測器の不確実性についても考慮することができる。
  論文  参考訳（メタデータ） (2023-09-28T13:04:11Z)
• Kalman Filter for Online Classification of Non-Stationary Data [101.26838049872651]
  オンライン連続学習(OCL)では、学習システムはデータのストリームを受け取り、予測とトレーニングの手順を順次実行する。 本稿では,線形予測量に対するニューラル表現と状態空間モデルを用いた確率ベイズオンライン学習モデルを提案する。 多クラス分類の実験では、モデルの予測能力と非定常性を捉える柔軟性を示す。
  論文  参考訳（メタデータ） (2023-06-14T11:41:42Z)
• Transfer Learning with Uncertainty Quantification: Random Effect Calibration of Source to Target (RECaST) [1.8047694351309207]
  我々はRECaSTと呼ばれる伝達学習に基づくモデル予測のための統計的枠組みを開発する。 線形モデル間の伝達学習におけるRECaST手法の有効性を数学的・実験的に実証した。 シミュレーション研究における本手法の性能と実際の病院データへの適用について検討する。
  論文  参考訳（メタデータ） (2022-11-29T19:39:47Z)
• Estimation and inference for transfer learning with high-dimensional quantile regression [3.4510296013600374]
  本研究では,高次元量子レグレッションモデルの枠組みにおける伝達学習手法を提案する。 我々は、微妙に選択された転送可能なソースドメインに基づいて、転送学習推定器の誤差境界を確立する。 データ分割手法を採用することにより、負の転送を回避できる転送可能性検出手法を提案する。
  論文  参考訳（メタデータ） (2022-11-26T14:40:19Z)
• Conformal prediction for the design problem [72.14982816083297]
  機械学習の現実的な展開では、次にテストすべきデータを選択するために予測アルゴリズムを使用します。 このような設定では、トレーニングデータとテストデータの間には、異なるタイプの分散シフトがある。 このような環境で予測の不確実性を定量化する手法を提案する。
  論文  参考訳（メタデータ） (2022-02-08T02:59:12Z)
• Transfer learning suppresses simulation bias in predictive models built from sparse, multi-modal data [15.587831925516957]
  科学、工学、ビジネスにおける多くの問題は、ごくわずかな観察に基づく予測を必要とする。 堅牢な予測モデルを構築するには、特に設計空間が多次元である場合、これらのスパースデータをシミュレーションデータで拡張する必要がある。 ディープラーニングの最近の開発を組み合わせて、マルチモーダルデータからより堅牢な予測モデルを構築します。
  論文  参考訳（メタデータ） (2021-04-19T23:28:32Z)
• Transfer Learning for High-dimensional Linear Regression: Prediction, Estimation, and Minimax Optimality [6.230751621285322]
  トランスラッソは、複数の異なる組織からのデータを補助サンプルとして組み込むことにより、標的組織における遺伝子発現予測の性能を向上させることが示されている。
  論文  参考訳（メタデータ） (2020-06-18T14:55:29Z)
• Balance-Subsampled Stable Prediction [55.13512328954456]
  本稿では, 分数分解設計理論に基づく新しいバランスサブサンプル安定予測法を提案する。 設計理論解析により,提案手法は分布シフトによって誘導される予測器間の共起効果を低減できることを示した。 合成および実世界の両方のデータセットに関する数値実験により、BSSPアルゴリズムは未知のテストデータ間で安定した予測を行うためのベースライン法を著しく上回っていることが示された。
  論文  参考訳（メタデータ） (2020-06-08T07:01:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。