論文の概要: Statistical inference for transfer learning with high-dimensional quantile regression

• arxiv url: http://arxiv.org/abs/2211.14578v2
• Date: Wed, 19 Apr 2023 03:16:07 GMT
• ステータス: 処理完了
• システム内更新日: 2023-04-20 17:41:06.885358
• Title: Statistical inference for transfer learning with high-dimensional quantile regression
• Title（参考訳）: 高次元量子量回帰を用いた転校学習の統計的推論
• Authors: Jiayu Huang, Mingqiu Wang, Yuanshan Wu
• Abstract要約: 本研究では,高次元量子レグレッションモデルの枠組みにおける伝達学習手法を提案する。 我々は、微妙に選択された転送可能なソースドメインに基づいて、転送学習推定器の誤差境界を確立する。
• 参考スコア（独自算出の注目度）: 1.314903445595385
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Transfer learning has become an essential technique to exploit information from the source domain to boost performance of the target task. Despite the prevalence in high-dimensional data, heterogeneity and/or heavy tails are insufficiently accounted for by current transfer learning approaches and thus may undermine the resulting performance. We propose a transfer learning procedure in the framework of high-dimensional quantile regression models to accommodate the heterogeneity and heavy tails in the source and target domains. We establish error bounds of the transfer learning estimator based on delicately selected transferable source domains, showing that lower error bounds can be achieved for critical selection criterion and larger sample size of source tasks. We further propose valid confidence interval and hypothesis test procedures for individual component of high-dimensional quantile regression coefficients by advocating a double transfer learning estimator, which is the one-step debiased estimator for the transfer learning estimator wherein the technique of transfer learning is designed again. Simulation results demonstrate that the proposed method exhibits some favorable performances, further corroborating our theoretical results.
• Abstract（参考訳）: 転送学習は、ソースドメインからの情報を活用して、ターゲットタスクの性能を高めるための重要な技術となっている。 高次元データの頻度にもかかわらず、異質性や重い尾は現在の移動学習手法によって十分に説明できないため、結果として生じる性能を損なう可能性がある。 本研究では,高次元分位回帰モデルの枠組みにおいて,ソース領域とターゲット領域の重みと不均一性に対応するための伝達学習手順を提案する。 そこで,提案手法では,より繊細に選択されたトランスファー可能なソースドメインに基づいて,トランスファー学習推定器の誤差境界を定め,決定基準を低くし,ソースタスクのサンプルサイズを増加させることが可能であることを示す。 さらに,トランスファー学習の手法を再び設計するトランスファー学習推定器において,一段階の偏差推定器である二重伝達学習推定器を提唱し,高次元分位回帰係数の個々の成分に対する正当な信頼区間と仮説試験手順を提案する。 シミュレーションの結果,提案手法は良好な性能を示し,さらに理論的な結果と相関することが示された。

関連論文リスト

• Efficient Transferability Assessment for Selection of Pre-trained Detectors [63.21514888618542]
  本稿では,事前学習対象検出器の効率的な伝達性評価について検討する。 我々は、事前訓練された検出器の大規模で多様な動物園を含む検出器転送性ベンチマークを構築した。 実験により,本手法は伝達性の評価において,他の最先端手法よりも優れていることが示された。
  論文  参考訳（メタデータ） (2024-03-14T14:23:23Z)
• Simple Transferability Estimation for Regression Tasks [15.156533945366979]
  線形回帰モデルの負の正則化平均二乗誤差に基づいて、転送可能性を評価するための単純で効率的な2つのアプローチを提案する。 その単純さにもかかわらず、我々のアプローチは、精度と効率の両面で既存の最先端の回帰移動率推定器よりも大幅に優れています。
  論文  参考訳（メタデータ） (2023-12-01T15:30:54Z)
• Minimax Optimal Transfer Learning for Kernel-based Nonparametric Regression [18.240776405802205]
  本稿では,非パラメトリック回帰の文脈における伝達学習問題について考察する。 目的は、実用性と理論的保証の間のギャップを埋めることである。
  論文  参考訳（メタデータ） (2023-10-21T10:55:31Z)
• Robust Transfer Learning with Unreliable Source Data [13.276850367115333]
  対象関数とソース回帰関数との差を測定する「あいまい度レベル」と呼ばれる新しい量を導入する。 本稿では, 簡単な伝達学習手法を提案し, この新しい量が学習の伝達可能性にどのように関係しているかを示す一般的な定理を確立する。
  論文  参考訳（メタデータ） (2023-10-06T21:50:21Z)
• Towards Estimating Transferability using Hard Subsets [25.86053764521497]
  HASTEは、ターゲットデータのより厳しいサブセットのみを用いて、ソースモデルの特定のターゲットタスクへの転送可能性を推定する新しい戦略である。 HASTEは既存の転送可能性測定値と組み合わせて信頼性を向上させることができることを示す。 複数のソースモデルアーキテクチャ、ターゲットデータセット、トランスファー学習タスクにまたがる実験結果から、HASTEの修正されたメトリクスは、一貫して、あるいは、アートトランスファービリティーメトリクスの状態と同等であることが示された。
  論文  参考訳（メタデータ） (2023-01-17T14:50:18Z)
• Transferability Estimation Based On Principal Gradient Expectation [68.97403769157117]
  クロスタスク転送性は、自己整合性を維持しながら転送結果と互換性がある。 既存の転送可能性メトリクスは、ソースとターゲットタスクを会話することで、特定のモデルに基づいて推定される。 本稿では,タスク間の転送可能性を評価するための簡易かつ効果的な手法であるPGEを提案する。
  論文  参考訳（メタデータ） (2022-11-29T15:33:02Z)
• Invariance Learning in Deep Neural Networks with Differentiable Laplace Approximations [76.82124752950148]
  我々はデータ拡張を選択するための便利な勾配法を開発した。 我々はKronecker-factored Laplace近似を我々の目的とする限界確率に近似する。
  論文  参考訳（メタデータ） (2022-02-22T02:51:11Z)
• Learning to Learn Transferable Attack [77.67399621530052]
  転送逆行攻撃は非自明なブラックボックス逆行攻撃であり、サロゲートモデル上で敵の摂動を発生させ、そのような摂動を被害者モデルに適用することを目的としている。 本研究では,データとモデル拡張の両方から学習することで,敵の摂動をより一般化する学習可能な攻撃学習法(LLTA)を提案する。 提案手法の有効性を実証し, 現状の手法と比較して, 12.85%のトランスファー攻撃の成功率で検証した。
  論文  参考訳（メタデータ） (2021-12-10T07:24:21Z)
• Frustratingly Easy Transferability Estimation [64.42879325144439]
  本稿では,TransRate という,シンプルで効率的かつ効果的な転送可能性尺度を提案する。 TransRateは、事前訓練されたモデルによって抽出された対象サンプルの特徴とそれらのラベルとの間の相互情報として、転送可能性を測定する。 10行のコードで並外れた単純さにもかかわらず、TransRateは、22の事前訓練されたモデルと16のダウンストリームタスクに対する広範囲な評価において、非常にうまく機能している。
  論文  参考訳（メタデータ） (2021-06-17T10:27:52Z)
• Transfer Learning under High-dimensional Generalized Linear Models [7.675822266933702]
  本研究では,高次元一般化線形モデルによる伝達学習問題について検討する。 オラクルアルゴリズムを提案し,その$ell$-estimationエラー境界を導出する。 どのソースを転送すべきかわからない場合には、アルゴリズム無しで転送可能なソース検出手法を導入します。
  論文  参考訳（メタデータ） (2021-05-29T15:39:43Z)
• Towards Accurate Knowledge Transfer via Target-awareness Representation Disentanglement [56.40587594647692]
  本稿では,TRED(Target-Awareness Representation Disentanglement)の概念を取り入れた新しいトランスファー学習アルゴリズムを提案する。 TREDは、対象のタスクに関する関連する知識を元のソースモデルから切り離し、ターゲットモデルを微調整する際、レギュレータとして使用する。 各種実世界のデータセットを用いた実験により,本手法は標準微調整を平均2%以上安定的に改善することが示された。
  論文  参考訳（メタデータ） (2020-10-16T17:45:08Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。