論文の概要: Transfer Learning for High-dimensional Quantile Regression with Distribution Shift

• arxiv url: http://arxiv.org/abs/2411.19933v1
• Date: Fri, 29 Nov 2024 18:49:55 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-02 15:19:14.518553
• Title: Transfer Learning for High-dimensional Quantile Regression with Distribution Shift
• Title（参考訳）: 分布シフトを伴う高次元量子回帰の伝達学習
• Authors: Ruiqi Bai, Yijiao Zhang, Hanbo Yang, Zhongyi Zhu,
• Abstract要約: 本稿では,3種類の分布シフトの下での知識伝達を伴う高次元量子レグレッションに着目した。 本稿では,これら3つの相違点に対処する新しい転送可能集合と新しい転送フレームワークを提案する。 本手法の有効性と優位性を検証するため,非漸近的推定誤差境界とソース検出整合性を確立した。
• 参考スコア（独自算出の注目度）: 0.28927500190704564
• License:
• Abstract: Information from related source studies can often enhance the findings of a target study. However, the distribution shift between target and source studies can severely impact the efficiency of knowledge transfer. In the high-dimensional regression setting, existing transfer approaches mainly focus on the parameter shift. In this paper, we focus on the high-dimensional quantile regression with knowledge transfer under three types of distribution shift: parameter shift, covariate shift, and residual shift. We propose a novel transferable set and a new transfer framework to address the above three discrepancies. Non-asymptotic estimation error bounds and source detection consistency are established to validate the availability and superiority of our method in the presence of distribution shift. Additionally, an orthogonal debiased approach is proposed for statistical inference with knowledge transfer, leading to sharper asymptotic results. Extensive simulation results as well as real data applications further demonstrate the effectiveness of our proposed procedure.
• Abstract（参考訳）: 関連するソース研究からの情報は、しばしば対象研究の発見を高めることができる。 しかし、ターゲットとソース研究の間の分布シフトは、知識伝達の効率に大きな影響を及ぼす可能性がある。 高次元回帰設定では、既存の転送アプローチは主にパラメータシフトに焦点を当てている。 本稿では,パラメータシフト,共変量シフト,残差シフトの3種類の分散シフトの下で,知識伝達を伴う高次元量子レグレッションに着目した。 本稿では,これら3つの相違点に対処する新しい転送可能集合と新しい転送フレームワークを提案する。 非漸近的推定誤差境界とソース検出整合性を確立し,分布シフトが存在する場合の本手法の有効性と優位性を検証した。 さらに、知識伝達による統計的推測のために直交脱バイアス法が提案され、漸近的な結果をより鋭くする。 シミュレーション結果と実データ応用により,提案手法の有効性がさらに示された。

関連論文リスト

• Harnessing the Power of Vicinity-Informed Analysis for Classification under Covariate Shift [9.530897053573186]
  転送学習は、ソース分布からのデータを活用することにより、ターゲット分布の予測精度を向上させる。 本稿では,周辺情報,すなわちデータポイントの局所的構造を利用した新しい異種性尺度を提案する。 提案手法を用いて過大な誤差を特徴付けるとともに,従来の手法と比較して高速あるいは競合的な収束率を示す。
  論文  参考訳（メタデータ） (2024-05-27T07:55:27Z)
• TransFusion: Covariate-Shift Robust Transfer Learning for High-Dimensional Regression [11.040033344386366]
  対象タスクの学習性能を限定的なサンプルで向上させるため, 新規な融合正規化器を用いた2段階の手法を提案する。 対象モデルの推定誤差に対して、漸近的境界が提供される。 提案手法を分散設定に拡張し,事前学習ファインタニング戦略を実現する。
  論文  参考訳（メタデータ） (2024-04-01T14:58:16Z)
• Proxy Methods for Domain Adaptation [78.03254010884783]
  プロキシ変数は、遅延変数を明示的にリカバリしたりモデル化したりすることなく、分散シフトへの適応を可能にする。 両設定の複雑な分散シフトに適応する2段階のカーネル推定手法を開発した。
  論文  参考訳（メタデータ） (2024-03-12T09:32:41Z)
• Robust Transfer Learning with Unreliable Source Data [13.276850367115333]
  対象関数とソース回帰関数との差を測定する「あいまい度レベル」と呼ばれる新しい量を導入する。 本稿では, 簡単な伝達学習手法を提案し, この新しい量が学習の伝達可能性にどのように関係しているかを示す一般的な定理を確立する。
  論文  参考訳（メタデータ） (2023-10-06T21:50:21Z)
• Revisiting the Robustness of the Minimum Error Entropy Criterion: A Transfer Learning Case Study [16.07380451502911]
  本稿では,非ガウス雑音に対処する最小誤差エントロピー基準のロバスト性を再考する。 本稿では,分散シフトが一般的である実生活伝達学習回帰タスクの実現可能性と有用性について検討する。
  論文  参考訳（メタデータ） (2023-07-17T15:38:11Z)
• Adapting to Continuous Covariate Shift via Online Density Ratio Estimation [64.8027122329609]
  分散シフトへの対処は、現代の機械学習における中心的な課題の1つだ。 歴史的情報を適切に再利用するオンライン手法を提案する。 我々の密度比推定法は, ダイナミックなリセットバウンドを楽しむことにより, 良好に動作できることが証明された。
  論文  参考訳（メタデータ） (2023-02-06T04:03:33Z)
• Estimation and inference for transfer learning with high-dimensional quantile regression [3.4510296013600374]
  本研究では,高次元量子レグレッションモデルの枠組みにおける伝達学習手法を提案する。 我々は、微妙に選択された転送可能なソースドメインに基づいて、転送学習推定器の誤差境界を確立する。 データ分割手法を採用することにより、負の転送を回避できる転送可能性検出手法を提案する。
  論文  参考訳（メタデータ） (2022-11-26T14:40:19Z)
• Invariance Learning in Deep Neural Networks with Differentiable Laplace Approximations [76.82124752950148]
  我々はデータ拡張を選択するための便利な勾配法を開発した。 我々はKronecker-factored Laplace近似を我々の目的とする限界確率に近似する。
  論文  参考訳（メタデータ） (2022-02-22T02:51:11Z)
• Exploring Transferable and Robust Adversarial Perturbation Generation from the Perspective of Network Hierarchy [52.153866313879924]
  敵の例の移動可能性と堅牢性は、ブラックボックスの敵攻撃の実用的かつ重要な2つの性質である。 伝送可能で頑健な逆生成法(TRAP)を提案する。 我々のTRAPは、ある種の干渉に対して印象的な伝達性と高い堅牢性を実現する。
  論文  参考訳（メタデータ） (2021-08-16T11:52:41Z)
• Frustratingly Easy Transferability Estimation [64.42879325144439]
  本稿では,TransRate という,シンプルで効率的かつ効果的な転送可能性尺度を提案する。 TransRateは、事前訓練されたモデルによって抽出された対象サンプルの特徴とそれらのラベルとの間の相互情報として、転送可能性を測定する。 10行のコードで並外れた単純さにもかかわらず、TransRateは、22の事前訓練されたモデルと16のダウンストリームタスクに対する広範囲な評価において、非常にうまく機能している。
  論文  参考訳（メタデータ） (2021-06-17T10:27:52Z)
• Towards Accurate Knowledge Transfer via Target-awareness Representation Disentanglement [56.40587594647692]
  本稿では,TRED(Target-Awareness Representation Disentanglement)の概念を取り入れた新しいトランスファー学習アルゴリズムを提案する。 TREDは、対象のタスクに関する関連する知識を元のソースモデルから切り離し、ターゲットモデルを微調整する際、レギュレータとして使用する。 各種実世界のデータセットを用いた実験により,本手法は標準微調整を平均2%以上安定的に改善することが示された。
  論文  参考訳（メタデータ） (2020-10-16T17:45:08Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。