論文の概要: Feature-wise and Sample-wise Adaptive Transfer Learning for High-dimensional Linear Regression

• arxiv url: http://arxiv.org/abs/2403.13565v2
• Date: Mon, 18 Nov 2024 15:30:16 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-19 14:30:06.651892
• Title: Feature-wise and Sample-wise Adaptive Transfer Learning for High-dimensional Linear Regression
• Title（参考訳）: 高次元線形回帰のための特徴量およびサンプルワイド適応変換学習
• Authors: Zelin He, Ying Sun, Jingyuan Liu, Runze Li,
• Abstract要約: 本稿では,F-AdaTrans(F-AdaTrans)やS-AdaTrans(S-AdaTrans)の変換可能な構造を検出・集約できる適応型トランスファー学習法を提案する。 F-AdaTransは適切に選択された重みによって、既知の伝達可能な構造を持つオラクル推定器に近い収束率が得られることを示す。
• 参考スコア（独自算出の注目度）: 11.040033344386366
• License:
• Abstract: We consider the transfer learning problem in the high dimensional linear regression setting, where the feature dimension is larger than the sample size. To learn transferable information, which may vary across features or the source samples, we propose an adaptive transfer learning method that can detect and aggregate the feature-wise (F-AdaTrans) or sample-wise (S-AdaTrans) transferable structures. We achieve this by employing a fused-penalty, coupled with weights that can adapt according to the transferable structure. To choose the weight, we propose a theoretically informed, data-driven procedure, enabling F-AdaTrans to selectively fuse the transferable signals with the target while filtering out non-transferable signals, and S-AdaTrans to obtain the optimal combination of information transferred from each source sample. We show that, with appropriately chosen weights, F-AdaTrans achieves a convergence rate close to that of an oracle estimator with a known transferable structure, and S-AdaTrans recovers existing near-minimax optimal rates as a special case. The effectiveness of the proposed method is validated using both simulation and real data, demonstrating favorable performance compared to the existing methods.
• Abstract（参考訳）: 本研究では,高次元線形回帰設定における伝達学習問題について考察する。 特徴量やソースサンプルによって異なる転送可能な情報を学習するために,特徴量(F-AdaTrans)やサンプル量(S-AdaTrans)の変換可能な構造を検出・集約できる適応型転送学習法を提案する。 我々は, 移動可能な構造に適応可能な重みを伴って, フューズド・ペナルティ(fused-penalty)を用いることでこれを実現した。 そこで本研究では,F-AdaTransとS-AdaTransを併用して,伝送可能信号のフィルタリングを行う手法を提案する。 適切な重みが選択された場合,F-AdaTrans は既知の伝達可能な構造を持つオラクル推定器に近い収束率を達成し,S-AdaTrans は既存の最小値に近い最適速度を特別な場合として回復することを示した。 提案手法の有効性をシミュレーションと実データの両方を用いて検証し,既存手法と比較して良好な性能を示した。

関連論文リスト

• Transfer Learning of Surrogate Models: Integrating Domain Warping and Affine Transformations [4.515998639772672]
  サロゲートモデルは、計算的に要求される現実世界のプロセスに効率的な代替手段を提供する。 従来の研究では、微分可能および非微分可能サロゲートモデルの移動について研究されてきた。 本稿は、より広い範囲のトランスフォーメーションに対処することで、これまでの研究を拡張している。
  論文  参考訳（メタデータ） (2025-01-30T13:46:48Z)
• Over-the-Air Fair Federated Learning via Multi-Objective Optimization [52.295563400314094]
  本稿では,公平なFLモデルを訓練するためのOTA-FFL(Over-the-air Fair Federated Learning Algorithm)を提案する。 OTA-FFLの公正性とロバストな性能に対する優位性を示す実験を行った。
  論文  参考訳（メタデータ） (2025-01-06T21:16:51Z)
• Dynamical Measure Transport and Neural PDE Solvers for Sampling [77.38204731939273]
  本研究では, 対象物へのトラクタブル密度関数の移動として, 確率密度からサンプリングする作業に取り組む。 物理インフォームドニューラルネットワーク(PINN)を用いて各偏微分方程式(PDE)の解を近似する。 PINNはシミュレーションと離散化のない最適化を可能にし、非常に効率的に訓練することができる。
  論文  参考訳（メタデータ） (2024-07-10T17:39:50Z)
• Learning to Transform Dynamically for Better Adversarial Transferability [32.267484632957576]
  人間に知覚できない摂動を加えることで構築された敵対的な例は、ニューラルネットワークを欺く可能性がある。 我々はL2T(Learning to Transform)という新しいアプローチを導入する。 L2Tは、候補プールからの操作の最適な組み合わせを選択することにより、変換された画像の多様性を高める。
  論文  参考訳（メタデータ） (2024-05-23T00:46:53Z)
• Estimation and inference for transfer learning with high-dimensional quantile regression [3.4510296013600374]
  本研究では,高次元量子レグレッションモデルの枠組みにおける伝達学習手法を提案する。 我々は、微妙に選択された転送可能なソースドメインに基づいて、転送学習推定器の誤差境界を確立する。 データ分割手法を採用することにより、負の転送を回避できる転送可能性検出手法を提案する。
  論文  参考訳（メタデータ） (2022-11-26T14:40:19Z)
• The Self-Optimal-Transport Feature Transform [2.804721532913997]
  ダウンストリームマッチングや関連するタスクのグループ化を容易にするために、データインスタンスの機能セットをアップグレードする方法を示します。 エントロピー正規化バージョンを最適輸送 (OT) 最適化により近似できる, 特定の min-コスト-max-flow 分数マッチング問題により, トランスダクティブ・トランスフォーメーションが生じる。 経験的に、この変換は、その使用において非常に効果的で柔軟性があり、挿入されるネットワークを一貫して改善している。
  論文  参考訳（メタデータ） (2022-04-06T20:00:39Z)
• XAI for Transformers: Better Explanations through Conservative Propagation [60.67748036747221]
  変換器の勾配は局所的にのみ関数を反映しており、入力特徴の予測への寄与を確実に識別できないことを示す。 我々の提案は、よく確立されたLPP法のトランスフォーマーへの適切な拡張と見なすことができる。
  論文  参考訳（メタデータ） (2022-02-15T10:47:11Z)
• On Transferability of Prompt Tuning for Natural Language Understanding [63.29235426932978]
  タスクやモデル間でのソフトプロンプトの転送可能性について検討する。 訓練されたソフトプロンプトは、同様のタスクにうまく移行し、PTを初期化してトレーニングを加速し、パフォーマンスを向上させることができる。 以上の結果から,知識伝達によるPTの改善は可能で有望であり,プロンプトのクロスタスク転送性はクロスモデル転送性よりも良好であることが示唆された。
  論文  参考訳（メタデータ） (2021-11-12T13:39:28Z)
• Frustratingly Easy Transferability Estimation [64.42879325144439]
  本稿では,TransRate という,シンプルで効率的かつ効果的な転送可能性尺度を提案する。 TransRateは、事前訓練されたモデルによって抽出された対象サンプルの特徴とそれらのラベルとの間の相互情報として、転送可能性を測定する。 10行のコードで並外れた単純さにもかかわらず、TransRateは、22の事前訓練されたモデルと16のダウンストリームタスクに対する広範囲な評価において、非常にうまく機能している。
  論文  参考訳（メタデータ） (2021-06-17T10:27:52Z)
• Transfer Learning for High-dimensional Linear Regression: Prediction, Estimation, and Minimax Optimality [6.230751621285322]
  トランスラッソは、複数の異なる組織からのデータを補助サンプルとして組み込むことにより、標的組織における遺伝子発現予測の性能を向上させることが示されている。
  論文  参考訳（メタデータ） (2020-06-18T14:55:29Z)
• Multilinear Compressive Learning with Prior Knowledge [106.12874293597754]
  マルチリニア圧縮学習(MCL)フレームワークは、マルチリニア圧縮センシングと機械学習をエンドツーエンドシステムに統合する。 MCLの背後にある主要なアイデアは、下流学習タスクの信号から重要な特徴を捉えることのできるテンソル部分空間の存在を仮定することである。 本稿では、上記の要件、すなわち、関心の信号が分離可能なテンソル部分空間をどうやって見つけるかという、2つの要件に対処する新しい解決策を提案する。
  論文  参考訳（メタデータ） (2020-02-17T19:06:05Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。