論文の概要: AdaTrans: Feature-wise and Sample-wise Adaptive Transfer Learning for High-dimensional Regression

• arxiv url: http://arxiv.org/abs/2403.13565v1
• Date: Wed, 20 Mar 2024 12:58:46 GMT
• ステータス: 処理完了
• システム内更新日: 2024-03-21 16:47:59.814659
• Title: AdaTrans: Feature-wise and Sample-wise Adaptive Transfer Learning for High-dimensional Regression
• Title（参考訳）: AdaTrans:高次元回帰のための特徴的およびサンプル的適応的変換学習
• Authors: Zelin He, Ying Sun, Jingyuan Liu, Runze Li,
• Abstract要約: 本研究では,高次元設定における伝達学習の問題について考察する。 本稿では,F-AdaTrans(F-AdaTrans)やS-AdaTrans(S-AdaTrans)の変換可能な構造を検出・集約できる適応型トランスファー学習法を提案する。
• 参考スコア（独自算出の注目度）: 11.040033344386366
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We consider the transfer learning problem in the high dimensional setting, where the feature dimension is larger than the sample size. To learn transferable information, which may vary across features or the source samples, we propose an adaptive transfer learning method that can detect and aggregate the feature-wise (F-AdaTrans) or sample-wise (S-AdaTrans) transferable structures. We achieve this by employing a novel fused-penalty, coupled with weights that can adapt according to the transferable structure. To choose the weight, we propose a theoretically informed, data-driven procedure, enabling F-AdaTrans to selectively fuse the transferable signals with the target while filtering out non-transferable signals, and S-AdaTrans to obtain the optimal combination of information transferred from each source sample. The non-asymptotic rates are established, which recover existing near-minimax optimal rates in special cases. The effectiveness of the proposed method is validated using both synthetic and real data.
• Abstract（参考訳）: 本研究では,高次元設定における伝達学習の問題について考察する。 特徴量やソースサンプルによって異なる転送可能な情報を学習するために,特徴量(F-AdaTrans)やサンプル量(S-AdaTrans)の変換可能な構造を検出・集約できる適応型転送学習法を提案する。 移動可能な構造に適応可能な重量と組み合わせて, 新規なフューズド・ペナルティ(fused-penalty)を採用することで実現した。 そこで本研究では,F-AdaTransとS-AdaTransを併用して,伝送可能信号のフィルタリングを行う手法を提案する。 非漸近速度が確立され、特殊な場合において、既存の最小値に近い最適速度を回復する。 提案手法の有効性を,合成データと実データの両方を用いて検証した。

関連論文リスト

• Dynamical Measure Transport and Neural PDE Solvers for Sampling [77.38204731939273]
  本研究では, 対象物へのトラクタブル密度関数の移動として, 確率密度からサンプリングする作業に取り組む。 物理インフォームドニューラルネットワーク(PINN)を用いて各偏微分方程式(PDE)の解を近似する。 PINNはシミュレーションと離散化のない最適化を可能にし、非常に効率的に訓練することができる。
  論文  参考訳（メタデータ） (2024-07-10T17:39:50Z)
• Learning to Transform Dynamically for Better Adversarial Transferability [32.267484632957576]
  人間に知覚できない摂動を加えることで構築された敵対的な例は、ニューラルネットワークを欺く可能性がある。 我々はL2T(Learning to Transform)という新しいアプローチを導入する。 L2Tは、候補プールからの操作の最適な組み合わせを選択することにより、変換された画像の多様性を高める。
  論文  参考訳（メタデータ） (2024-05-23T00:46:53Z)
• Physics-informed and Unsupervised Riemannian Domain Adaptation for Machine Learning on Heterogeneous EEG Datasets [53.367212596352324]
  脳波信号物理を利用した教師なし手法を提案する。 脳波チャンネルをフィールド、ソースフリーなドメイン適応を用いて固定位置にマッピングする。 提案手法は脳-コンピュータインタフェース(BCI)タスクおよび潜在的なバイオマーカー応用におけるロバストな性能を示す。
  論文  参考訳（メタデータ） (2024-03-07T16:17:33Z)
• Robust Transfer Learning with Unreliable Source Data [13.276850367115333]
  対象関数とソース回帰関数との差を測定する「あいまい度レベル」と呼ばれる新しい量を導入する。 本稿では, 簡単な伝達学習手法を提案し, この新しい量が学習の伝達可能性にどのように関係しているかを示す一般的な定理を確立する。
  論文  参考訳（メタデータ） (2023-10-06T21:50:21Z)
• Estimation and inference for transfer learning with high-dimensional quantile regression [3.4510296013600374]
  本研究では,高次元量子レグレッションモデルの枠組みにおける伝達学習手法を提案する。 我々は、微妙に選択された転送可能なソースドメインに基づいて、転送学習推定器の誤差境界を確立する。 データ分割手法を採用することにより、負の転送を回避できる転送可能性検出手法を提案する。
  論文  参考訳（メタデータ） (2022-11-26T14:40:19Z)
• The Self-Optimal-Transport Feature Transform [2.804721532913997]
  ダウンストリームマッチングや関連するタスクのグループ化を容易にするために、データインスタンスの機能セットをアップグレードする方法を示します。 エントロピー正規化バージョンを最適輸送 (OT) 最適化により近似できる, 特定の min-コスト-max-flow 分数マッチング問題により, トランスダクティブ・トランスフォーメーションが生じる。 経験的に、この変換は、その使用において非常に効果的で柔軟性があり、挿入されるネットワークを一貫して改善している。
  論文  参考訳（メタデータ） (2022-04-06T20:00:39Z)
• XAI for Transformers: Better Explanations through Conservative Propagation [60.67748036747221]
  変換器の勾配は局所的にのみ関数を反映しており、入力特徴の予測への寄与を確実に識別できないことを示す。 我々の提案は、よく確立されたLPP法のトランスフォーマーへの適切な拡張と見なすことができる。
  論文  参考訳（メタデータ） (2022-02-15T10:47:11Z)
• On Transferability of Prompt Tuning for Natural Language Understanding [63.29235426932978]
  タスクやモデル間でのソフトプロンプトの転送可能性について検討する。 訓練されたソフトプロンプトは、同様のタスクにうまく移行し、PTを初期化してトレーニングを加速し、パフォーマンスを向上させることができる。 以上の結果から,知識伝達によるPTの改善は可能で有望であり,プロンプトのクロスタスク転送性はクロスモデル転送性よりも良好であることが示唆された。
  論文  参考訳（メタデータ） (2021-11-12T13:39:28Z)
• Frustratingly Easy Transferability Estimation [64.42879325144439]
  本稿では,TransRate という,シンプルで効率的かつ効果的な転送可能性尺度を提案する。 TransRateは、事前訓練されたモデルによって抽出された対象サンプルの特徴とそれらのラベルとの間の相互情報として、転送可能性を測定する。 10行のコードで並外れた単純さにもかかわらず、TransRateは、22の事前訓練されたモデルと16のダウンストリームタスクに対する広範囲な評価において、非常にうまく機能している。
  論文  参考訳（メタデータ） (2021-06-17T10:27:52Z)
• Transfer Learning for High-dimensional Linear Regression: Prediction, Estimation, and Minimax Optimality [6.230751621285322]
  トランスラッソは、複数の異なる組織からのデータを補助サンプルとして組み込むことにより、標的組織における遺伝子発現予測の性能を向上させることが示されている。
  論文  参考訳（メタデータ） (2020-06-18T14:55:29Z)
• Multilinear Compressive Learning with Prior Knowledge [106.12874293597754]
  マルチリニア圧縮学習(MCL)フレームワークは、マルチリニア圧縮センシングと機械学習をエンドツーエンドシステムに統合する。 MCLの背後にある主要なアイデアは、下流学習タスクの信号から重要な特徴を捉えることのできるテンソル部分空間の存在を仮定することである。 本稿では、上記の要件、すなわち、関心の信号が分離可能なテンソル部分空間をどうやって見つけるかという、2つの要件に対処する新しい解決策を提案する。
  論文  参考訳（メタデータ） (2020-02-17T19:06:05Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。