論文の概要: AdaTrans: Feature-wise and Sample-wise Adaptive Transfer Learning for High-dimensional Regression
- arxiv url: http://arxiv.org/abs/2403.13565v1
- Date: Wed, 20 Mar 2024 12:58:46 GMT
- ステータス: 処理完了
- システム内更新日: 2024-03-21 16:47:59.814659
- Title: AdaTrans: Feature-wise and Sample-wise Adaptive Transfer Learning for High-dimensional Regression
- Title(参考訳): AdaTrans:高次元回帰のための特徴的およびサンプル的適応的変換学習
- Authors: Zelin He, Ying Sun, Jingyuan Liu, Runze Li,
- Abstract要約: 本研究では,高次元設定における伝達学習の問題について考察する。
本稿では,F-AdaTrans(F-AdaTrans)やS-AdaTrans(S-AdaTrans)の変換可能な構造を検出・集約できる適応型トランスファー学習法を提案する。
- 参考スコア(独自算出の注目度): 11.040033344386366
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We consider the transfer learning problem in the high dimensional setting, where the feature dimension is larger than the sample size. To learn transferable information, which may vary across features or the source samples, we propose an adaptive transfer learning method that can detect and aggregate the feature-wise (F-AdaTrans) or sample-wise (S-AdaTrans) transferable structures. We achieve this by employing a novel fused-penalty, coupled with weights that can adapt according to the transferable structure. To choose the weight, we propose a theoretically informed, data-driven procedure, enabling F-AdaTrans to selectively fuse the transferable signals with the target while filtering out non-transferable signals, and S-AdaTrans to obtain the optimal combination of information transferred from each source sample. The non-asymptotic rates are established, which recover existing near-minimax optimal rates in special cases. The effectiveness of the proposed method is validated using both synthetic and real data.
- Abstract(参考訳): 本研究では,高次元設定における伝達学習の問題について考察する。
特徴量やソースサンプルによって異なる転送可能な情報を学習するために,特徴量(F-AdaTrans)やサンプル量(S-AdaTrans)の変換可能な構造を検出・集約できる適応型転送学習法を提案する。
移動可能な構造に適応可能な重量と組み合わせて, 新規なフューズド・ペナルティ(fused-penalty)を採用することで実現した。
そこで本研究では,F-AdaTransとS-AdaTransを併用して,伝送可能信号のフィルタリングを行う手法を提案する。
非漸近速度が確立され、特殊な場合において、既存の最小値に近い最適速度を回復する。
提案手法の有効性を,合成データと実データの両方を用いて検証した。
関連論文リスト
- Diffusion-based Neural Network Weights Generation [85.6725307453325]
データセット条件付き事前学習重み抽出による効率よく適応的な伝達学習手法を提案する。
具体的には、ニューラルネットワークの重みを再構築できる変分オートエンコーダを備えた潜時拡散モデルを用いる。
論文 参考訳(メタデータ) (2024-02-28T08:34:23Z) - Context-based Transfer and Efficient Iterative Learning for Unbiased
Scene Graph Generation [93.98335200422274]
CITransは、段階的に強化されたデータでSGGモデルを反復的に訓練する。
CRTは、詳細なデータ転送を達成するために、述語のセマンティック空間内で主観的対象制約を課す。
EILはモデルを反復的にトレーニングし、モデルの学習状態と整合した拡張ラベルを生成する。
論文 参考訳(メタデータ) (2023-12-29T01:37:27Z) - Arbitrary Distributions Mapping via SyMOT-Flow: A Flow-based Approach
Integrating Maximum Mean Discrepancy and Optimal Transport [3.069335774032178]
本稿では,2つの未知分布からの標本間の対称最大平均誤差を最小化することにより,可逆変換を訓練するSyMOT-Flowと呼ばれる新しいモデルを提案する。
結果として得られる変換はより安定で正確なサンプル生成をもたらす。
論文 参考訳(メタデータ) (2023-08-26T08:39:16Z) - Estimation and inference for transfer learning with high-dimensional
quantile regression [3.4510296013600374]
本研究では,高次元量子レグレッションモデルの枠組みにおける伝達学習手法を提案する。
我々は、微妙に選択された転送可能なソースドメインに基づいて、転送学習推定器の誤差境界を確立する。
データ分割手法を採用することにより、負の転送を回避できる転送可能性検出手法を提案する。
論文 参考訳(メタデータ) (2022-11-26T14:40:19Z) - InfoOT: Information Maximizing Optimal Transport [58.72713603244467]
InfoOTは最適な輸送の情報理論の拡張である。
幾何学的距離を最小化しながら、ドメイン間の相互情報を最大化する。
この定式化は、外れ値に対して堅牢な新しい射影法をもたらし、目に見えないサンプルに一般化する。
論文 参考訳(メタデータ) (2022-10-06T18:55:41Z) - The Self-Optimal-Transport Feature Transform [2.804721532913997]
ダウンストリームマッチングや関連するタスクのグループ化を容易にするために、データインスタンスの機能セットをアップグレードする方法を示します。
エントロピー正規化バージョンを最適輸送 (OT) 最適化により近似できる, 特定の min-コスト-max-flow 分数マッチング問題により, トランスダクティブ・トランスフォーメーションが生じる。
経験的に、この変換は、その使用において非常に効果的で柔軟性があり、挿入されるネットワークを一貫して改善している。
論文 参考訳(メタデータ) (2022-04-06T20:00:39Z) - Data augmentation with mixtures of max-entropy transformations for
filling-level classification [88.14088768857242]
本稿では,コンテンツレベルの分類作業のための基本データ拡張スキームを用いて,テスト時間データにおける分散シフトの問題に対処する。
このような原理的な拡張スキームは,伝達学習を利用した現在のアプローチを置き換えたり,伝達学習と組み合わせて性能を向上させることができることを示す。
論文 参考訳(メタデータ) (2022-03-08T11:41:38Z) - Frustratingly Easy Transferability Estimation [64.42879325144439]
本稿では,TransRate という,シンプルで効率的かつ効果的な転送可能性尺度を提案する。
TransRateは、事前訓練されたモデルによって抽出された対象サンプルの特徴とそれらのラベルとの間の相互情報として、転送可能性を測定する。
10行のコードで並外れた単純さにもかかわらず、TransRateは、22の事前訓練されたモデルと16のダウンストリームタスクに対する広範囲な評価において、非常にうまく機能している。
論文 参考訳(メタデータ) (2021-06-17T10:27:52Z) - Transfer Learning for High-dimensional Linear Regression: Prediction,
Estimation, and Minimax Optimality [6.230751621285322]
トランスラッソは、複数の異なる組織からのデータを補助サンプルとして組み込むことにより、標的組織における遺伝子発現予測の性能を向上させることが示されている。
論文 参考訳(メタデータ) (2020-06-18T14:55:29Z) - Multilinear Compressive Learning with Prior Knowledge [106.12874293597754]
マルチリニア圧縮学習(MCL)フレームワークは、マルチリニア圧縮センシングと機械学習をエンドツーエンドシステムに統合する。
MCLの背後にある主要なアイデアは、下流学習タスクの信号から重要な特徴を捉えることのできるテンソル部分空間の存在を仮定することである。
本稿では、上記の要件、すなわち、関心の信号が分離可能なテンソル部分空間をどうやって見つけるかという、2つの要件に対処する新しい解決策を提案する。
論文 参考訳(メタデータ) (2020-02-17T19:06:05Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。