論文の概要: Transfer Learning in $\ell_1$ Regularized Regression: Hyperparameter
Selection Strategy based on Sharp Asymptotic Analysis
- arxiv url: http://arxiv.org/abs/2409.17704v1
- Date: Thu, 26 Sep 2024 10:20:59 GMT
- ステータス: 処理完了
- システム内更新日: 2024-09-28 20:20:41.378590
- Title: Transfer Learning in $\ell_1$ Regularized Regression: Hyperparameter
Selection Strategy based on Sharp Asymptotic Analysis
- Title（参考訳）: $\ell_1$正規化回帰における転送学習:ハイパーパラメータ
シャープ漸近解析に基づく選択戦略
- Authors: Koki Okajima and Tomoyuki Obuchi
- Abstract要約: 転送学習技術は、複数の関連するデータセットからの情報を活用し、ターゲットデータセットに対する予測品質を向上させることを目的としている。
トランス・ラッソ(Trans-Lasso)とプレトレーニング・ラッソ(Pretraining Lasso)である。
レプリカ法を用いて解析することにより,高次元環境下でのアルゴリズムの徹底的,精密な研究を行う。
微調整段階に転送される2種類の情報の1つを無視することは、一般化性能にはほとんど影響しない。
- 参考スコア（独自算出の注目度）: 4.178980693837599
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Transfer learning techniques aim to leverage information from multiple
related datasets to enhance prediction quality against a target dataset. Such
methods have been adopted in the context of high-dimensional sparse regression,
and some Lasso-based algorithms have been invented: Trans-Lasso and Pretraining
Lasso are such examples. These algorithms require the statistician to select
hyperparameters that control the extent and type of information transfer from
related datasets. However, selection strategies for these hyperparameters, as
well as the impact of these choices on the algorithm's performance, have been
largely unexplored. To address this, we conduct a thorough, precise study of
the algorithm in a high-dimensional setting via an asymptotic analysis using
the replica method. Our approach reveals a surprisingly simple behavior of the
algorithm: Ignoring one of the two types of information transferred to the
fine-tuning stage has little effect on generalization performance, implying
that efforts for hyperparameter selection can be significantly reduced. Our
theoretical findings are also empirically supported by real-world applications
on the IMDb dataset.
- Abstract（参考訳）: 転送学習技術は、複数の関連するデータセットからの情報を活用し、ターゲットデータセットに対する予測品質を向上させることを目的としている。
このような手法は高次元スパース回帰の文脈で採用されており、いくつかのラッソベースのアルゴリズムが発明されている。
これらのアルゴリズムは統計学者に、関連するデータセットから情報伝達の度合いと種類を制御するハイパーパラメータを選択することを要求する。
しかし、これらのハイパーパラメータの選択戦略と、これらの選択がアルゴリズムの性能に与える影響は、ほとんど解明されていない。
そこで本研究では, レプリカ法を用いて漸近解析を行い, 高次元環境下でのアルゴリズムの徹底的, 精密な研究を行う。
微調整段階に転送される2種類の情報のうちの1つを無視することは、一般化性能にはほとんど影響を与えず、ハイパーパラメータ選択への取り組みを著しく削減できることを示している。
また,IMDbデータセット上の実世界の応用を実証的に支援した。
関連論文リスト
- Transfer Learning for Nonparametric Regression: Non-asymptotic Minimax
Analysis and Adaptive Procedure [5.303044915173525]
我々は,最小限のリスクを対数係数まで達成できる信頼しきい値推定器と呼ばれる新しい推定器を開発した。
次に,パラメータ空間の幅の広い対数係数までの最小リスクを適応的に達成するデータ駆動アルゴリズムを提案する。
論文 参考訳（メタデータ） (2024-01-22T16:24:04Z) - Querying Easily Flip-flopped Samples for Deep Active Learning [63.62397322172216]
アクティブラーニング(英: Active Learning)は、ラベルのないデータを戦略的に選択してクエリすることで、モデルの性能を向上させることを目的とした機械学習パラダイムである。
効果的な選択戦略の1つはモデルの予測の不確実性に基づくもので、サンプルがどの程度情報的であるかの尺度として解釈できる。
本稿では,予測されたラベルの不一致の最小確率として,最小不一致距離(LDM)を提案する。
論文 参考訳（メタデータ） (2024-01-18T08:12:23Z) - Large-scale Fully-Unsupervised Re-Identification [78.47108158030213]
大規模未ラベルデータから学ぶための2つの戦略を提案する。
第1の戦略は、近傍関係に違反することなく、それぞれのデータセットサイズを減らすために、局所的な近傍サンプリングを行う。
第2の戦略は、低時間上限の複雑さを持ち、メモリの複雑さを O(n2) から O(kn) に k n で還元する新しい再帰的手法を利用する。
論文 参考訳（メタデータ） (2023-07-26T16:19:19Z) - Nonlinear Feature Aggregation: Two Algorithms driven by Theory [45.3190496371625]
現実世界の機械学習アプリケーションは、膨大な機能によって特徴付けられ、計算やメモリの問題を引き起こす。
一般集約関数を用いて特徴量の非線形変換を集約する次元還元アルゴリズム(NonLinCFA)を提案する。
また、アルゴリズムを合成および実世界のデータセット上でテストし、回帰および分類タスクを実行し、競合性能を示す。
論文 参考訳（メタデータ） (2023-06-19T19:57:33Z) - Representation Learning with Multi-Step Inverse Kinematics: An Efficient
and Optimal Approach to Rich-Observation RL [106.82295532402335]
既存の強化学習アルゴリズムは、計算的難易度、強い統計的仮定、最適なサンプルの複雑さに悩まされている。
所望の精度レベルに対して、レート最適サンプル複雑性を実現するための、最初の計算効率の良いアルゴリズムを提供する。
我々のアルゴリズムMusIKは、多段階の逆運動学に基づく表現学習と体系的な探索を組み合わせる。
論文 参考訳（メタデータ） (2023-04-12T14:51:47Z) - Towards Automated Imbalanced Learning with Deep Hierarchical
Reinforcement Learning [57.163525407022966]
不均衡学習はデータマイニングにおいて基本的な課題であり、各クラスにトレーニングサンプルの不均等な比率が存在する。
オーバーサンプリングは、少数民族のための合成サンプルを生成することによって、不均衡な学習に取り組む効果的な手法である。
我々は,異なるレベルの意思決定を共同で最適化できる自動オーバーサンプリングアルゴリズムであるAutoSMOTEを提案する。
論文 参考訳（メタデータ） (2022-08-26T04:28:01Z) - One-Pass Learning via Bridging Orthogonal Gradient Descent and Recursive
Least-Squares [8.443742714362521]
我々は,従来のデータポイントの予測にほとんど変化しない方向にパラメータを変更しながら,すべての新しいデータポイントに完全に適合するワンパス学習アルゴリズムを開発した。
我々のアルゴリズムは、インクリメンタル・プリンシパル・コンポーネント分析(IPCA)を用いてストリーミングデータの構造を利用して、メモリを効率的に利用する。
本実験では,提案手法の有効性をベースラインと比較した。
論文 参考訳（メタデータ） (2022-07-28T02:01:31Z) - Automatic tuning of hyper-parameters of reinforcement learning
algorithms using Bayesian optimization with behavioral cloning [0.0]
強化学習(RL)では、学習エージェントが収集したデータの情報内容は多くのハイパーパラメータの設定に依存する。
本研究では,ベイズ最適化を用いた自律的ハイパーパラメータ設定手法を提案する。
実験は、他の手作業による調整や最適化ベースのアプローチと比較して、有望な結果を示している。
論文 参考訳（メタデータ） (2021-12-15T13:10:44Z) - Ensemble Wrapper Subsampling for Deep Modulation Classification [70.91089216571035]
受信した無線信号のサブサンプリングは、ハードウェア要件と信号処理アルゴリズムの計算コストを緩和するために重要である。
本稿では,無線通信システムにおけるディープラーニングを用いた自動変調分類のためのサブサンプリング手法を提案する。
論文 参考訳（メタデータ） (2020-05-10T06:11:13Z) - Implicit differentiation of Lasso-type models for hyperparameter
optimization [82.73138686390514]
ラッソ型問題に適した行列逆転のない効率的な暗黙微分アルゴリズムを提案する。
提案手法は,解の空間性を利用して高次元データにスケールする。
論文 参考訳（メタデータ） (2020-02-20T18:43:42Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。