論文の概要: Transfer Learning via $\ell_1$ Regularization
- arxiv url: http://arxiv.org/abs/2006.14845v1
- Date: Fri, 26 Jun 2020 07:42:03 GMT
- ステータス: 処理完了
- システム内更新日: 2022-11-16 21:05:57.063926
- Title: Transfer Learning via $\ell_1$ Regularization
- Title(参考訳): $\ell_1$正規化による転送学習
- Authors: Masaaki Takada, Hironori Fujisawa
- Abstract要約: 本稿では,ソースドメインからターゲットドメインへの知識伝達手法を提案する。
提案手法は推定値自体と推定値の変化の両方に対して空間性を与える。
実験結果から, 本手法は安定性と塑性のバランスを効果的に保っていることが示された。
- 参考スコア(独自算出の注目度): 9.442139459221785
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Machine learning algorithms typically require abundant data under a
stationary environment. However, environments are nonstationary in many
real-world applications. Critical issues lie in how to effectively adapt models
under an ever-changing environment. We propose a method for transferring
knowledge from a source domain to a target domain via $\ell_1$ regularization.
We incorporate $\ell_1$ regularization of differences between source parameters
and target parameters, in addition to an ordinary $\ell_1$ regularization.
Hence, our method yields sparsity for both the estimates themselves and changes
of the estimates. The proposed method has a tight estimation error bound under
a stationary environment, and the estimate remains unchanged from the source
estimate under small residuals. Moreover, the estimate is consistent with the
underlying function, even when the source estimate is mistaken due to
nonstationarity. Empirical results demonstrate that the proposed method
effectively balances stability and plasticity.
- Abstract(参考訳): 機械学習アルゴリズムは通常、静止環境下で大量のデータを必要とする。
しかし、多くの現実世界のアプリケーションでは環境は非定常である。
重要な問題は、絶えず変化する環境下でモデルを効果的に適応する方法にある。
本稿では,ソースドメインからターゲットドメインへ,$\ell_1$正規化による知識伝達手法を提案する。
通常の$\ell_1$正規化に加えて、ソースパラメータとターゲットパラメータの差分を$\ell_1$正規化します。
したがって,本手法は推定値自体と推定値の変化の両方に空間性をもたらす。
提案手法は定常環境下での厳密な推定誤差を有しており, 少ない残差で推定値から推定値が変化しない。
さらに、情報源推定が非定常性によって誤認された場合でも、推定は基礎関数と一致する。
実験結果から, 本手法は安定性と塑性のバランスを効果的に表す。
関連論文リスト
- Online non-parametric likelihood-ratio estimation by Pearson-divergence
functional minimization [55.98760097296213]
iid 観測のペア $(x_t sim p, x'_t sim q)$ が時間の経過とともに観測されるような,オンラインな非パラメトリック LRE (OLRE) のための新しいフレームワークを提案する。
本稿では,OLRE法の性能に関する理論的保証と,合成実験における実証的検証について述べる。
論文 参考訳(メタデータ) (2023-11-03T13:20:11Z) - Wasserstein Distributionally Robust Policy Evaluation and Learning for
Contextual Bandits [18.982448033389588]
オフ政治評価と学習は、与えられた政策を評価し、環境と直接対話することなくオフラインデータから最適な政策を学ぶことに関するものである。
学習と実行における異なる環境の影響を考慮するため,分散ロバスト最適化法(DRO)が開発されている。
代わりにワッサーシュタイン距離を用いた新しいDRO手法を提案する。
論文 参考訳(メタデータ) (2023-09-15T20:21:46Z) - Towards Fair Disentangled Online Learning for Changing Environments [28.207499975916324]
オンライン学習における環境変化は、学習パラメータが環境に固有の部分的変化に起因していると論じる。
本稿では,各時点に収集したデータを2つの表現で切り離すことができるという仮定の下で,新しいアルゴリズムを提案する。
新たな後悔は、動的および静的な後悔の指標の混合形式と、公平性に配慮した長期的制約を伴って提案される。
論文 参考訳(メタデータ) (2023-05-31T19:04:16Z) - Improved Convergence of Score-Based Diffusion Models via
Prediction-Correction [17.726510286383697]
スコアベース生成モデル(SGM)は、複雑なデータ分布からサンプリングする強力なツールである。
本稿では,一般的な予測器・相関器方式のバージョンを考慮し,この問題に対処する。
まず、不正確なランゲヴィン力学を用いて最終分布を推定し、次にその過程を逆転する。
論文 参考訳(メタデータ) (2023-05-23T15:29:09Z) - Environment Invariant Linear Least Squares [18.387614531869826]
本稿では,複数の実験環境からのデータを収集する多環境線形回帰モデルについて考察する。
線形最小二乗回帰のマルチ環境バージョンである、新しい環境不変線形最小二乗関数(EILLS)を構築する。
論文 参考訳(メタデータ) (2023-03-06T13:10:54Z) - A Relational Intervention Approach for Unsupervised Dynamics
Generalization in Model-Based Reinforcement Learning [113.75991721607174]
同じ環境に属する2つの推定$hatz_i, hatz_j$の確率を推定するための介入予測モジュールを導入する。
提案手法により推定される$hatZ$は,従来の方法よりも冗長な情報が少ないことを実証的に示す。
論文 参考訳(メタデータ) (2022-06-09T15:01:36Z) - Leveraging Unlabeled Data to Predict Out-of-Distribution Performance [63.740181251997306]
実世界の機械学習デプロイメントは、ソース(トレーニング)とターゲット(テスト)ディストリビューションのミスマッチによって特徴づけられる。
本研究では,ラベル付きソースデータとラベルなしターゲットデータのみを用いて,対象領域の精度を予測する手法を検討する。
本稿では,モデルの信頼度をしきい値として学習し,精度をラベルなし例のごく一部として予測する実践的手法である平均閾値保持信頼度(ATC)を提案する。
論文 参考訳(メタデータ) (2022-01-11T23:01:12Z) - SLOE: A Faster Method for Statistical Inference in High-Dimensional
Logistic Regression [68.66245730450915]
実用データセットに対する予測の偏見を回避し、頻繁な不確実性を推定する改善された手法を開発している。
私たちの主な貢献は、推定と推論の計算時間をマグニチュードの順序で短縮する収束保証付き信号強度の推定器SLOEです。
論文 参考訳(メタデータ) (2021-03-23T17:48:56Z) - Debiasing Distributed Second Order Optimization with Surrogate Sketching
and Scaled Regularization [101.5159744660701]
分散第2次最適化において、標準的な戦略は、データの小さなスケッチやバッチに基づいて、多くの局所的な見積もりを平均化することである。
本稿では,分散二階法における収束率の理論的および実証的改善を両立させるため,局所的な推定を嫌悪する新しい手法を提案する。
論文 参考訳(メタデータ) (2020-07-02T18:08:14Z) - GenDICE: Generalized Offline Estimation of Stationary Values [108.17309783125398]
重要なアプリケーションでは,効果的な推定が依然として可能であることを示す。
我々のアプローチは、定常分布と経験分布の差を補正する比率を推定することに基づいている。
結果として得られるアルゴリズム、GenDICEは単純で効果的である。
論文 参考訳(メタデータ) (2020-02-21T00:27:52Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。