論文の概要: Transfer Learning via $\ell_1$ Regularization

• arxiv url: http://arxiv.org/abs/2006.14845v1
• Date: Fri, 26 Jun 2020 07:42:03 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-16 21:05:57.063926
• Title: Transfer Learning via $\ell_1$ Regularization
• Title（参考訳）: $\ell_1$正規化による転送学習
• Authors: Masaaki Takada, Hironori Fujisawa
• Abstract要約: 本稿では,ソースドメインからターゲットドメインへの知識伝達手法を提案する。 提案手法は推定値自体と推定値の変化の両方に対して空間性を与える。 実験結果から, 本手法は安定性と塑性のバランスを効果的に保っていることが示された。
• 参考スコア（独自算出の注目度）: 9.442139459221785
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Machine learning algorithms typically require abundant data under a stationary environment. However, environments are nonstationary in many real-world applications. Critical issues lie in how to effectively adapt models under an ever-changing environment. We propose a method for transferring knowledge from a source domain to a target domain via $\ell_1$ regularization. We incorporate $\ell_1$ regularization of differences between source parameters and target parameters, in addition to an ordinary $\ell_1$ regularization. Hence, our method yields sparsity for both the estimates themselves and changes of the estimates. The proposed method has a tight estimation error bound under a stationary environment, and the estimate remains unchanged from the source estimate under small residuals. Moreover, the estimate is consistent with the underlying function, even when the source estimate is mistaken due to nonstationarity. Empirical results demonstrate that the proposed method effectively balances stability and plasticity.
• Abstract（参考訳）: 機械学習アルゴリズムは通常、静止環境下で大量のデータを必要とする。 しかし、多くの現実世界のアプリケーションでは環境は非定常である。 重要な問題は、絶えず変化する環境下でモデルを効果的に適応する方法にある。 本稿では,ソースドメインからターゲットドメインへ,$\ell_1$正規化による知識伝達手法を提案する。 通常の$\ell_1$正規化に加えて、ソースパラメータとターゲットパラメータの差分を$\ell_1$正規化します。 したがって,本手法は推定値自体と推定値の変化の両方に空間性をもたらす。 提案手法は定常環境下での厳密な推定誤差を有しており, 少ない残差で推定値から推定値が変化しない。 さらに、情報源推定が非定常性によって誤認された場合でも、推定は基礎関数と一致する。 実験結果から, 本手法は安定性と塑性のバランスを効果的に表す。

関連論文リスト

• Linear cost and exponentially convergent approximation of Gaussian Matérn processes [43.341057405337295]
  ガウス過程に基づく統計モデルの推測と予測のための計算コストは、観測数に応じて3倍にスケールする。 本研究では,線形コストと共分散誤差が指数関数的に高速に減少する手法を提案近似の$m$で開発する。 この方法はスペクトル密度の最適な有理近似に基づいており、その結果、$m$独立マルコフ過程の和として表される近似が得られる。
  論文  参考訳（メタデータ） (2024-10-16T19:57:15Z)
• Rejection via Learning Density Ratios [50.91522897152437]
  拒絶による分類は、モデルを予測しないことを許容する学習パラダイムとして現れます。 そこで我々は,事前学習したモデルの性能を最大化する理想的なデータ分布を求める。 私たちのフレームワークは、クリーンでノイズの多いデータセットで実証的にテストされます。
  論文  参考訳（メタデータ） (2024-05-29T01:32:17Z)
• Optimal Baseline Corrections for Off-Policy Contextual Bandits [61.740094604552475]
  オンライン報酬指標の偏りのないオフライン推定を最適化する意思決定ポリシーを学習することを目指している。 学習シナリオにおける同値性に基づく単一のフレームワークを提案する。 我々のフレームワークは、分散最適非バイアス推定器の特徴付けを可能にし、それに対する閉形式解を提供する。
  論文  参考訳（メタデータ） (2024-05-09T12:52:22Z)
• Nearest Neighbor Sampling for Covariate Shift Adaptation [7.940293148084844]
  重みを推定しない新しい共変量シフト適応法を提案する。 基本的な考え方は、ソースデータセットの$k$-nearestの隣人によってラベル付けされたラベル付けされていないターゲットデータを直接扱うことだ。 実験の結果, 走行時間を大幅に短縮できることがわかった。
  論文  参考訳（メタデータ） (2023-12-15T17:28:09Z)
• Online non-parametric likelihood-ratio estimation by Pearson-divergence functional minimization [55.98760097296213]
  iid 観測のペア $(x_t sim p, x'_t sim q)$ が時間の経過とともに観測されるような,オンラインな非パラメトリック LRE (OLRE) のための新しいフレームワークを提案する。 本稿では,OLRE法の性能に関する理論的保証と,合成実験における実証的検証について述べる。
  論文  参考訳（メタデータ） (2023-11-03T13:20:11Z)
• Wasserstein Distributionally Robust Policy Evaluation and Learning for Contextual Bandits [18.982448033389588]
  オフ政治評価と学習は、与えられた政策を評価し、環境と直接対話することなくオフラインデータから最適な政策を学ぶことに関するものである。 学習と実行における異なる環境の影響を考慮するため,分散ロバスト最適化法(DRO)が開発されている。 代わりにワッサーシュタイン距離を用いた新しいDRO手法を提案する。
  論文  参考訳（メタデータ） (2023-09-15T20:21:46Z)
• Improved Convergence of Score-Based Diffusion Models via Prediction-Correction [15.772322871598085]
  スコアベース生成モデル(SGM)は、複雑なデータ分布からサンプリングする強力なツールである。 本稿では,一般的な予測器・相関器方式のバージョンを考慮し,この問題に対処する。 まず、不正確なランゲヴィン力学を用いて最終分布を推定し、次にその過程を逆転する。
  論文  参考訳（メタデータ） (2023-05-23T15:29:09Z)
• Environment Invariant Linear Least Squares [18.387614531869826]
  本稿では,複数の実験環境からのデータを収集する多環境線形回帰モデルについて考察する。 線形最小二乗回帰のマルチ環境バージョンである、新しい環境不変線形最小二乗関数(EILLS)を構築する。
  論文  参考訳（メタデータ） (2023-03-06T13:10:54Z)
• A Relational Intervention Approach for Unsupervised Dynamics Generalization in Model-Based Reinforcement Learning [113.75991721607174]
  同じ環境に属する2つの推定$hatz_i, hatz_j$の確率を推定するための介入予測モジュールを導入する。 提案手法により推定される$hatZ$は,従来の方法よりも冗長な情報が少ないことを実証的に示す。
  論文  参考訳（メタデータ） (2022-06-09T15:01:36Z)
• Debiasing Distributed Second Order Optimization with Surrogate Sketching and Scaled Regularization [101.5159744660701]
  分散第2次最適化において、標準的な戦略は、データの小さなスケッチやバッチに基づいて、多くの局所的な見積もりを平均化することである。 本稿では,分散二階法における収束率の理論的および実証的改善を両立させるため,局所的な推定を嫌悪する新しい手法を提案する。
  論文  参考訳（メタデータ） (2020-07-02T18:08:14Z)
• GenDICE: Generalized Offline Estimation of Stationary Values [108.17309783125398]
  重要なアプリケーションでは,効果的な推定が依然として可能であることを示す。 我々のアプローチは、定常分布と経験分布の差を補正する比率を推定することに基づいている。 結果として得られるアルゴリズム、GenDICEは単純で効果的である。
  論文  参考訳（メタデータ） (2020-02-21T00:27:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。