論文の概要: Revisiting the Robustness of the Minimum Error Entropy Criterion: A Transfer Learning Case Study

• arxiv url: http://arxiv.org/abs/2307.08572v3
• Date: Mon, 24 Jul 2023 17:01:50 GMT
• ステータス: 処理完了
• システム内更新日: 2023-07-25 20:06:48.969832
• Title: Revisiting the Robustness of the Minimum Error Entropy Criterion: A Transfer Learning Case Study
• Title（参考訳）: 最小誤差エントロピー基準のロバスト性を再考する:転帰学習事例の検討
• Authors: Luis Pedro Silvestrin, Shujian Yu, Mark Hoogendoorn
• Abstract要約: 本稿では,非ガウス雑音に対処する最小誤差エントロピー基準のロバスト性を再考する。 本稿では,分散シフトが一般的である実生活伝達学習回帰タスクの実現可能性と有用性について検討する。
• 参考スコア（独自算出の注目度）: 16.07380451502911
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Coping with distributional shifts is an important part of transfer learning methods in order to perform well in real-life tasks. However, most of the existing approaches in this area either focus on an ideal scenario in which the data does not contain noises or employ a complicated training paradigm or model design to deal with distributional shifts. In this paper, we revisit the robustness of the minimum error entropy (MEE) criterion, a widely used objective in statistical signal processing to deal with non-Gaussian noises, and investigate its feasibility and usefulness in real-life transfer learning regression tasks, where distributional shifts are common. Specifically, we put forward a new theoretical result showing the robustness of MEE against covariate shift. We also show that by simply replacing the mean squared error (MSE) loss with the MEE on basic transfer learning algorithms such as fine-tuning and linear probing, we can achieve competitive performance with respect to state-of-the-art transfer learning algorithms. We justify our arguments on both synthetic data and 5 real-world time-series data.
• Abstract（参考訳）: 分散シフトに対処することは、実際のタスクでうまく機能するために、転送学習手法の重要な部分である。 しかし、この分野の既存のアプローチのほとんどは、データがノイズを含まない理想的なシナリオに焦点を当てたり、複雑なトレーニングパラダイムやモデル設計を使って分散シフトに対処する。 本稿では,非ガウス雑音に対処する統計信号処理の目的である最小誤差エントロピー(MEE)基準の頑健性を再検討し,分散シフトが一般的である実生活伝達学習回帰タスクにおけるその実現可能性と有用性について検討する。 具体的には,共変量シフトに対するMEEの堅牢性を示す新たな理論的結果を示した。 また, 最小二乗誤差(MSE)損失を, 微調整や線形探索などの基礎的伝達学習アルゴリズムでMEEに置き換えることによって, 最先端の伝達学習アルゴリズムに対する競合性能を実現できることを示す。 合成データと実世界の時系列データの両方に関する議論を正当化する。

関連論文リスト

• TransFusion: Covariate-Shift Robust Transfer Learning for High-Dimensional Regression [11.040033344386366]
  対象タスクの学習性能を限定的なサンプルで向上させるため, 新規な融合正規化器を用いた2段階の手法を提案する。 対象モデルの推定誤差に対して、漸近的境界が提供される。 提案手法を分散設定に拡張し,事前学習ファインタニング戦略を実現する。
  論文  参考訳（メタデータ） (2024-04-01T14:58:16Z)
• Time-series Generation by Contrastive Imitation [87.51882102248395]
  モーメントマッチングの目的によってモチベーションされ、複合的エラーを軽減し、局所的(しかし前方的な)遷移ポリシーを最適化する。 推論において、学習されたポリシーは反復的なサンプリングのジェネレータとして機能し、学習されたエネルギーはサンプルの品質を評価するための軌道レベル尺度として機能する。
  論文  参考訳（メタデータ） (2023-11-02T16:45:25Z)
• Robust Transfer Learning with Unreliable Source Data [13.276850367115333]
  対象関数とソース回帰関数との差を測定する「あいまい度レベル」と呼ばれる新しい量を導入する。 本稿では, 簡単な伝達学習手法を提案し, この新しい量が学習の伝達可能性にどのように関係しているかを示す一般的な定理を確立する。
  論文  参考訳（メタデータ） (2023-10-06T21:50:21Z)
• Towards Estimating Transferability using Hard Subsets [25.86053764521497]
  HASTEは、ターゲットデータのより厳しいサブセットのみを用いて、ソースモデルの特定のターゲットタスクへの転送可能性を推定する新しい戦略である。 HASTEは既存の転送可能性測定値と組み合わせて信頼性を向上させることができることを示す。 複数のソースモデルアーキテクチャ、ターゲットデータセット、トランスファー学習タスクにまたがる実験結果から、HASTEの修正されたメトリクスは、一貫して、あるいは、アートトランスファービリティーメトリクスの状態と同等であることが示された。
  論文  参考訳（メタデータ） (2023-01-17T14:50:18Z)
• MaxMatch: Semi-Supervised Learning with Worst-Case Consistency [149.03760479533855]
  半教師付き学習(SSL)のための最悪ケース整合正則化手法を提案する。 本稿では,ラベル付きトレーニングデータとラベル付きトレーニングデータとを別々に比較した経験的損失項からなるSSLの一般化について述べる。 この境界によって動機づけられたSSLの目的は、元のラベルのないサンプルと、その複数の拡張版との最大の矛盾を最小限に抑えるものである。
  論文  参考訳（メタデータ） (2022-09-26T12:04:49Z)
• The Common Intuition to Transfer Learning Can Win or Lose: Case Studies for Linear Regression [26.5147705530439]
  本稿では,学習対象パラメータと学習対象パラメータとの距離を正規化した線形回帰最適化として,対象タスクへの伝達学習アプローチを定義する。 十分関連するタスクに対して、最適に調整された転送学習手法が最適に調整されたリッジ回帰法より優れていることを示す。
  論文  参考訳（メタデータ） (2021-03-09T18:46:01Z)
• Towards Accurate Knowledge Transfer via Target-awareness Representation Disentanglement [56.40587594647692]
  本稿では,TRED(Target-Awareness Representation Disentanglement)の概念を取り入れた新しいトランスファー学習アルゴリズムを提案する。 TREDは、対象のタスクに関する関連する知識を元のソースモデルから切り離し、ターゲットモデルを微調整する際、レギュレータとして使用する。 各種実世界のデータセットを用いた実験により,本手法は標準微調整を平均2%以上安定的に改善することが示された。
  論文  参考訳（メタデータ） (2020-10-16T17:45:08Z)
• MMCGAN: Generative Adversarial Network with Explicit Manifold Prior [78.58159882218378]
  本稿では,モード崩壊を緩和し,GANのトレーニングを安定させるために,明示的な多様体学習を採用することを提案する。 玩具データと実データの両方を用いた実験により,MMCGANのモード崩壊緩和効果,トレーニングの安定化,生成サンプルの品質向上効果が示された。
  論文  参考訳（メタデータ） (2020-06-18T07:38:54Z)
• Learning Diverse Representations for Fast Adaptation to Distribution Shift [78.83747601814669]
  本稿では,複数のモデルを学習する手法を提案する。 分散シフトへの迅速な適応を促進するフレームワークの能力を実証する。
  論文  参考訳（メタデータ） (2020-06-12T12:23:50Z)
• Meta Transition Adaptation for Robust Deep Learning with Noisy Labels [61.8970957519509]
  本研究では,新しいメタ遷移学習戦略を提案する。 具体的には、クリーンなラベル付きメタデータの小さなセットのサウンドガイダンスにより、ノイズ遷移行列と分類器パラメータを相互に改善することができる。 本手法は, 従来技術よりも頑健な性能で, 遷移行列をより正確に抽出することができる。
  論文  参考訳（メタデータ） (2020-06-10T07:27:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。