論文の概要: Rethinking Importance Weighting for Transfer Learning

• arxiv url: http://arxiv.org/abs/2112.10157v1
• Date: Sun, 19 Dec 2021 14:35:25 GMT
• ステータス: 処理完了
• システム内更新日: 2021-12-21 15:48:02.260527
• Title: Rethinking Importance Weighting for Transfer Learning
• Title（参考訳）: 転校学習における重み付けの重要性再考
• Authors: Nan Lu, Tianyi Zhang, Tongtong Fang, Takeshi Teshima, Masashi Sugiyama
• Abstract要約: 教師あり学習における主要な前提は、トレーニングとテストデータが同じ確率分布に従うことである。 現実の機械学習タスクはますます複雑になりつつあるため、このような課題に対処するための新しいアプローチが検討されている。
• 参考スコア（独自算出の注目度）: 71.81262398144946
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: A key assumption in supervised learning is that training and test data follow the same probability distribution. However, this fundamental assumption is not always satisfied in practice, e.g., due to changing environments, sample selection bias, privacy concerns, or high labeling costs. Transfer learning (TL) relaxes this assumption and allows us to learn under distribution shift. Classical TL methods typically rely on importance-weighting -- a predictor is trained based on the training losses weighted according to the importance (i.e., the test-over-training density ratio). However, as real-world machine learning tasks are becoming increasingly complex, high-dimensional, and dynamical, novel approaches are explored to cope with such challenges recently. In this article, after introducing the foundation of TL based on importance-weighting, we review recent advances based on joint and dynamic importance-predictor estimation. Furthermore, we introduce a method of causal mechanism transfer that incorporates causal structure in TL. Finally, we discuss future perspectives of TL research.
• Abstract（参考訳）: 教師あり学習における重要な前提は、トレーニングとテストデータが同じ確率分布に従うことである。 しかし、この基本的な仮定は、環境の変化、サンプル選択バイアス、プライバシの懸念、高いラベルコストなどによって、常に満たされるとは限らない。 伝達学習(TL)はこの仮定を緩和し、分布シフトの下で学習することができる。 古典的なTL法は通常重要度重み付けに依存するが、予測器は重要度に応じて重み付けされたトレーニング損失(テストオーバートレーニング密度比)に基づいて訓練される。 しかし、現実の機械学習タスクがますます複雑、高次元、動的になるにつれて、このような課題に対処するために新しいアプローチが検討されている。 本稿では、重要度重み付けに基づくTLの基礎導入後、共同および動的重要度予測器推定に基づく最近の進歩を概観する。 さらに,TLに因果構造を組み込んだ因果機構伝達法を提案する。 最後に,TL研究の今後の展望について述べる。

関連論文リスト

• Lessons Learned from a Unifying Empirical Study of Parameter-Efficient Transfer Learning (PETL) in Visual Recognition [36.031972728327894]
  視覚変換器の文脈における代表的PETL法について検討した。 PETL法は低ショットのベンチマークVTAB-1Kでも同様の精度が得られる。 PETLは、多くのショットレシエーションでも有用であり、フルFTよりも同等で、時には精度が向上する。
  論文  参考訳（メタデータ） (2024-09-24T19:57:40Z)
• Dissecting Deep RL with High Update Ratios: Combatting Value Divergence [21.282292112642747]
  ネットワークパラメータをリセットすることなく、深層強化学習アルゴリズムが学習能力を維持できることを示す。 我々は,大規模な更新率での学習を可能にする,単純な単球正規化を採用している。
  論文  参考訳（メタデータ） (2024-03-09T19:56:40Z)
• Hypothesis Transfer Learning with Surrogate Classification Losses: Generalization Bounds through Algorithmic Stability [3.908842679355255]
  仮説伝達学習(HTL)は、以前のタスクレバレッジを新たなターゲットにすることで、ドメイン適応と対比する。 本稿では,機械学習アルゴリズム解析のための魅力的な理論フレームワークであるアルゴリズム安定性によるHTLの学習理論について検討する。
  論文  参考訳（メタデータ） (2023-05-31T09:38:21Z)
• Adapting to Continuous Covariate Shift via Online Density Ratio Estimation [64.8027122329609]
  分散シフトへの対処は、現代の機械学習における中心的な課題の1つだ。 歴史的情報を適切に再利用するオンライン手法を提案する。 我々の密度比推定法は, ダイナミックなリセットバウンドを楽しむことにより, 良好に動作できることが証明された。
  論文  参考訳（メタデータ） (2023-02-06T04:03:33Z)
• Tracking changes using Kullback-Leibler divergence for the continual learning [2.0305676256390934]
  本稿では,多次元データストリームの確率分布の変化をモニタリングする新しい手法を提案する。 変化の速さの尺度として、人気のあるKulback-Leiblerの発散を分析する。 我々は,この指標を用いて,概念の漂流の発生を予測し,その性質を理解する方法を示す。
  論文  参考訳（メタデータ） (2022-10-10T17:30:41Z)
• Adaptive Distribution Calibration for Few-Shot Learning with Hierarchical Optimal Transport [78.9167477093745]
  本稿では,新しいサンプルとベースクラス間の適応重み行列を学習し,新しい分布校正法を提案する。 標準ベンチマーク実験の結果,提案したプラグ・アンド・プレイモデルの方が競合する手法より優れていることが示された。
  論文  参考訳（メタデータ） (2022-10-09T02:32:57Z)
• Crude Oil-related Events Extraction and Processing: A Transfer Learning Approach [0.7476901945542385]
  本稿では,CrudeOilNews corpusで発見された原油関連事象を抽出・処理するための完全な枠組みを提案する。 各事象の事実的確実性を決定するために、イベント特性(ポーラリティ、モダリティ、インテンシティ)の分類に特に重点を置いている。
  論文  参考訳（メタデータ） (2022-05-01T03:21:18Z)
• Counterfactual Representation Learning with Balancing Weights [74.67296491574318]
  観察データによる因果推論の鍵は、それぞれの治療タイプに関連する予測的特徴のバランスを達成することである。 近年の文献では、この目標を達成するために表現学習を探求している。 因果効果を柔軟かつスケーラブルかつ正確に推定するアルゴリズムを開発した。
  論文  参考訳（メタデータ） (2020-10-23T19:06:03Z)
• Accurate and Robust Feature Importance Estimation under Distribution Shifts [49.58991359544005]
  PRoFILEは、新しい特徴重要度推定法である。 忠実さと頑健さの両面で、最先端のアプローチよりも大幅に改善されていることを示す。
  論文  参考訳（メタデータ） (2020-09-30T05:29:01Z)
• Value-driven Hindsight Modelling [68.658900923595]
  値推定は強化学習(RL)パラダイムの重要な構成要素である。 モデル学習は、観測系列に存在する豊富な遷移構造を利用することができるが、このアプローチは通常、報酬関数に敏感ではない。 この2つの極点の間に位置するRLにおける表現学習のアプローチを開発する。 これにより、タスクに直接関連し、値関数の学習を加速できる、抽出可能な予測ターゲットが提供される。
  論文  参考訳（メタデータ） (2020-02-19T18:10:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。