論文の概要: Distributionally Robust Transfer Learning

• arxiv url: http://arxiv.org/abs/2309.06534v1
• Date: Tue, 12 Sep 2023 19:18:52 GMT
• ステータス: 処理完了
• システム内更新日: 2023-09-14 16:31:29.574092
• Title: Distributionally Robust Transfer Learning
• Title（参考訳）: 分布的ロバストな転送学習
• Authors: Xin Xiong, Zijian Guo, Tianxi Cai
• Abstract要約: 本稿ではTransDRO(Transfer Learning)のための分散ロバスト最適化手法を提案する。 TransDROは不確実性セット内で最も敵対的な損失を最適化するために設計されている。 本研究では,TransDROが対象データに適合するモデルよりも高速に収束することを示す。
• 参考スコア（独自算出の注目度）: 8.323198205808566
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Many existing transfer learning methods rely on leveraging information from source data that closely resembles the target data. However, this approach often overlooks valuable knowledge that may be present in different yet potentially related auxiliary samples. When dealing with a limited amount of target data and a diverse range of source models, our paper introduces a novel approach, Distributionally Robust Optimization for Transfer Learning (TransDRO), that breaks free from strict similarity constraints. TransDRO is designed to optimize the most adversarial loss within an uncertainty set, defined as a collection of target populations generated as a convex combination of source distributions that guarantee excellent prediction performances for the target data. TransDRO effectively bridges the realms of transfer learning and distributional robustness prediction models. We establish the identifiability of TransDRO and its interpretation as a weighted average of source models closest to the baseline model. We also show that TransDRO achieves a faster convergence rate than the model fitted with the target data. Our comprehensive numerical studies and analysis of multi-institutional electronic health records data using TransDRO further substantiate the robustness and accuracy of TransDRO, highlighting its potential as a powerful tool in transfer learning applications.
• Abstract（参考訳）: 既存のトランスファー学習手法の多くは、ターゲットデータによく似たソースデータからの情報を活用している。 しかし、このアプローチはしばしば、異なるが潜在的に関連する補助サンプルに存在する可能性のある貴重な知識を見落としている。 限られた量のターゲットデータと多種多様なソースモデルを扱う際,本論文は,厳密な類似性制約を伴わない転送学習(transdro)のための分散的ロバスト最適化という新しいアプローチを提案する。 transdroは、不確実性セット内の最も敵対的な損失を最適化するために設計されており、ターゲットデータに対する優れた予測性能を保証するソース分布の凸結合として生成されるターゲット集団の集合として定義される。 TransDROは、転送学習と分散ロバストネス予測モデルの領域を効果的に橋渡しする。 ベースラインモデルに最も近いソースモデルの重み付け平均としてtransdroの識別可能性とその解釈を確立する。 また,TransDROは,対象データに適合するモデルよりも高速に収束することを示す。 TransDROを用いた多施設電子健康記録データの総合的な数値研究と解析により、TransDROの堅牢性と正確性をさらに裏付け、トランスファーラーニングアプリケーションにおける強力なツールとしての可能性を強調した。

関連論文リスト

• On the Transferability of Learning Models for Semantic Segmentation for Remote Sensing Data [12.500746892824338]
  近年の深層学習に基づく手法は、リモートセンシング(RS)セマンティックセグメンテーション/分類タスクにおいて従来の学習方法より優れている。 しかし、ソースドメインでトレーニングされたモデルがターゲットドメインに容易に適用できる程度に、その転送可能性に関する包括的な分析は存在しない。 本稿では,従来のディープラーニングモデル(DL)とドメイン適応手法(DA)の有効性について検討する。
  論文  参考訳（メタデータ） (2023-10-16T15:13:36Z)
• Robust Transfer Learning with Unreliable Source Data [13.276850367115333]
  対象関数とソース回帰関数との差を測定する「あいまい度レベル」と呼ばれる新しい量を導入する。 本稿では, 簡単な伝達学習手法を提案し, この新しい量が学習の伝達可能性にどのように関係しているかを示す一般的な定理を確立する。
  論文  参考訳（メタデータ） (2023-10-06T21:50:21Z)
• Towards Estimating Transferability using Hard Subsets [25.86053764521497]
  HASTEは、ターゲットデータのより厳しいサブセットのみを用いて、ソースモデルの特定のターゲットタスクへの転送可能性を推定する新しい戦略である。 HASTEは既存の転送可能性測定値と組み合わせて信頼性を向上させることができることを示す。 複数のソースモデルアーキテクチャ、ターゲットデータセット、トランスファー学習タスクにまたがる実験結果から、HASTEの修正されたメトリクスは、一貫して、あるいは、アートトランスファービリティーメトリクスの状態と同等であることが示された。
  論文  参考訳（メタデータ） (2023-01-17T14:50:18Z)
• Estimation and inference for transfer learning with high-dimensional quantile regression [3.4510296013600374]
  本研究では,高次元量子レグレッションモデルの枠組みにおける伝達学習手法を提案する。 我々は、微妙に選択された転送可能なソースドメインに基づいて、転送学習推定器の誤差境界を確立する。 データ分割手法を採用することにより、負の転送を回避できる転送可能性検出手法を提案する。
  論文  参考訳（メタデータ） (2022-11-26T14:40:19Z)
• Auto-Transfer: Learning to Route Transferrable Representations [77.30427535329571]
  本稿では,適切なターゲット表現にソース表現をルートする方法を自動学習する,新しい対向型マルチアームバンディット手法を提案する。 最先端の知識伝達手法と比較すると,5%以上の精度向上が期待できる。
  論文  参考訳（メタデータ） (2022-02-02T13:09:27Z)
• Leveraging Unlabeled Data to Predict Out-of-Distribution Performance [63.740181251997306]
  実世界の機械学習デプロイメントは、ソース(トレーニング)とターゲット(テスト)ディストリビューションのミスマッチによって特徴づけられる。 本研究では,ラベル付きソースデータとラベルなしターゲットデータのみを用いて,対象領域の精度を予測する手法を検討する。 本稿では,モデルの信頼度をしきい値として学習し,精度をラベルなし例のごく一部として予測する実践的手法である平均閾値保持信頼度(ATC)を提案する。
  論文  参考訳（メタデータ） (2022-01-11T23:01:12Z)
• Learning Bias-Invariant Representation by Cross-Sample Mutual Information Minimization [77.8735802150511]
  対象タスクが誤用したバイアス情報を除去するために,クロスサンプル対逆脱バイアス法(CSAD)を提案する。 相関測定は, 対向的偏り評価において重要な役割を担い, クロスサンプル型相互情報推定器によって行われる。 我々は,提案手法の最先端手法に対する利点を検証するために,公開データセットの徹底的な実験を行った。
  論文  参考訳（メタデータ） (2021-08-11T21:17:02Z)
• Negative Data Augmentation [127.28042046152954]
  負のデータ拡張サンプルは、データ分散のサポートに関する情報を提供することを示す。 我々は、NDAを識別器の合成データの追加源として利用する新しいGAN訓練目標を提案する。 実験により,本手法で訓練したモデルでは,異常検出能力の向上とともに条件付き・条件付き画像生成の改善を実現している。
  論文  参考訳（メタデータ） (2021-02-09T20:28:35Z)
• Transferring model structure in Bayesian transfer learning for Gaussian process regression [1.370633147306388]
  本稿では、転送源分布上の目標確率分布を条件付けるタスクを定義する。 この最適意思決定問題を解決するために、完全な確率的設計が採用されている。 ソースのより高いモーメントを転送することで、ターゲットは信頼できないソース知識を拒否することができる。
  論文  参考訳（メタデータ） (2021-01-18T05:28:02Z)
• Source Data-absent Unsupervised Domain Adaptation through Hypothesis Transfer and Labeling Transfer [137.36099660616975]
  Unsupervised Adapt Adaptation (UDA) は、関連性のある異なるラベル付きソースドメインから新しいラベルなしターゲットドメインへの知識の転送を目標としている。 既存のudaメソッドの多くはソースデータへのアクセスを必要としており、プライバシ上の懸念からデータが機密で共有できない場合は適用できない。 本稿では、ソースデータにアクセスする代わりに、トレーニング済みの分類モデルのみを用いて現実的な設定に取り組むことを目的とする。
  論文  参考訳（メタデータ） (2020-12-14T07:28:50Z)
• Towards Accurate Knowledge Transfer via Target-awareness Representation Disentanglement [56.40587594647692]
  本稿では,TRED(Target-Awareness Representation Disentanglement)の概念を取り入れた新しいトランスファー学習アルゴリズムを提案する。 TREDは、対象のタスクに関する関連する知識を元のソースモデルから切り離し、ターゲットモデルを微調整する際、レギュレータとして使用する。 各種実世界のデータセットを用いた実験により,本手法は標準微調整を平均2%以上安定的に改善することが示された。
  論文  参考訳（メタデータ） (2020-10-16T17:45:08Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。