論文の概要: To transfer or not transfer: Unified transferability metric and analysis

• arxiv url: http://arxiv.org/abs/2305.07741v1
• Date: Fri, 12 May 2023 19:52:11 GMT
• ステータス: 処理完了
• システム内更新日: 2023-05-16 19:55:45.144034
• Title: To transfer or not transfer: Unified transferability metric and analysis
• Title（参考訳）: 転送または転送しない:統合転送可能性メトリクスと分析
• Authors: Qianshan Zhan and Xiao-Jun Zeng
• Abstract要約: トランスファーラーニングにおいて、トランスファービリティは、任意のトランスファータスクの有効性を評価することを目的とした最も基本的な問題の1つである。 転送可能性推定のための新しい解析的アプローチと計量、ワッサーシュタイン距離に基づく関節推定を提案する。 我々は、非対称で理解し易く、計算し易いターゲットリスク境界を提案することによって、ターゲット転送リスクを近似する。
• 参考スコア（独自算出の注目度）: 13.274835852615576
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In transfer learning, transferability is one of the most fundamental problems, which aims to evaluate the effectiveness of arbitrary transfer tasks. Existing research focuses on classification tasks and neglects domain or task differences. More importantly, there is a lack of research to determine whether to transfer or not. To address these, we propose a new analytical approach and metric, Wasserstein Distance based Joint Estimation (WDJE), for transferability estimation and determination in a unified setting: classification and regression problems with domain and task differences. The WDJE facilitates decision-making on whether to transfer or not by comparing the target risk with and without transfer. To enable the comparison, we approximate the target transfer risk by proposing a non-symmetric, easy-to-understand and easy-to-calculate target risk bound that is workable even with limited target labels. The proposed bound relates the target risk to source model performance, domain and task differences based on Wasserstein distance. We also extend our bound into unsupervised settings and establish the generalization bound from finite empirical samples. Our experiments in image classification and remaining useful life regression prediction illustrate the effectiveness of the WDJE in determining whether to transfer or not, and the proposed bound in approximating the target transfer risk.
• Abstract（参考訳）: トランスファーラーニングにおいて、トランスファービリティは、任意のトランスファータスクの有効性を評価することを目的とした最も基本的な問題の1つである。 既存の研究は分類タスクに焦点を当て、ドメインやタスクの違いを無視している。 さらに重要なのは、転送するかどうかを決定する研究が不足していることだ。 そこで本稿では,WDJE(Wasserstein Distance Based Joint Estimation)という新たな分析手法を提案する。 wdjeは、ターゲットリスクと転送の有無を比較することにより、転送するか否かの意思決定を促進する。 比較のために,限定された目標ラベルでも動作可能な非対称で理解し易く,かつ計算が容易な目標リスク境界を提案することで,目標転送リスクを近似する。 提案する境界は、wasserstein距離に基づくソースモデルの性能、ドメイン、タスクの違いにターゲットリスクを関連付ける。 また、我々の境界を教師なしの設定に拡張し、有限経験的サンプルから有界な一般化を確立する。 画像分類および残余寿命回帰予測実験は、WDJEが転送するか否かを判断する上での有効性と、目標転送リスクを近似する上での限界を示すものである。

関連論文リスト

• Robust Transfer Learning with Unreliable Source Data [13.276850367115333]
  対象関数とソース回帰関数との差を測定する「あいまい度レベル」と呼ばれる新しい量を導入する。 本稿では, 簡単な伝達学習手法を提案し, この新しい量が学習の伝達可能性にどのように関係しているかを示す一般的な定理を確立する。
  論文  参考訳（メタデータ） (2023-10-06T21:50:21Z)
• Logit Margin Matters: Improving Transferable Targeted Adversarial Attack by Logit Calibration [85.71545080119026]
  クロスエントロピー(CE)損失関数は、伝達可能な標的対向例を学習するには不十分である。 本稿では,ロジットを温度係数と適応マージンでダウンスケールすることで,ロジットのキャリブレーションを簡易かつ効果的に行う2つの手法を提案する。 ImageNetデータセットを用いて実験を行い,提案手法の有効性を検証した。
  論文  参考訳（メタデータ） (2023-03-07T06:42:52Z)
• Transferability Estimation Based On Principal Gradient Expectation [68.97403769157117]
  クロスタスク転送性は、自己整合性を維持しながら転送結果と互換性がある。 既存の転送可能性メトリクスは、ソースとターゲットタスクを会話することで、特定のモデルに基づいて推定される。 本稿では,タスク間の転送可能性を評価するための簡易かつ効果的な手法であるPGEを提案する。
  論文  参考訳（メタデータ） (2022-11-29T15:33:02Z)
• Estimation and inference for transfer learning with high-dimensional quantile regression [3.4510296013600374]
  本研究では,高次元量子レグレッションモデルの枠組みにおける伝達学習手法を提案する。 我々は、微妙に選択された転送可能なソースドメインに基づいて、転送学習推定器の誤差境界を確立する。 データ分割手法を採用することにより、負の転送を回避できる転送可能性検出手法を提案する。
  論文  参考訳（メタデータ） (2022-11-26T14:40:19Z)
• Learning Unbiased Transferability for Domain Adaptation by Uncertainty Modeling [107.24387363079629]
  ドメイン適応は、ラベル付けされたソースドメインからラベル付けされていない、あるいはラベル付けされていないが関連するターゲットドメインに知識を転送することを目的としています。 ソース内のアノテートされたデータの量とターゲットドメインとの間の不均衡のため、ターゲットの分布のみがソースドメインにアライメントされる。 本稿では,非暴力的非暴力的移動可能性推定プラグイン(UTEP)を提案し,非暴力的移動を最適化するDA法において,識別器の不確実性をモデル化する。
  論文  参考訳（メタデータ） (2022-06-02T21:58:54Z)
• Practical Transferability Estimation for Image Classification Tasks [20.07223947190349]
  大きな課題は、クロスドメインのクロスタスク設定で転送可能性の推定を堅牢にする方法だ。 最近提案されたOTCEスコアは、ドメイン差とタスク差を考慮してこの問題を解決する。 本稿では,タスク差分推定のロバスト性を大幅に向上させる,JC-NCEスコアと呼ばれる実用的な転送可能性指標を提案する。
  論文  参考訳（メタデータ） (2021-06-19T11:59:11Z)
• Frustratingly Easy Transferability Estimation [64.42879325144439]
  本稿では,TransRate という,シンプルで効率的かつ効果的な転送可能性尺度を提案する。 TransRateは、事前訓練されたモデルによって抽出された対象サンプルの特徴とそれらのラベルとの間の相互情報として、転送可能性を測定する。 10行のコードで並外れた単純さにもかかわらず、TransRateは、22の事前訓練されたモデルと16のダウンストリームタスクに対する広範囲な評価において、非常にうまく機能している。
  論文  参考訳（メタデータ） (2021-06-17T10:27:52Z)
• Towards Accurate Knowledge Transfer via Target-awareness Representation Disentanglement [56.40587594647692]
  本稿では,TRED(Target-Awareness Representation Disentanglement)の概念を取り入れた新しいトランスファー学習アルゴリズムを提案する。 TREDは、対象のタスクに関する関連する知識を元のソースモデルから切り離し、ターゲットモデルを微調整する際、レギュレータとして使用する。 各種実世界のデータセットを用いた実験により,本手法は標準微調整を平均2%以上安定的に改善することが示された。
  論文  参考訳（メタデータ） (2020-10-16T17:45:08Z)
• Learning Calibrated Uncertainties for Domain Shift: A Distributionally Robust Learning Approach [150.8920602230832]
  ドメインシフトの下で校正された不確実性を学習するためのフレームワークを提案する。 特に、密度比推定は、ターゲット(テスト)サンプルの近さをソース(トレーニング)分布に反映する。 提案手法は下流タスクに有利な校正不確実性を生成する。
  論文  参考訳（メタデータ） (2020-10-08T02:10:54Z)
• CSCL: Critical Semantic-Consistent Learning for Unsupervised Domain Adaptation [42.226842513334184]
  本稿では,ドメインワイド分布とカテゴリワイド分布の相違を緩和する,新しいクリティカルセマンティック・一貫性学習モデルを提案する。 具体的には、伝達不能な知識を無視しながら、伝達可能なドメインに関する知識を強調するために、クリティカルトランスファーベースの敵対的フレームワークを設計する。
  論文  参考訳（メタデータ） (2020-08-24T14:12:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。