論文の概要: Dynamic Knowledge Distillation for Black-box Hypothesis Transfer Learning

• arxiv url: http://arxiv.org/abs/2007.12355v2
• Date: Fri, 7 Aug 2020 00:47:11 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-07 06:03:55.257265
• Title: Dynamic Knowledge Distillation for Black-box Hypothesis Transfer Learning
• Title（参考訳）: ブラックボックス仮説伝達学習のための動的知識蒸留
• Authors: Yiqin Yu, Xu Min, Shiwan Zhao, Jing Mei, Fei Wang, Dongsheng Li, Kenney Ng, Shaochun Li
• Abstract要約: 仮説伝達学習のための動的知識蒸留法(dkdHTL)を提案する。 本手法では,知識蒸留を事例重み付け機構で行い,情報源仮説から対象領域へ「暗」知識を適応的に伝達する。 移行学習ベンチマークデータセットと医療データセットの両方を用いた実験結果から,本手法の有効性が示された。
• 参考スコア（独自算出の注目度）: 20.533564478224967
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In real world applications like healthcare, it is usually difficult to build a machine learning prediction model that works universally well across different institutions. At the same time, the available model is often proprietary, i.e., neither the model parameter nor the data set used for model training is accessible. In consequence, leveraging the knowledge hidden in the available model (aka. the hypothesis) and adapting it to a local data set becomes extremely challenging. Motivated by this situation, in this paper we aim to address such a specific case within the hypothesis transfer learning framework, in which 1) the source hypothesis is a black-box model and 2) the source domain data is unavailable. In particular, we introduce a novel algorithm called dynamic knowledge distillation for hypothesis transfer learning (dkdHTL). In this method, we use knowledge distillation with instance-wise weighting mechanism to adaptively transfer the "dark" knowledge from the source hypothesis to the target domain.The weighting coefficients of the distillation loss and the standard loss are determined by the consistency between the predicted probability of the source hypothesis and the target ground-truth label.Empirical results on both transfer learning benchmark datasets and a healthcare dataset demonstrate the effectiveness of our method.
• Abstract（参考訳）: 医療のような現実世界のアプリケーションでは、さまざまな機関にまたがって普遍的に機能する機械学習予測モデルを構築するのは通常困難です。 同時に、利用可能なモデルはしばしばプロプライエタリであり、すなわちモデルパラメータもモデルトレーニングに使用されるデータセットもアクセスできない。 その結果、利用可能なモデル(つまり仮説)に隠された知識を活用し、ローカルデータセットに適応させることは、非常に困難になります。 この状況に動機づけられた本論文では,仮説伝達学習フレームワークにおけるそのような特定の事例に対処することを目的としている。 1) 情報源仮説はブラックボックスモデルであり、 2) ソースドメインデータは利用できない。 特に,dkdhtl(dynamic knowledge distillation for hypothesis transfer learning)と呼ばれる新しいアルゴリズムを導入する。 In this method, we use knowledge distillation with instance-wise weighting mechanism to adaptively transfer the "dark" knowledge from the source hypothesis to the target domain.The weighting coefficients of the distillation loss and the standard loss are determined by the consistency between the predicted probability of the source hypothesis and the target ground-truth label.Empirical results on both transfer learning benchmark datasets and a healthcare dataset demonstrate the effectiveness of our method.

関連論文リスト

• Model-free Methods for Event History Analysis and Efficient Adjustment (PhD Thesis) [55.2480439325792]
  この論文は、モデルフリーの観点から統一された統計学への独立した貢献のシリーズである。 第1章では、機械学習から予測技術を活用する柔軟なメソッドを定式化するために、モデルフリーの視点をどのように利用できるか、詳しく説明している。 第2章では、あるプロセスの進化が他のプロセスに直接影響されるかどうかを記述した地域独立の概念を研究している。
  論文  参考訳（メタデータ） (2025-02-11T19:24:09Z)
• Demystifying amortized causal discovery with transformers [21.058343547918053]
  観測データからの因果発見のための教師付き学習アプローチは、しばしば競争性能を達成する。 本研究では,CSIvAについて検討する。CSIvAは,合成データのトレーニングと実データへの転送を約束するトランスフォーマーモデルである。 既存の識別可能性理論とギャップを埋め、トレーニングデータ分布の制約がテスト観測の事前を暗黙的に定義していることを示します。
  論文  参考訳（メタデータ） (2024-05-27T08:17:49Z)
• Cross-Domain Transfer Learning with CoRTe: Consistent and Reliable Transfer from Black-Box to Lightweight Segmentation Model [25.3403116022412]
  CoRTeは、ブラックボックスソースモデルから信頼できる知識を抽出する擬似ラベリング関数である。 我々は,2つの合成から現実の環境でCoRTeをベンチマークし,ブラックボックスモデルを用いて目標データ分布の軽量モデルにおける知識を伝達する際,顕著な結果を示した。
  論文  参考訳（メタデータ） (2024-02-20T16:35:14Z)
• Source-Free Unsupervised Domain Adaptation with Hypothesis Consolidation of Prediction Rationale [53.152460508207184]
  Source-Free Unsupervised Domain Adaptation (SFUDA)は、モデルがターゲットのドメインラベルやソースドメインデータにアクセスせずに新しいドメインに適応する必要がある、という課題である。 本稿では,各サンプルについて複数の予測仮説を考察し,各仮説の背景にある理論的根拠について考察する。 最適性能を達成するために,モデル事前適応,仮説統合,半教師付き学習という3段階の適応プロセスを提案する。
  論文  参考訳（メタデータ） (2024-02-02T05:53:22Z)
• Estimate Deformation Capacity of Non-Ductile RC Shear Walls using Explainable Boosting Machine [0.0]
  本研究の目的は,非延性鉄筋コンクリートせん断壁の変形能力を予測するための,完全に説明可能な機械学習モデルを開発することである。 提案された Explainable Boosting Machines (EBM) ベースのモデルは、解釈可能で堅牢で、自然に説明可能なガラス箱モデルであるが、ブラックボックスモデルに匹敵する高い精度を提供する。
  論文  参考訳（メタデータ） (2023-01-11T09:20:29Z)
• Transfer Learning with Uncertainty Quantification: Random Effect Calibration of Source to Target (RECaST) [1.8047694351309207]
  我々はRECaSTと呼ばれる伝達学習に基づくモデル予測のための統計的枠組みを開発する。 線形モデル間の伝達学習におけるRECaST手法の有効性を数学的・実験的に実証した。 シミュレーション研究における本手法の性能と実際の病院データへの適用について検討する。
  論文  参考訳（メタデータ） (2022-11-29T19:39:47Z)
• Principled Knowledge Extrapolation with GANs [92.62635018136476]
  我々は,知識外挿の新たな視点から,対実合成を研究する。 本稿では, 知識外挿問題に対処するために, クローズド形式判別器を用いた対角ゲームが利用可能であることを示す。 提案手法は,多くのシナリオにおいて,エレガントな理論的保証と優れた性能の両方を享受する。
  論文  参考訳（メタデータ） (2022-05-21T08:39:42Z)
• Knowledge-driven Active Learning [70.37119719069499]
  アクティブな学習戦略は、ディープラーニングモデルをトレーニングするために必要なラベル付きデータの量を最小限にすることを目的としている。 ほとんどの積極的な戦略は不確実なサンプルの選択に基づいており、しばしば決定境界に近いサンプルに制限される。 本稿では、一般的なドメイン知識を考慮し、エキスパートでないユーザがより少ないサンプルでモデルを訓練できるようにする。
  論文  参考訳（メタデータ） (2021-10-15T06:11:53Z)
• X-model: Improving Data Efficiency in Deep Learning with A Minimax Model [78.55482897452417]
  ディープラーニングにおける分類と回帰設定の両面でのデータ効率の向上を目標とする。 両世界の力を生かすために,我々は新しいX-モデルを提案する。 X-モデルは、特徴抽出器とタスク固有のヘッドの間でミニマックスゲームを行う。
  論文  参考訳（メタデータ） (2021-10-09T13:56:48Z)
• Transferring model structure in Bayesian transfer learning for Gaussian process regression [1.370633147306388]
  本稿では、転送源分布上の目標確率分布を条件付けるタスクを定義する。 この最適意思決定問題を解決するために、完全な確率的設計が採用されている。 ソースのより高いモーメントを転送することで、ターゲットは信頼できないソース知識を拒否することができる。
  論文  参考訳（メタデータ） (2021-01-18T05:28:02Z)
• Do We Really Need to Access the Source Data? Source Hypothesis Transfer for Unsupervised Domain Adaptation [102.67010690592011]
  Unsupervised adaptUDA (UDA) は、ラベル付きソースデータセットから学んだ知識を活用して、新しいラベル付きドメインで同様のタスクを解決することを目的としている。 従来のUDAメソッドは、モデルに適応するためには、通常、ソースデータにアクセスする必要がある。 この作業は、訓練済みのソースモデルのみが利用できる実践的な環境に取り組み、ソースデータなしでそのようなモデルを効果的に活用してUDA問題を解決する方法に取り組みます。
  論文  参考訳（メタデータ） (2020-02-20T03:13:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。