論文の概要: On the Value of Target Data in Transfer Learning
- arxiv url: http://arxiv.org/abs/2002.04747v1
- Date: Wed, 12 Feb 2020 00:37:18 GMT
- ステータス: 処理完了
- システム内更新日: 2023-01-01 19:12:13.502443
- Title: On the Value of Target Data in Transfer Learning
- Title(参考訳): 移動学習における目標データの価値について
- Authors: Steve Hanneke and Samory Kpotufe
- Abstract要約: ソースおよびターゲットサンプルサイズの両方の観点から,最初のミニマックスレートを確立する。
本研究は,移動指数(transfer exponents)と呼ぶソースとターゲットの相違という新たな概念によって,性能限界が捉えられることを示す。
- 参考スコア(独自算出の注目度): 19.645741778058227
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We aim to understand the value of additional labeled or unlabeled target data
in transfer learning, for any given amount of source data; this is motivated by
practical questions around minimizing sampling costs, whereby, target data is
usually harder or costlier to acquire than source data, but can yield better
accuracy. To this aim, we establish the first minimax-rates in terms of both
source and target sample sizes, and show that performance limits are captured
by new notions of discrepancy between source and target, which we refer to as
transfer exponents.
- Abstract(参考訳): 本研究の目的は,転送学習におけるラベル付きあるいはラベルなしのターゲットデータの価値を,任意の量のソースデータに対して理解することであり,サンプリングコストの最小化に関する実践的な質問によって動機付けられている。
この目的のために, ソースサイズとターゲットサイズの両方で最初のミニマックスレートを設定し, 転送指数と呼ぶソースとターゲット間の不一致の新しい概念によって, 性能限界を捉えていることを示す。
関連論文リスト
- Data-Driven Knowledge Transfer in Batch $Q^*$ Learning [5.6665432569907646]
バッチ定常環境に集中して動的意思決定における知識伝達について検討する。
本稿では,一般関数近似を用いたTransferred Fitted $Q$-Iterationアルゴリズムのフレームワークを提案する。
Q*$関数の最終学習誤差は、単一のタスクレートから大幅に改善されていることを示す。
論文 参考訳(メタデータ) (2024-04-01T02:20:09Z) - An information-Theoretic Approach to Semi-supervised Transfer Learning [33.89602092349131]
トランスファーラーニングは、ある"ソースデータセット"から別の"ターゲットデータセット"に情報を伝達することを可能にする
ソースとターゲットデータの分布の相違は一般的です。
本稿では,伝達学習の文脈におけるディープニューラルネットワークの性能解析のための新しい情報理論アプローチを提案する。
論文 参考訳(メタデータ) (2023-06-11T17:45:46Z) - Optimal transfer protocol by incremental layer defrosting [66.76153955485584]
トランスファーラーニングは、限られた量のデータでモデルトレーニングを可能にする強力なツールである。
最も単純な転送学習プロトコルは、データリッチなソースタスクで事前訓練されたネットワークの機能抽出層を凍結する。
このプロトコルは、しばしば準最適であり、事前学習されたネットワークの小さな部分を凍結したままにしておくと、最大の性能向上が達成される可能性がある。
論文 参考訳(メタデータ) (2023-03-02T17:32:11Z) - Towards Estimating Transferability using Hard Subsets [25.86053764521497]
HASTEは、ターゲットデータのより厳しいサブセットのみを用いて、ソースモデルの特定のターゲットタスクへの転送可能性を推定する新しい戦略である。
HASTEは既存の転送可能性測定値と組み合わせて信頼性を向上させることができることを示す。
複数のソースモデルアーキテクチャ、ターゲットデータセット、トランスファー学習タスクにまたがる実験結果から、HASTEの修正されたメトリクスは、一貫して、あるいは、アートトランスファービリティーメトリクスの状態と同等であることが示された。
論文 参考訳(メタデータ) (2023-01-17T14:50:18Z) - Leveraging Unlabeled Data to Predict Out-of-Distribution Performance [63.740181251997306]
実世界の機械学習デプロイメントは、ソース(トレーニング)とターゲット(テスト)ディストリビューションのミスマッチによって特徴づけられる。
本研究では,ラベル付きソースデータとラベルなしターゲットデータのみを用いて,対象領域の精度を予測する手法を検討する。
本稿では,モデルの信頼度をしきい値として学習し,精度をラベルなし例のごく一部として予測する実践的手法である平均閾値保持信頼度(ATC)を提案する。
論文 参考訳(メタデータ) (2022-01-11T23:01:12Z) - Unsupervised Adaptation of Semantic Segmentation Models without Source
Data [14.66682099621276]
意味的セグメンテーションのためのソースデータにアクセスすることなく、ソースモデルの教師なしドメイン適応という新しい問題を考察する。
本稿では,ソースモデルから知識を抽出する自己学習手法を提案する。
我々のフレームワークは、ターゲットデータに直接ソースモデルを適用した場合と比較して、大幅なパフォーマンス向上を実現できます。
論文 参考訳(メタデータ) (2021-12-04T15:13:41Z) - On-target Adaptation [82.77980951331854]
ドメイン適応は、Emphtargetドメインでのトレーニングとテストの間のシフトを軽減することを目指している。
ほとんどの適応法は、ソースデータとターゲットデータに対する共同最適化によるソースデータに依存している。
対象データから純粋に表現を学習するオン・ターゲット適応による大幅な改善を示す。
論文 参考訳(メタデータ) (2021-09-02T17:04:18Z) - Source Data-absent Unsupervised Domain Adaptation through Hypothesis
Transfer and Labeling Transfer [137.36099660616975]
Unsupervised Adapt Adaptation (UDA) は、関連性のある異なるラベル付きソースドメインから新しいラベルなしターゲットドメインへの知識の転送を目標としている。
既存のudaメソッドの多くはソースデータへのアクセスを必要としており、プライバシ上の懸念からデータが機密で共有できない場合は適用できない。
本稿では、ソースデータにアクセスする代わりに、トレーニング済みの分類モデルのみを用いて現実的な設定に取り組むことを目的とする。
論文 参考訳(メタデータ) (2020-12-14T07:28:50Z) - Domain Adaptative Causality Encoder [52.779274858332656]
我々は,適応因果同定と局所化の課題に対処するために,依存木の特徴と敵対学習を活用する。
我々は、テキストにあらゆる種類の因果関係を統合する新しい因果関係データセット、MedCausを提案する。
論文 参考訳(メタデータ) (2020-11-27T04:14:55Z) - Towards Accurate Knowledge Transfer via Target-awareness Representation
Disentanglement [56.40587594647692]
本稿では,TRED(Target-Awareness Representation Disentanglement)の概念を取り入れた新しいトランスファー学習アルゴリズムを提案する。
TREDは、対象のタスクに関する関連する知識を元のソースモデルから切り離し、ターゲットモデルを微調整する際、レギュレータとして使用する。
各種実世界のデータセットを用いた実験により,本手法は標準微調整を平均2%以上安定的に改善することが示された。
論文 参考訳(メタデータ) (2020-10-16T17:45:08Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。