Fugu-MT 論文翻訳(概要): Transfer Learning with Pre-trained Conditional Generative Models

論文の概要: Transfer Learning with Pre-trained Conditional Generative Models

arxiv url: http://arxiv.org/abs/2204.12833v1
Date: Wed, 27 Apr 2022 10:36:32 GMT
ステータス: 処理完了
システム内更新日: 2022-04-28 12:16:38.151106
Title: Transfer Learning with Pre-trained Conditional Generative Models
Title（参考訳）: 条件付き生成モデルを用いた伝達学習
Authors: Shin'ya Yamaguchi, Sekitoshi Kanai, Atsutoshi Kumagai, Daiki Chijiwa, Hisashi Kashima
Abstract要約: 本稿では, 擬似事前学習と擬似半教師学習の2段階からなる, 深層生成モデルを用いた伝達学習手法を提案する。実験結果から,スクラッチトレーニングと知識蒸留の基準線を上回り,本手法が有効であることが示唆された。
参考スコア（独自算出の注目度）: 29.43740987925133
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Transfer learning is crucial in training deep neural networks on new target tasks. Current transfer learning methods generally assume at least one of (i) source and target task label spaces must overlap, (ii) source datasets are available, and (iii) target network architectures are consistent with source ones. However, these all assumptions are difficult to hold in practical settings because the target task rarely has the same labels as the source task, the source dataset access is restricted due to licensing and storage costs, and the target architecture is often specialized to each task. To transfer source knowledge without these assumptions, we propose a transfer learning method that uses deep generative models and is composed of the following two stages: pseudo pre-training (PP) and pseudo semi-supervised learning (P-SSL). PP trains a target architecture with a synthesized dataset by using conditional source generative models. P-SSL applies SSL algorithms to labeled target data and unlabeled pseudo samples, which are generated by cascading the source classifier and generative models to condition them with target samples. Our experimental results indicate that our method can outperform baselines of scratch training and knowledge distillation.
Abstract（参考訳）: トランスファー学習は、新しいターゲットタスクでディープニューラルネットワークをトレーニングする上で重要である。電流伝達学習法は一般に少なくとも一方を仮定する (i)ソースとターゲットタスクラベル空間は重複しなければならない。 (ii) ソースデータセットが利用可能で、 (iii)ターゲットネットワークアーキテクチャはソースアーキテクチャと整合性がある。しかしながら、これらすべての仮定は、ターゲットタスクがソースタスクと同じラベルを持つことは滅多になく、ソースデータセットへのアクセスはライセンスとストレージコストによって制限され、ターゲットアーキテクチャは各タスクに特化されることがしばしばあるため、現実的な設定では保持が難しい。これらの仮定を使わずにソース知識を伝達するために,擬似事前学習(PP)と擬似半教師学習(P-SSL)の2段階からなる深層生成モデルを用いた伝達学習手法を提案する。 PPは、条件付きソース生成モデルを用いて、合成データセットでターゲットアーキテクチャを訓練する。 P-SSLはSSLアルゴリズムをラベル付きターゲットデータとラベルなしの擬似サンプルに適用する。実験の結果,本手法はスクラッチトレーニングと知識蒸留のベースラインを上回ることができることがわかった。

関連論文リスト

Source-Free Domain Adaptation Guided by Vision and Vision-Language Pre-Training [23.56208527227504]
ソースフリードメイン適応(SFDA)は、完全にラベル付けされたソースドメインでトレーニングされたソースモデルを、関連するがラベル付けされていないターゲットドメインに適応させることを目的としている。従来のSFDAパイプラインでは、ソースモデルを初期化するために、大量のデータ(イメージネットなど)を事前訓練した特徴抽出器が使用される。トレーニング済みネットワークを対象適応プロセスに組み込むための統合フレームワークを導入する。
論文参考訳（メタデータ） (2024-05-05T14:48:13Z)
Diffusion-Based Neural Network Weights Generation [80.89706112736353]
D2NWGは拡散に基づくニューラルネットワーク重み生成技術であり、転送学習のために高性能な重みを効率よく生成する。本稿では,ニューラルネットワーク重み生成のための遅延拡散パラダイムを再放送するために,生成的ハイパー表現学習を拡張した。我々のアプローチは大規模言語モデル(LLM)のような大規模アーキテクチャにスケーラブルであり、現在のパラメータ生成技術の限界を克服しています。
論文参考訳（メタデータ） (2024-02-28T08:34:23Z)
netFound: Foundation Model for Network Security [11.38388749887112]
本稿では,新しいトランスフォーマーベースネットワーク基盤モデルであるnetFoundを紹介する。我々は、事前学習のために、豊富なラベルのないネットワークテレメトリデータに自己教師付き学習技術を採用する。実運用環境では,netFoundが隠れたネットワークコンテキストを効果的にキャプチャすることを示す。
論文参考訳（メタデータ） (2023-10-25T22:04:57Z)
Optimal transfer protocol by incremental layer defrosting [66.76153955485584]
トランスファーラーニングは、限られた量のデータでモデルトレーニングを可能にする強力なツールである。最も単純な転送学習プロトコルは、データリッチなソースタスクで事前訓練されたネットワークの機能抽出層を凍結する。このプロトコルは、しばしば準最適であり、事前学習されたネットワークの小さな部分を凍結したままにしておくと、最大の性能向上が達成される可能性がある。
論文参考訳（メタデータ） (2023-03-02T17:32:11Z)
Unified Instance and Knowledge Alignment Pretraining for Aspect-based Sentiment Analysis [96.53859361560505]
Aspect-based Sentiment Analysis (ABSA) は、ある側面に対する感情の極性を決定することを目的としている。事前トレーニングと下流ABSAデータセットの間には、常に深刻なドメインシフトが存在する。我々は,バニラ・プレトレイン・ファインチューンパイプラインにアライメント事前訓練フレームワークを導入する。
論文参考訳（メタデータ） (2021-10-26T04:03:45Z)
Trash to Treasure: Harvesting OOD Data with Cross-Modal Matching for Open-Set Semi-Supervised Learning [101.28281124670647]
オープンセット半教師付き学習(Open-set SSL)では、ラベルなしデータにOOD(Out-of-distribution)サンプルを含む、難しいが実用的なシナリオを調査する。我々は、OODデータの存在を効果的に活用し、特徴学習を増強する新しいトレーニングメカニズムを提案する。我々のアプローチは、オープンセットSSLのパフォーマンスを大幅に向上させ、最先端技術よりも大きなマージンで性能を向上します。
論文参考訳（メタデータ） (2021-08-12T09:14:44Z)
Source Data-absent Unsupervised Domain Adaptation through Hypothesis Transfer and Labeling Transfer [137.36099660616975]
Unsupervised Adapt Adaptation (UDA) は、関連性のある異なるラベル付きソースドメインから新しいラベルなしターゲットドメインへの知識の転送を目標としている。既存のudaメソッドの多くはソースデータへのアクセスを必要としており、プライバシ上の懸念からデータが機密で共有できない場合は適用できない。本稿では、ソースデータにアクセスする代わりに、トレーニング済みの分類モデルのみを用いて現実的な設定に取り組むことを目的とする。
論文参考訳（メタデータ） (2020-12-14T07:28:50Z)
Effectiveness of Arbitrary Transfer Sets for Data-free Knowledge Distillation [28.874162427052905]
本研究では, ランダムノイズ, 公開合成, 自然データセットなどの「任意移動集合」の有効性について検討する。このデータセットが「ターゲットクラスのバランス」である場合、任意のデータを用いて知識蒸留を行うことによる驚くべき効果を見出す。
論文参考訳（メタデータ） (2020-11-18T06:33:20Z)
Towards Accurate Knowledge Transfer via Target-awareness Representation Disentanglement [56.40587594647692]
本稿では,TRED(Target-Awareness Representation Disentanglement)の概念を取り入れた新しいトランスファー学習アルゴリズムを提案する。 TREDは、対象のタスクに関する関連する知識を元のソースモデルから切り離し、ターゲットモデルを微調整する際、レギュレータとして使用する。各種実世界のデータセットを用いた実験により,本手法は標準微調整を平均2%以上安定的に改善することが示された。
論文参考訳（メタデータ） (2020-10-16T17:45:08Z)
Minimax Lower Bounds for Transfer Learning with Linear and One-hidden Layer Neural Networks [27.44348371795822]
転送学習の限界を特徴付けるための統計的ミニマックスフレームワークを開発する。ラベル付きソース数とターゲットデータの関数として,任意のアルゴリズムで達成可能なターゲット一般化誤差に対して,低いバウンドを導出する。
論文参考訳（メタデータ） (2020-06-16T22:49:26Z)
GradMix: Multi-source Transfer across Domains and Tasks [33.98368732653684]
GradMixは、勾配に基づく学習規則で訓練されたモデルに適用できるモデルに依存しない手法である。数値認識と行動認識の2つの課題についてMS-DTT実験を行った。
論文参考訳（メタデータ） (2020-02-09T02:10:22Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。