論文の概要: Unsupervised Finetuning

• arxiv url: http://arxiv.org/abs/2110.09510v1
• Date: Mon, 18 Oct 2021 17:57:05 GMT
• ステータス: 処理完了
• システム内更新日: 2021-10-19 15:12:09.550278
• Title: Unsupervised Finetuning
• Title（参考訳）: 教師なしの微調整
• Authors: Suichan Li and Dongdong Chen and Yinpeng Chen and Lu Yuan and Lei Zhang and Qi Chu and Bin Liu and Nenghai Yu
• Abstract要約: ソースデータとターゲットデータを組み合わせて教師なしの微調整を行うための2つの戦略を提案する。 前者の戦略の動機は、事前訓練された表現空間を占有するために、少量のソースデータを追加することである。 後者の戦略の動機は、データ密度を高め、よりコンパクトな表現を学ぶことにある。
• 参考スコア（独自算出の注目度）: 80.58625921631506
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: This paper studies "unsupervised finetuning", the symmetrical problem of the well-known "supervised finetuning". Given a pretrained model and small-scale unlabeled target data, unsupervised finetuning is to adapt the representation pretrained from the source domain to the target domain so that better transfer performance can be obtained. This problem is more challenging than the supervised counterpart, as the low data density in the small-scale target data is not friendly for unsupervised learning, leading to the damage of the pretrained representation and poor representation in the target domain. In this paper, we find the source data is crucial when shifting the finetuning paradigm from supervise to unsupervise, and propose two simple and effective strategies to combine source and target data into unsupervised finetuning: "sparse source data replaying", and "data mixing". The motivation of the former strategy is to add a small portion of source data back to occupy their pretrained representation space and help push the target data to reside in a smaller compact space; and the motivation of the latter strategy is to increase the data density and help learn more compact representation. To demonstrate the effectiveness of our proposed ``unsupervised finetuning'' strategy, we conduct extensive experiments on multiple different target datasets, which show better transfer performance than the naive strategy.
• Abstract（参考訳）: 本稿では,よく知られた「教師なし微調整」の対称問題である「教師なし微調整」について述べる。 事前訓練されたモデルと小規模な未ラベルのターゲットデータにより、教師なし微調整は、ソースドメインから対象ドメインに事前訓練された表現を適応させることにより、より良い転送性能を得ることができる。 小規模のターゲットデータの低データ密度は教師なし学習には適さないため、事前学習された表現と対象領域での貧弱な表現の損傷につながるため、この問題は教師なしデータよりも難しい。 本稿では、微調整パラダイムを監督者から監督者へシフトさせる際には、ソースデータの重要性が指摘され、ソースデータとターゲットデータを教師なしの微調整に組み合わせる2つのシンプルかつ効果的な戦略が提案されている。 前者の戦略の動機は、事前訓練された表現空間を占有するために、少量のソースデータを追加して、ターゲットデータをより小さなコンパクトな空間に配置することであり、後者の戦略の動機は、データ密度を高め、よりコンパクトな表現を学ぶことである。 提案する ‘unsupervised finetuning' 戦略の有効性を示すために,複数のターゲットデータセットを対象とした広範囲な実験を行い,naive 戦略よりも優れた転送性能を示す。

関連論文リスト

• Data Pruning in Generative Diffusion Models [2.0111637969968]
  生成モデルは、データの基盤となる分布を推定することを目的としている。 大規模データセットにおける冗長データやノイズデータの排除は,特に戦略的に行う場合,特に有益であることを示す。
  論文  参考訳（メタデータ） (2024-11-19T14:13:25Z)
• TCGU: Data-centric Graph Unlearning based on Transferable Condensation [36.670771080732486]
  Transferable Condensation Graph Unlearning (TCGU)は、ゼロガンスグラフアンラーニングのためのデータ中心のソリューションである。 我々は,TGUが既存のGU手法よりもモデルユーティリティ,未学習効率,未学習効率において優れた性能を発揮することを示す。
  論文  参考訳（メタデータ） (2024-10-09T02:14:40Z)
• The Power and Limitation of Pretraining-Finetuning for Linear Regression under Covariate Shift [127.21287240963859]
  本研究では,対象データに基づく事前学習と微調整を併用した伝達学習手法について検討する。 大規模な線形回帰インスタンスの場合、$O(N2)$ソースデータによる転送学習は、$N$ターゲットデータによる教師あり学習と同じくらい効果的である。
  論文  参考訳（メタデータ） (2022-08-03T05:59:49Z)
• Unsupervised Adaptation of Semantic Segmentation Models without Source Data [14.66682099621276]
  意味的セグメンテーションのためのソースデータにアクセスすることなく、ソースモデルの教師なしドメイン適応という新しい問題を考察する。 本稿では,ソースモデルから知識を抽出する自己学習手法を提案する。 我々のフレームワークは、ターゲットデータに直接ソースモデルを適用した場合と比較して、大幅なパフォーマンス向上を実現できます。
  論文  参考訳（メタデータ） (2021-12-04T15:13:41Z)
• Domain-Irrelevant Representation Learning for Unsupervised Domain Generalization [22.980607134596077]
  ドメインの一般化(Domain Generalization, DG)は、ソースドメインの集合で訓練されたモデルが、見えないターゲットドメインでより良く一般化することを支援することを目的としている。 ラベルのないデータははるかにアクセスしやすいが、教師なし学習がドメイン間の深いモデルの一般化にどのように役立つかを探究する。 本研究では,未ラベルデータ内の不均一性に対処するために,ドメイン関連無教師学習(DIUL)手法を提案する。
  論文  参考訳（メタデータ） (2021-07-13T16:20:50Z)
• Delving into Data: Effectively Substitute Training for Black-box Attack [84.85798059317963]
  本稿では,知識盗むプロセスで使用されるデータの分散設計に焦点をあてた,新しい視点代替トレーニングを提案する。 これら2つのモジュールの組み合わせにより、代替モデルとターゲットモデルの一貫性がさらに向上し、敵攻撃の有効性が大幅に向上する。
  論文  参考訳（メタデータ） (2021-04-26T07:26:29Z)
• Distill and Fine-tune: Effective Adaptation from a Black-box Source Model [138.12678159620248]
  Unsupervised Domain Adapt (UDA) は、既存のラベル付きデータセット (source) の知識を新しいラベル付きデータセット (target) に転送することを目的としています。 Distill and Fine-tune (Dis-tune) という新しい二段階適応フレームワークを提案する。
  論文  参考訳（メタデータ） (2021-04-04T05:29:05Z)
• Regressive Domain Adaptation for Unsupervised Keypoint Detection [67.2950306888855]
  ドメイン適応(DA)は、ラベル付きソースドメインからラベル付きターゲットドメインに知識を転送することを目的とする。 本稿では,教師なしキーポイント検出のためのレグレッシブドメイン適応(RegDA)法を提案する。 提案手法は,異なるデータセット上のPCKにおいて,8%から11%の大幅な改善をもたらす。
  論文  参考訳（メタデータ） (2021-03-10T16:45:22Z)
• Negative Data Augmentation [127.28042046152954]
  負のデータ拡張サンプルは、データ分散のサポートに関する情報を提供することを示す。 我々は、NDAを識別器の合成データの追加源として利用する新しいGAN訓練目標を提案する。 実験により,本手法で訓練したモデルでは,異常検出能力の向上とともに条件付き・条件付き画像生成の改善を実現している。
  論文  参考訳（メタデータ） (2021-02-09T20:28:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。