論文の概要: Self-Supervised Dataset Distillation for Transfer Learning
- arxiv url: http://arxiv.org/abs/2310.06511v2
- Date: Mon, 16 Oct 2023 04:46:07 GMT
- ステータス: 処理完了
- システム内更新日: 2023-10-18 02:25:43.071615
- Title: Self-Supervised Dataset Distillation for Transfer Learning
- Title(参考訳): 転送学習のための自己教師付きデータセット蒸留
- Authors: Dong Bok Lee, Seanie Lee, Joonho Ko, Kenji Kawaguchi, Juho Lee, Sung
Ju Hwang
- Abstract要約: ラベルなしデータセットを、効率的な自己教師付き学習(SSL)のための小さな合成サンプル群に蒸留する新しい問題を提案する。
両レベル最適化におけるSSL目標に対する合成サンプルの勾配は、データ拡張やマスキングから生じるランダム性から、テキストバイアスを受けていることを最初に証明する。
転送学習を含む様々な応用における本手法の有効性を実証的に検証する。
- 参考スコア(独自算出の注目度): 82.09002658558529
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Dataset distillation methods have achieved remarkable success in distilling a
large dataset into a small set of representative samples. However, they are not
designed to produce a distilled dataset that can be effectively used for
facilitating self-supervised pre-training. To this end, we propose a novel
problem of distilling an unlabeled dataset into a set of small synthetic
samples for efficient self-supervised learning (SSL). We first prove that a
gradient of synthetic samples with respect to a SSL objective in naive bilevel
optimization is \textit{biased} due to the randomness originating from data
augmentations or masking. To address this issue, we propose to minimize the
mean squared error (MSE) between a model's representations of the synthetic
examples and their corresponding learnable target feature representations for
the inner objective, which does not introduce any randomness. Our primary
motivation is that the model obtained by the proposed inner optimization can
mimic the \textit{self-supervised target model}. To achieve this, we also
introduce the MSE between representations of the inner model and the
self-supervised target model on the original full dataset for outer
optimization. Lastly, assuming that a feature extractor is fixed, we only
optimize a linear head on top of the feature extractor, which allows us to
reduce the computational cost and obtain a closed-form solution of the head
with kernel ridge regression. We empirically validate the effectiveness of our
method on various applications involving transfer learning.
- Abstract(参考訳): データセット蒸留法は、大規模なデータセットを少数の代表サンプルに蒸留することに成功した。
しかし、自己教師付き事前学習を容易にするために効果的に使用できる蒸留データセットを作成するように設計されていない。
そこで本研究では,ラベルのないデータセットを,効率的な自己教師付き学習(SSL)のための小さな合成サンプル集合に蒸留する新しい問題を提案する。
まず,二値最適化におけるsslの目的に対する合成サンプルの勾配が,データの増補やマスキングに由来するランダム性から \textit{biased} であることが証明される。
この問題に対処するため,本論文では,合成例のモデル表現と学習可能な対象特徴表現との間の平均二乗誤差(mse)を最小限に抑えることを提案する。
我々の主な動機は、提案した内部最適化によって得られたモデルが \textit{self-supervised target model} を模倣できることである。
そこで本研究では,内部モデルと自己教師対象モデルとのMSEを,外部最適化のための元となる全データセット上に導入する。
最後に、特徴抽出器が固定されていると仮定すると、特徴抽出器の上の直線ヘッドのみを最適化し、計算コストを削減し、カーネルリッジ回帰を伴うヘッドの閉形式解を得る。
転送学習を含む様々な応用における本手法の有効性を実証的に検証する。
関連論文リスト
- Synthetic data, real errors: how (not) to publish and use synthetic data [86.65594304109567]
生成過程が下流MLタスクにどのように影響するかを示す。
本稿では、生成プロセスモデルパラメータの後方分布を近似するために、Deep Generative Ensemble (DGE)を導入する。
論文 参考訳(メタデータ) (2023-05-16T07:30:29Z) - Boosting Differentiable Causal Discovery via Adaptive Sample Reweighting [62.23057729112182]
異なるスコアに基づく因果探索法は観測データから有向非巡回グラフを学習する。
本稿では,Reweighted Score関数ReScoreの適応重みを動的に学習することにより因果発見性能を向上させるためのモデルに依存しないフレームワークを提案する。
論文 参考訳(メタデータ) (2023-03-06T14:49:59Z) - Predicting Out-of-Distribution Error with Confidence Optimal Transport [17.564313038169434]
そこで本研究では,未知の分布におけるモデルの性能を付加アノテーションなしで予測する簡易かつ効果的な手法を提案する。
提案手法である信頼度最適輸送(COT)は,対象領域におけるモデルの性能を頑健に推定する。
その単純さにもかかわらず,提案手法は3つのベンチマークデータセットに対して最先端の結果を達成し,既存の手法よりも大きなマージンで性能を向上する。
論文 参考訳(メタデータ) (2023-02-10T02:27:13Z) - Non-iterative optimization of pseudo-labeling thresholds for training
object detection models from multiple datasets [2.1485350418225244]
低コストデータセットの集合からオブジェクト検出を学習するために、擬似ラベル閾値を最適化する非定型的手法を提案する。
提案手法はCOCOおよびVOCデータセット上の格子探索に匹敵するmAPを実現することを実験的に実証した。
論文 参考訳(メタデータ) (2022-10-19T00:31:34Z) - Learning from aggregated data with a maximum entropy model [73.63512438583375]
我々は,観測されていない特徴分布を最大エントロピー仮説で近似することにより,ロジスティック回帰と類似した新しいモデルが,集約データからのみ学習されることを示す。
我々は、この方法で学習したモデルが、完全な非凝集データでトレーニングされたロジスティックモデルに匹敵するパフォーマンスを達成することができるという、いくつかの公開データセットに関する実証的な証拠を提示する。
論文 参考訳(メタデータ) (2022-10-05T09:17:27Z) - Self-Distillation for Further Pre-training of Transformers [83.84227016847096]
我々は、さらなる事前学習段階の正則化として自己蒸留を提案する。
画像およびテキスト分類タスクのための様々なベンチマークデータセットにおける自己蒸留の有効性を実証的に検証する。
論文 参考訳(メタデータ) (2022-09-30T02:25:12Z) - Conservative Objective Models for Effective Offline Model-Based
Optimization [78.19085445065845]
計算設計の問題は、合成生物学からコンピュータアーキテクチャまで、様々な場面で発生している。
本研究では,分布外入力に対する接地的目標の実際の値を低くする目的関数のモデルを学習する手法を提案する。
COMは、様々なMBO問題に対して、既存のメソッドの実装と性能の面では単純である。
論文 参考訳(メタデータ) (2021-07-14T17:55:28Z) - Optimal transport framework for efficient prototype selection [21.620708125860066]
最適なトランスポート(ot)ベースのフレームワークを開発し、与えられたターゲットデータセットを最もよく表現する有益な例を選定する。
目的関数は部分モジュラリティの重要な特性を享受し、計算速度と決定論的近似保証を持つ並列化可能なグリーディ法を提案する。
論文 参考訳(メタデータ) (2021-03-18T10:50:14Z) - Model-based Policy Optimization with Unsupervised Model Adaptation [37.09948645461043]
本研究では,不正確なモデル推定による実データとシミュレーションデータのギャップを埋めて,より良いポリシ最適化を実現する方法について検討する。
本稿では,教師なしモデル適応を導入したモデルベース強化学習フレームワークAMPOを提案する。
提案手法は,一連の連続制御ベンチマークタスクにおけるサンプル効率の観点から,最先端の性能を実現する。
論文 参考訳(メタデータ) (2020-10-19T14:19:42Z) - Neural Model-based Optimization with Right-Censored Observations [42.530925002607376]
ニューラルネットワーク(NN)は、モデルベースの最適化手順のコアでうまく機能することが実証されている。
トレーニングされた回帰モデルは,いくつかのベースラインよりも優れた予測品質が得られることを示す。
論文 参考訳(メタデータ) (2020-09-29T07:32:30Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。