論文の概要: Mind the Gap Between Synthetic and Real: Utilizing Transfer Learning to Probe the Boundaries of Stable Diffusion Generated Data
- arxiv url: http://arxiv.org/abs/2405.03243v1
- Date: Mon, 6 May 2024 07:51:13 GMT
- ステータス: 処理完了
- システム内更新日: 2024-05-07 14:25:39.003310
- Title: Mind the Gap Between Synthetic and Real: Utilizing Transfer Learning to Probe the Boundaries of Stable Diffusion Generated Data
- Title（参考訳）: 合成と実のギャップを意識する:転移学習を利用して安定拡散データの境界を探索する
- Authors: Leonhard Hennicke, Christian Medeiros Adriano, Holger Giese, Jan Mathias Koehler, Lukas Schott,
- Abstract要約: 学生モデルは、実際のデータで訓練されたモデルと比較して、精度が著しく低下している。
実データまたは合成データを用いてこれらのレイヤをトレーニングすることにより、ドロップが主にモデルの最終的なレイヤに由来することを明らかにする。
この結果から,実際のトレーニングデータの量とモデルの精度とのトレードオフの改善が示唆された。
- 参考スコア（独自算出の注目度）: 2.6016285265085526
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Generative foundation models like Stable Diffusion comprise a diverse spectrum of knowledge in computer vision with the potential for transfer learning, e.g., via generating data to train student models for downstream tasks. This could circumvent the necessity of collecting labeled real-world data, thereby presenting a form of data-free knowledge distillation. However, the resultant student models show a significant drop in accuracy compared to models trained on real data. We investigate possible causes for this drop and focus on the role of the different layers of the student model. By training these layers using either real or synthetic data, we reveal that the drop mainly stems from the model's final layers. Further, we briefly investigate other factors, such as differences in data-normalization between synthetic and real, the impact of data augmentations, texture vs.\ shape learning, and assuming oracle prompts. While we find that some of those factors can have an impact, they are not sufficient to close the gap towards real data. Building upon our insights that mainly later layers are responsible for the drop, we investigate the data-efficiency of fine-tuning a synthetically trained model with real data applied to only those last layers. Our results suggest an improved trade-off between the amount of real training data used and the model's accuracy. Our findings contribute to the understanding of the gap between synthetic and real data and indicate solutions to mitigate the scarcity of labeled real data.
- Abstract（参考訳）: 安定拡散(Stable Diffusion)のような生成的基礎モデルは、コンピュータビジョンにおける様々な知識からなり、例えば、下流タスクのための生徒モデルのトレーニングを行うデータを生成することによって、トランスファーラーニング(transfer learning)の可能性を秘めている。
これは、ラベル付き実世界のデータを集める必要性を回避し、データフリーな知識蒸留の形式を提示する可能性がある。
しかし、結果として得られた学生モデルは、実際のデータで訓練されたモデルに比べて精度が著しく低下している。
この低下の原因について検討し、学生モデルの異なる層の役割に焦点を当てる。
実データまたは合成データを用いてこれらのレイヤをトレーニングすることにより、ドロップが主にモデルの最終的なレイヤに由来することを明らかにする。
さらに、合成と実のデータ正規化の違い、データ強化の影響、テクスチャとテクスチャの違いなど、他の要因についても簡単に検討する。
形状学習を図り、神託を仮定する。
これらの要因のいくつかは影響を受け得るが、実際のデータに対するギャップを埋めるには不十分である。
後続のレイヤがドロップの原因であるという私たちの洞察に基づいて、これらの最後のレイヤにのみ適用される実際のデータを用いて、合成的にトレーニングされたモデルを微調整する、データ効率について調査する。
この結果から,実際のトレーニングデータの量とモデルの精度とのトレードオフの改善が示唆された。
本研究は, 合成データと実データとのギャップの理解に寄与し, ラベル付き実データの不足を軽減するための解決策を示す。
関連論文リスト
- Marginal Causal Flows for Validation and Inference [3.547529079746247]
複雑なデータから得られる結果に対する介入の限界因果効果を調べることは依然として困難である。
Frugal Flowsは、正規化フローを使用してデータ生成過程を柔軟に学習する新しい確率ベース機械学習モデルである。
シミュレーションと実世界の両方のデータセットで実験を行った。
論文 参考訳（メタデータ） (2024-11-02T16:04:57Z) - Massively Annotated Datasets for Assessment of Synthetic and Real Data in Face Recognition [0.2775636978045794]
実データと合成データを用いて学習したモデルの性能のドリフトについて検討する。
属性集合上の実データと合成データセットの差について検討する。
興味深いことに、我々は実際のサンプルが合成分布を説明するのに十分であるにもかかわらず、その逆はもはや真実ではないことを検証した。
論文 参考訳（メタデータ） (2024-04-23T17:10:49Z) - Object Detector Differences when using Synthetic and Real Training Data [0.0]
都市環境からの実画像と合成画像に基づいてYOLOv3オブジェクト検出器を訓練する。
本研究では,CKA(Centered Kernel Alignment)を用いた類似性解析を行い,合成データに対する学習効果について検討する。
その結果、実データで訓練された検出器と合成データで訓練された検出器との最大の類似性は初期の層にあり、最も大きな違いは頭部にあることがわかった。
論文 参考訳（メタデータ） (2023-12-01T16:27:48Z) - Learning Defect Prediction from Unrealistic Data [57.53586547895278]
事前訓練されたコードのモデルは、コード理解と生成タスクに人気がある。
このようなモデルは大きい傾向があり、訓練データの総量を必要とする。
人工的に注入されたバグのある関数など、はるかに大きくてもより現実的なデータセットを持つモデルをトレーニングすることが一般的になった。
このようなデータで訓練されたモデルは、実際のプログラムでは性能が劣りながら、同様のデータでのみうまく機能する傾向にある。
論文 参考訳（メタデータ） (2023-11-02T01:51:43Z) - Exploring the Effectiveness of Dataset Synthesis: An application of
Apple Detection in Orchards [68.95806641664713]
本研究では,リンゴ樹の合成データセットを生成するための安定拡散2.1-baseの有用性について検討する。
我々は、現実世界のリンゴ検出データセットでリンゴを予測するために、YOLOv5mオブジェクト検出モデルを訓練する。
その結果、実世界の画像でトレーニングされたベースラインモデルと比較して、生成データでトレーニングされたモデルはわずかに性能が劣っていることがわかった。
論文 参考訳（メタデータ） (2023-06-20T09:46:01Z) - Synthetic data, real errors: how (not) to publish and use synthetic data [86.65594304109567]
生成過程が下流MLタスクにどのように影響するかを示す。
本稿では、生成プロセスモデルパラメータの後方分布を近似するために、Deep Generative Ensemble (DGE)を導入する。
論文 参考訳（メタデータ） (2023-05-16T07:30:29Z) - Knowing the Distance: Understanding the Gap Between Synthetic and Real
Data For Face Parsing [0.0]
分散ギャップがパフォーマンスギャップの最大の貢献者であることを示し、そのギャップの50%以上を占めている。
これは、合成データが実際のデータ、特に実際のデータが限定的または入手が困難である場合に、実際のデータの代替となることを示唆している。
論文 参考訳（メタデータ） (2023-03-27T13:59:26Z) - A New Benchmark: On the Utility of Synthetic Data with Blender for Bare
Supervised Learning and Downstream Domain Adaptation [42.2398858786125]
コンピュータビジョンにおけるディープラーニングは、大規模ラベル付きトレーニングデータの価格で大きな成功を収めた。
制御不能なデータ収集プロセスは、望ましくない重複が存在する可能性のある非IIDトレーニングおよびテストデータを生成する。
これを回避するために、ドメインランダム化による3Dレンダリングによる合成データを生成する方法がある。
論文 参考訳（メタデータ） (2023-03-16T09:03:52Z) - Minimizing the Accumulated Trajectory Error to Improve Dataset
Distillation [151.70234052015948]
本稿では,フラットな軌道を求める最適化アルゴリズムを提案する。
合成データに基づいてトレーニングされた重みは、平坦な軌道への正規化を伴う累積誤差摂動に対して頑健であることを示す。
本手法はFTD (Flat Trajectory Distillation) と呼ばれ, 勾配整合法の性能を最大4.7%向上させる。
論文 参考訳（メタデータ） (2022-11-20T15:49:11Z) - A Scaling Law for Synthetic-to-Real Transfer: A Measure of Pre-Training [52.93808218720784]
合成から現実への変換学習は,実タスクのための合成画像と接地真実アノテーションを用いた事前学習を行うフレームワークである。
合成画像はデータの不足を克服するが、事前訓練されたモデルで微調整性能がどのようにスケールするかは定かではない。
我々は、合成事前学習データの様々なタスク、モデル、複雑さにおける学習曲線を一貫して記述する、単純で一般的なスケーリング法則を観察する。
論文 参考訳（メタデータ） (2021-08-25T02:29:28Z) - Contrastive Model Inversion for Data-Free Knowledge Distillation [60.08025054715192]
そこで、データ多様性を最適化可能な目的として明示的にモデル化するContrastive Model Inversionを提案します。
我々の主な観察では、同じ量のデータの制約の下では、高いデータの多様性は、通常より強いインスタンス識別を示す。
CIFAR-10, CIFAR-100, Tiny-ImageNetを用いた実験により, 生成したデータを知識蒸留に使用する場合, CMIは極めて優れた性能を示すことが示された。
論文 参考訳（メタデータ） (2021-05-18T15:13:00Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。