論文の概要: Shaping Useful Noise: Energy Distributions Predict Visual Pretraining Quality
- arxiv url: http://arxiv.org/abs/2611.11962v1
- Date: Mon, 09 Nov 2026 06:31:22 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-11-11 09:45:38.197673
- Title: Shaping Useful Noise: Energy Distributions Predict Visual Pretraining Quality
- Title(参考訳): 有効騒音の形状:エネルギー分布の予測による予混合品質の予測
- Abstract要約: 本稿では,実エネルギー分布と合成エネルギー分布を比較したELD(Energy-Level Distribution Distance)を紹介する。
ELDは、FIDで見逃されたミスマッチを公開し、FID、LPIPSのバリエーション、フィーチャースペースリコールを超えた事前トレーニングパフォーマンスを予測する。
次に、EDDを用いて合成源を再サンプリングし混合し、実像エネルギーヒストグラムとマッチングし、多様性を保ち、下流の移動を改善する。
- 参考スコア(独自算出の注目度): 81.21327218612743
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Synthetic data can scale visual pretraining, but current selection criteria only partially explain which datasets train strong representations. We propose using the energy profile of a dataset--the distribution of log-probability levels it occupies under a normalised real-image density model--as an audit and curation principle for synthetic data. To operationalise this view, we introduce Energy-Level Distribution Distance (ELD), which compares real and synthetic energy distributions. Real images span sparse high-likelihood scenes and dense low-likelihood textures, so useful synthetic data should cover this energy range rather than collapse to likely but low-variation samples. Across diverse synthetic datasets, ELD exposes mismatches missed by FID and predicts pretraining performance beyond FID, LPIPS variation, and feature-space recall, including across CNN and ViT self-supervised settings. We then use ELD to resample and mix synthetic sources, matching the real-image energy histogram while preserving diversity and improving downstream transfer.
- Abstract(参考訳): 合成データは、視覚的な事前学習をスケールすることができるが、現在の選択基準は、どのデータセットが強い表現を訓練するかを部分的に説明するだけである。
本稿では, 正規化実画像密度モデルに基づくログ確率レベルの分布を, 合成データの監査・キュレーション原理として, データセットのエネルギープロファイルを用いる。
この視点を運用するために,実エネルギー分布と合成エネルギー分布を比較したELD(Energy-Level Distribution Distance)を導入する。
実際の画像は、希少な高濃度のシーンと密度の低濃度のテクスチャにまたがっているため、有用な合成データは、おそらく低変量サンプルに崩壊するのではなく、このエネルギー範囲をカバーするべきである。
多様な合成データセット全体にわたって、EDDは、FIDで見逃されたミスマッチを公開し、FID、LPIPSのバリエーション、CNNとViTの自己管理設定を含む機能空間リコールを超えて、事前トレーニングのパフォーマンスを予測する。
次に、EDDを用いて合成源を再サンプリングし混合し、実像エネルギーヒストグラムとマッチングし、多様性を保ち、下流の移動を改善する。
関連論文リスト
- Towards Syn-to-Real IQA: A Novel Perspective on Reshaping Synthetic Data Distributions [74.00222571094437]
Blind Image Quality Assessment (BIQA)はディープラーニングを通じて大幅に進歩しているが、大規模なラベル付きデータセットの不足は依然として課題である。
合成データセットから学習した表現は、しばしば回帰性能を妨げる離散的かつクラスタ化されたパターンを示す。
本稿では,BIQAの一般化を促進するために,合成データ分布を再考する新しいフレームワークであるSynDR-IQAを紹介する。
論文 参考訳(メタデータ) (2026-01-01T06:11:16Z) - Diversity-Driven Synthesis: Enhancing Dataset Distillation through Directed Weight Adjustment [39.137060714048175]
多様性の向上は、データセットを合成するための並列化可能であるが孤立したアプローチを改善することができる、と我々は主張する。
本稿では,動的かつ指向的な重み調整技術を用いて合成過程を変調する新しい手法を提案する。
提案手法は,合成データの各バッチが,元のデータセットの大規模かつ多様なサブセットの特徴を反映していることを保証する。
論文 参考訳(メタデータ) (2024-09-26T08:03:19Z) - Learning from Synthetic Data for Visual Grounding [55.21937116752679]
そこで本研究では,SynGroundが市販のビジョン・アンド・ランゲージモデルのローカライズ能力を向上できることを示す。
SynGroundで生成されたデータは、事前訓練されたALBEFモデルとBLIPモデルのポインティングゲーム精度をそれぞれ4.81%、絶対パーセンテージポイント17.11%向上させる。
論文 参考訳(メタデータ) (2024-03-20T17:59:43Z) - Iterated Denoising Energy Matching for Sampling from Boltzmann Densities [109.23137009609519]
反復Denoising Energy Matching (iDEM)
iDEMは,拡散型サンプリング装置から高モデル密度のサンプリング領域を (I) 交換し, (II) それらのサンプルをマッチング目的に使用した。
提案手法は,全測定値の最先端性能を達成し,2~5倍の速さでトレーニングを行う。
論文 参考訳(メタデータ) (2024-02-09T01:11:23Z) - Explore the Power of Synthetic Data on Few-shot Object Detection [27.26215175101865]
Few-shot Object Detection (FSOD) は、トレーニングのいくつかの例に限って、新しいカテゴリのオブジェクト検出器を拡張することを目的としている。
近年のテキスト・画像生成モデルでは,高品質な画像を生成する上で有望な結果が得られている。
この研究は、最先端のテキスト・ツー・イメージ・ジェネレータから生成された合成画像がFSODタスクにどのように貢献するかを幅広く研究している。
論文 参考訳(メタデータ) (2023-03-23T12:34:52Z) - CAFE: Learning to Condense Dataset by Aligning Features [72.99394941348757]
本稿ではCAFE(Aligning features)によるCondenseデータセットの新しいスキームを提案する。
このアプローチの核心は、さまざまなスケールにわたる実データと合成データから機能を整合させる効果的な戦略です。
提案したCAFEを様々なデータセットで検証し,概ね最先端技術であることを示す。
論文 参考訳(メタデータ) (2022-03-03T05:58:49Z) - Synthetic Data for Model Selection [2.4499092754102874]
合成データはモデル選択に有用であることを示す。
そこで本研究では,実領域に適合する合成誤差推定をキャリブレーションする新しい手法を提案する。
論文 参考訳(メタデータ) (2021-05-03T09:52:03Z) - Learning Energy-Based Models by Diffusion Recovery Likelihood [61.069760183331745]
本稿では,エネルギーベースモデルから気軽に学習・サンプルできる拡散回復可能性法を提案する。
学習後、ガウスの白色雑音分布から初期化するサンプリングプロセスにより合成画像を生成することができる。
非条件 CIFAR-10 では,本手法は FID 9.58 と開始スコア 8.30 を達成する。
論文 参考訳(メタデータ) (2020-12-15T07:09:02Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。