論文の概要: Data Density Scaling Laws for Image Self-Distillation

• arxiv url: http://arxiv.org/abs/2610.19013v1
• Date: Tue, 13 Oct 2026 18:08:51 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-15 21:06:15.740862
• Title: Data Density Scaling Laws for Image Self-Distillation
• Title（参考訳）: 画像自己蒸留のためのデータ密度スケーリング法則
• Abstract要約: ダウンストリーム性能に対するサンプル繰り返しの効果は,非自明かつデータセット依存であることを示す。 そこで我々は,サンプルの個数とサンプル毎の反復数という2つの要因を明示的に説明する,チンチラ方式のスケーリング法の修正版を提案する。
• 参考スコア（独自算出の注目度）: 1.4521810715824832
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Current scaling law formulations suggest that increasing the number of unique samples in a dataset improves model performance, while repeated exposure to the same samples provides diminishing value. In this work, we examine this assumption for image self-distillation models. Through systematic experiments across diverse datasets, namely Maxar, SATLAS, Waymo, nuPlan, Ego4D, ImageNet, and YFCC15M, we demonstrate that the effects of sample repetition on downstream performance are non-trivial and dataset-dependent. We identify settings where repeatedly training on a smaller random subset can outperform training on a larger set of unique samples. This finding highlights a limitation of existing scaling laws. To address this gap, we propose a modified version of a Chinchilla-style scaling law that explicitly accounts for two factors: the number of unique samples and repetition per sample. This formulation provides a framework for understanding data-compute trade-offs and improves prediction in some regimes where repetition plays a central role, although its benefits are not consistent across datasets. Finally, we examine how subset selection and augmentation affect downstream performance.
• Abstract（参考訳）: 現在のスケーリング法則の定式化は、データセット内のユニークなサンプルの数を増やすことで、モデルの性能が向上し、同じサンプルに対する繰り返し露光が、値の低下をもたらすことを示唆している。 本研究では,画像自己蒸留モデルに対するこの仮定について検討する。 Maxar, SATLAS, Waymo, nuPlan, Ego4D, ImageNet, YFCC15Mといった多様なデータセットの体系的な実験を通じて, 下流のパフォーマンスに対するサンプル繰り返しの影響は非自明でデータセット依存であることを示す。 より小さなランダムなサブセットでの繰り返しトレーニングが、より大きなユニークなサンプルセットでのトレーニングより優れている設定を特定する。 この発見は、既存のスケーリング法則の制限を強調している。 このギャップに対処するために,一意のサンプル数とサンプル毎の反復数という2つの要因を明示的に説明する,チンチラスタイルのスケーリング法を修正したバージョンを提案する。 この定式化は、データ計算トレードオフを理解するためのフレームワークを提供し、反復が中心的な役割を果たすいくつかのレシエーションで予測を改善するが、その利点はデータセット間で一貫性がない。 最後に、サブセットの選択と拡張が下流のパフォーマンスに与える影響について検討する。

関連論文リスト

• ReAugment: Model Zoo-Guided RL for Few-Shot Time Series Augmentation and Forecasting [74.00765474305288]
  本稿では,時系列データ拡張のための強化学習(RL)の試験的検討を行う。 我々の手法であるReAugmentは、トレーニングセットのどの部分が拡張されるべきか、どのように拡張を行うべきか、RLがプロセスにどのような利点をもたらすのか、という3つの重要な問題に取り組む。
  論文  参考訳（メタデータ） (2024-09-10T07:34:19Z)
• DREAM+: Efficient Dataset Distillation by Bidirectional Representative Matching [40.18223537419178]
  本稿では,DREAM+と呼ばれる新しいデータセットマッチング手法を提案する。 DREAM+は、蒸留の繰り返し回数を15回以上減らし、性能に影響を与えない。 十分なトレーニング時間があれば、DREAM+はパフォーマンスをさらに向上し、最先端の結果を得ることができる。
  論文  参考訳（メタデータ） (2023-10-23T15:55:30Z)
• Self-Supervised Dataset Distillation for Transfer Learning [77.4714995131992]
  ラベルなしデータセットを、効率的な自己教師付き学習(SSL)のための小さな合成サンプル群に蒸留する新しい問題を提案する。 両レベル最適化におけるSSL目標に対する合成サンプルの勾配は、データ拡張やマスキングから生じるランダム性から、テキストバイアスを受けていることを最初に証明する。 転送学習を含む様々な応用における本手法の有効性を実証的に検証する。
  論文  参考訳（メタデータ） (2023-10-10T10:48:52Z)
• DREAM: Efficient Dataset Distillation by Representative Matching [38.92087223000823]
  textbfREpresenttextbfAtive textbfMatching (DREAM) による textbfDataset 蒸留と呼ばれる新しいマッチング手法を提案する。 DREAMは、一般的なデータセット蒸留フレームワークに簡単にプラグインでき、性能低下なしに蒸留イテレーションを8回以上減らすことができる。
  論文  参考訳（メタデータ） (2023-02-28T08:48:45Z)
• Saliency Grafting: Innocuous Attribution-Guided Mixup with Calibrated Label Mixing [104.630875328668]
  ミックスアップスキームは、強化されたトレーニングサンプルを作成するために、サンプルのペアを混ぜることを提案する。 両世界のベストを捉えた、斬新だがシンプルなミックスアップ版を提示する。
  論文  参考訳（メタデータ） (2021-12-16T11:27:48Z)
• Drawing Multiple Augmentation Samples Per Image During Training Efficiently Decreases Test Error [40.775934631782654]
  コンピュータビジョンでは、ミニバッチ内の各ユニークな画像に対して、データ拡張手順から1つのサンプルを描くのが一般的である。 画像毎に複数のサンプルを描画することで、小規模および大規模バッチトレーニングにおいて達成されるテスト精度が一貫して向上することがわかった。
  論文  参考訳（メタデータ） (2021-05-27T17:51:09Z)
• Set Based Stochastic Subsampling [85.5331107565578]
  本稿では,2段階間ニューラルサブサンプリングモデルを提案する。 画像分類,画像再構成,機能再構築,少数ショット分類など,様々なタスクにおいて,低いサブサンプリング率で関連ベースラインを上回っていることを示す。
  論文  参考訳（メタデータ） (2020-06-25T07:36:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。