論文の概要: The Composition Gap in Dataset Distillation

• arxiv url: http://arxiv.org/abs/2609.34343v1
• Date: Mon, 28 Sep 2026 05:20:53 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-03 21:43:33.196457
• Title: The Composition Gap in Dataset Distillation
• Title（参考訳）: データセット蒸留における組成ギャップ
• Abstract要約: データガバナンス設定では、複数のパーティが自身のデータを蒸留し、ユーザがユニオンでトレーニングする。 別々に蒸留した集合の結合が、実際のデータ構成可能性の結合に関する訓練を再現するかどうかを問う。 全ての原料が正確に蒸留されても失敗する可能性を示し、全予算で正確なジョイント蒸留が認められることを示す。
• 参考スコア（独自算出の注目度）: 40.03795647692693
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Dataset distillation compresses a training set into a small synthetic set, usually evaluated one at a time. In federated and data-governance settings, several parties distill their own data and a user trains on their union. We ask whether the union of separately distilled sets reproduces training on the union of the real data composability and show that it can fail even when every source is distilled exactly and the total budget admits an exact joint distillate. Compressing a training trajectory into fewer steps transforms the source statistics nonlinearly, so averaging compressed sources differs from compressing their average. For quadratic objectives we derive the exact composition error for two-to-one step compression in terms of the source-Hessian variance and the linear terms of the losses, and on a smooth network at small step sizes this prediction captures the local endpoint discrepancy in magnitude and direction. For learned synthetic sets, however, the composed error decomposes exactly into this local discrepancy and an aggregate source residual. Under endpoint matching the residual exceeds the structural term by more than an order of magnitude, and under distribution matching the two terms partly cancel. Joint distillation also retains an accuracy advantage when both sets are distilled from the same dataset, where the local discrepancy is exactly zero. Training fidelity and downstream accuracy are therefore distinct requirements, neither established by evaluating each set on its own.
• Abstract（参考訳）: データセット蒸留は、トレーニングセットを小さな合成セットに圧縮し、通常は一度に1つ評価する。 フェデレーションとデータガバナンスの設定では、いくつかのパーティが独自のデータを蒸留し、利用者がユニオンでトレーニングする。 別々に蒸留した集合の結合が実際のデータ構成性の結合の訓練を再現するかどうかを問うとともに、全ての源が正確に蒸留され、総予算が正確な共同蒸留を許可された場合でも失敗することを示す。 トレーニング軌道をより少ないステップに圧縮することは、ソース統計を非線形に変換するので、圧縮されたソースの平均は、平均を圧縮することとは異なる。 2段階の目的に対して、ソース・ヘッセン分散と損失の線形項の2段階圧縮の正確な構成誤差を導出し、小さなステップサイズのスムーズなネットワーク上で、この予測は大きさと方向の局所的なエンドポイントの差を捉える。 しかし、学習された合成集合に対して、合成された誤差は、この局所的な相違と集合源残差に正確に分解される。 エンドポイントマッチングの下では、残余は構造項を桁違いに超え、分布マッチングでは2項を部分的にキャンセルする。 合同蒸留は、両方の集合が同じデータセットから蒸留されるときにも精度上の利点を保ち、局所的な差は正確にゼロである。 したがって、トレーニングの忠実度と下流の精度は異なる要件であり、それぞれのセットを個別に評価することによって確立されるものではない。

関連論文リスト

• Recovering Governing Dynamics from Distributed Observations via Exact Spline Merging [0.0]
  本稿ではこの設定に2つの貢献をする。 固定基底リッジ回帰統計の確立された付加構造を適用した。 完全なパイプラインは、分散観察と物理パラメータ推論を結合する。
  論文  参考訳（メタデータ） (2026-09-15T03:25:06Z)
• The Loss Floor of Denoising Score Matching: Fisher Geometry from Schrödinger Bridges [4.661816556403101]
  弱正則性仮定の下での一般的な汚職核について、これは条件付き終点族のフィッシャー・ラオ計量のトレースであることを示す。 この結果は、過度な経路空間相対エントロピーとして理想的目的が生じるシュル・オーディンガー橋変分原理から導かれる。
  論文  参考訳（メタデータ） (2026-08-24T23:48:06Z)
• PIcsC: Partitioning-Induced Covariate Shift Correction [4.266675330597196]
  本稿では,データ分割と参照分布間の分散ミスマッチを緩和するフィッシャー情報に基づく正規化フレームワークを提案する。 textttPIcsCはFisher Information Matrix (FIM) を用いて分割のばらつきを近似し、その結果の統計を最適化中に正規化器として組み込む。
  論文  参考訳（メタデータ） (2026-07-28T08:33:04Z)
• Distributionally Faithful Imputation via Positive Semi-Definite Kernel Density Estimation [55.47411235954028]
  マスク観測による密度推定では,不規則に不規則に不規則な計算を行う。 我々は,ニュートン内点法で解ける閉じた形状の辺縁を持つ凸型経験的リスク問題を得る。 結果のPSDインプットモデルでは、同一の入射密度から単一および多重インプットが得られる。
  論文  参考訳（メタデータ） (2026-07-08T15:51:05Z)
• When Sample Selection Bias Precipitates Model Collapse [18.23682629353108]
  各検証器が対象多様体の小さな、断片化され、偏りのあるスライスのみを観測する低リソース検証方式において、選択自体がバイアスとなることを示す。 このようなサイロ選択が崩壊を加速し、パワー・ローの多様性の崩壊を引き起こすことを理論的に証明する。
  論文  参考訳（メタデータ） (2026-06-11T11:49:39Z)
• Density-Ratio Losses for Post-Hoc Learning to Defer [61.81110533670321]
  理想分布のレンズを用いて,ポストホック学習からデファー(L2D)までの研究を行った。 モデルと専門家のイデアルの間の密度比を通じて、deferralを定義します。 次に、ディフェラル決定はスコアを閾値付けすることで行われ、deferral rateは再トレーニングせずに調整される。
  論文  参考訳（メタデータ） (2026-05-19T08:56:23Z)
• Collaborative Heterogeneous Causal Inference Beyond Meta-analysis [68.4474531911361]
  異種データを用いた因果推論のための協調的逆確率スコア推定器を提案する。 異質性の増加に伴うメタアナリシスに基づく手法に対して,本手法は有意な改善を示した。
  論文  参考訳（メタデータ） (2024-04-24T09:04:36Z)
• Dataset Distillation Meets Provable Subset Selection [14.158845925610438]
  データセット蒸留は、大規模なトレーニングデータセットを、その性能を維持する小さな合成データセットに圧縮するために提案されている。 本稿では, 重要点を特定し, 余剰点を除去することにより, 蒸留セットを初期化するための, 実証可能なサンプリングベースアプローチを提案する。 さらに,次のバッチをランダムにサンプリングするのではなく,''サンプル点の蒸留セットをトレーニングすることで,データセットの蒸留とデータサブセット選択のアイデアを融合する。
  論文  参考訳（メタデータ） (2023-07-16T15:58:19Z)
• On the Size and Approximation Error of Distilled Sets [57.61696480305911]
  カーネル・インジェクション・ポイント(Kernel Inducing Points)などのデータセット蒸留のカーネル・リッジ回帰に基づく手法について理論的に考察する。 我々は、RFF空間におけるその解が元のデータの解と一致するように、元の入力空間に小さな一組のインスタンスが存在することを証明した。 KRR溶液は、全入力データに最適化されたKRR溶液に対して近似を与えるこの蒸留されたインスタンスセットを用いて生成することができる。
  論文  参考訳（メタデータ） (2023-05-23T14:37:43Z)
• Distribution-free binary classification: prediction sets, confidence intervals and calibration [106.50279469344937]
  分布自由条件における二項分類のための不確実性定量化(キャリブレーション、信頼区間、予測セット)の3つの概念について検討する。 固定幅と一様質量の両双対の双対確率に対する信頼区間を導出する。 我々の「三脚」定理の結果として、双有理確率に対するこれらの信頼区間は分布自由キャリブレーションに繋がる。
  論文  参考訳（メタデータ） (2020-06-18T14:17:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。