論文の概要: Dataset Distillation Efficiently Encodes Low-Dimensional Representations from Gradient-Based Learning of Non-Linear Tasks

• arxiv url: http://arxiv.org/abs/2603.14830v1
• Date: Mon, 16 Mar 2026 05:14:34 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-03-17 16:19:36.063637
• Title: Dataset Distillation Efficiently Encodes Low-Dimensional Representations from Gradient-Based Learning of Non-Linear Tasks
• Title（参考訳）: 非線形タスクの勾配学習から低次元表現を効率的に符号化するデータセット蒸留
• Authors: Yuri Kinoshita, Naoki Nishikawa, Taro Toyoizumi,
• Abstract要約: 我々は,2層ニューラルネットワークの勾配に基づくトレーニングに応用したデータセット蒸留の実用的アルゴリズムをL$で解析した。 マルチインデックスモデルと呼ばれる非線形のタスク構造に着目して、問題の低次元構造が結果の蒸留データに効率的にエンコードされることを証明した。 このデータセットは、$tilde$$(r2d+L)$、$d$と$r$がタスクの入力および固有の次元であるために必要なメモリ複雑さのモデルを生成する。
• 参考スコア（独自算出の注目度）: 8.972144370022841
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Dataset distillation, a training-aware data compression technique, has recently attracted increasing attention as an effective tool for mitigating costs of optimization and data storage. However, progress remains largely empirical. Mechanisms underlying the extraction of task-relevant information from the training process and the efficient encoding of such information into synthetic data points remain elusive. In this paper, we theoretically analyze practical algorithms of dataset distillation applied to the gradient-based training of two-layer neural networks with width $L$. By focusing on a non-linear task structure called multi-index model, we prove that the low-dimensional structure of the problem is efficiently encoded into the resulting distilled data. This dataset reproduces a model with high generalization ability for a required memory complexity of $\tildeΘ$$(r^2d+L)$, where $d$ and $r$ are the input and intrinsic dimensions of the task. To the best of our knowledge, this is one of the first theoretical works that include a specific task structure, leverage its intrinsic dimensionality to quantify the compression rate and study dataset distillation implemented solely via gradient-based algorithms.
• Abstract（参考訳）: トレーニング対応データ圧縮技術であるデータセット蒸留は、最近、最適化とデータストレージのコスト軽減に有効なツールとして注目が集まっている。 しかし、進歩はいまだに実証的だ。 学習過程からタスク関連情報を抽出し、それらの情報を合成データポイントに効率的に符号化するメカニズムは、いまだ解明されていない。 本稿では,2層ニューラルネットワークの幅$L$の勾配に基づくトレーニングに応用したデータセット蒸留の実践的アルゴリズムを理論的に分析する。 マルチインデックスモデルと呼ばれる非線形なタスク構造に着目して、問題の低次元構造が結果の蒸留データに効率的にエンコードされることを証明した。 このデータセットは、要求されるメモリの複雑さに対して高い一般化能力を持つモデルを再現する。$\tilde:$(r^2d+L)$, $d$と$r$はタスクの入力および固有の次元である。 我々の知る限り、これは特定のタスク構造を含む最初の理論的研究の1つであり、その内在的な次元を利用して圧縮率を定量化し、勾配に基づくアルゴリズムでのみ実施されるデータセット蒸留を研究する。

関連論文リスト

• Understanding Data Influence with Differential Approximation [63.817689230826595]
  我々は,Diff-Inと呼ばれる連続学習ステップ間の影響の差を蓄積することにより,サンプルの影響を近似する新しい定式化を導入する。 2次近似を用いることで、これらの差分項を高精度に近似し、既存の手法で必要となるモデル凸性を排除した。 Diff-In は既存の影響推定器に比べて近似誤差が著しく低いことを示す。
  論文  参考訳（メタデータ） (2025-08-20T11:59:32Z)
• Dataset Distillation as Pushforward Optimal Quantization [2.5892916589735457]
  そこで本研究では,実データ上での学習に類似した性能を,桁違いに少ない計算量で実現した合成トレーニングセットを提案する。 特に、既存の非絡み合ったデータセット蒸留法を古典的最適量子化とワッサーシュタインのバリセンタ問題にリンクする。 我々は,ImageNet-1Kデータセットの性能向上とモデル間一般化を,より簡単な追加計算で実現し,より高階のイメージ・パー・クラス・セッティングにおけるSOTA性能を向上する。
  論文  参考訳（メタデータ） (2025-01-13T20:41:52Z)
• Going Beyond Feature Similarity: Effective Dataset Distillation based on Class-Aware Conditional Mutual Information [43.44508080585033]
  本稿では,データセットのクラス認識複雑性を評価するために,条件付き相互情報(CMI)を導入する。 合成データセットのクラス認識複雑性を制約しながら,蒸留損失を最小限に抑える。
  論文  参考訳（メタデータ） (2024-12-13T08:10:47Z)
• Koopcon: A new approach towards smarter and less complex learning [13.053285552524052]
  ビッグデータの時代、データセットの膨大な量と複雑さは、機械学習において大きな課題を引き起こします。 本稿では,クープマン演算子理論を背景とした,革新的オートエンコーダに基づくデータセット凝縮モデルを提案する。 人間の脳の予測的コーディング機構にインスパイアされた我々のモデルは、データをエンコードし再構成するための新しいアプローチを活用する。
  論文  参考訳（メタデータ） (2024-05-22T17:47:14Z)
• Dataset Quantization [72.61936019738076]
  大規模データセットを小さなサブセットに圧縮する新しいフレームワークであるデータセット量子化(DQ)を提案する。 DQは、ImageNet-1kのような大規模データセットを最先端圧縮比で蒸留する最初の方法である。
  論文  参考訳（メタデータ） (2023-08-21T07:24:29Z)
• Minimizing the Accumulated Trajectory Error to Improve Dataset Distillation [151.70234052015948]
  本稿では,フラットな軌道を求める最適化アルゴリズムを提案する。 合成データに基づいてトレーニングされた重みは、平坦な軌道への正規化を伴う累積誤差摂動に対して頑健であることを示す。 本手法はFTD (Flat Trajectory Distillation) と呼ばれ, 勾配整合法の性能を最大4.7%向上させる。
  論文  参考訳（メタデータ） (2022-11-20T15:49:11Z)
• Learning to Generate Synthetic Training Data using Gradient Matching and Implicit Differentiation [77.34726150561087]
  本稿では,深層ネットワークの訓練に要するデータ量を削減できる各種データ蒸留技術について検討する。 近年の考え方に触発されて, 生成的学習ネットワーク, 勾配マッチング, インプリシット関数理論に基づく新しいデータ蒸留手法を提案する。
  論文  参考訳（メタデータ） (2022-03-16T11:45:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。