論文の概要: Towards Stable and Storage-efficient Dataset Distillation: Matching Convexified Trajectory
- arxiv url: http://arxiv.org/abs/2406.19827v1
- Date: Fri, 28 Jun 2024 11:06:46 GMT
- ステータス: 処理完了
- システム内更新日: 2024-07-01 17:00:05.737382
- Title: Towards Stable and Storage-efficient Dataset Distillation: Matching Convexified Trajectory
- Title（参考訳）: 安定かつ貯蔵効率のよいデータセット蒸留を目指して:対流軌道の整合
- Authors: Wenliang Zhong, Haoyu Tang, Qinghai Zheng, Mingzhu Xu, Yupeng Hu, Liqiang Nie,
- Abstract要約: ディープラーニングと大規模言語モデルの急速な進化により、トレーニングデータの需要が指数関数的に増加した。
MTT(Matching Training Trajectories)は、専門家ネットワークのトレーニングトラジェクトリを、合成データセットで実データ上に複製する、顕著なアプローチである。
そこで本研究では,学生の軌道に対するより良いガイダンスを提供することを目的として,MCT (Matching Convexified Trajectory) と呼ばれる新しい手法を提案する。
- 参考スコア（独自算出の注目度）: 53.37473225728298
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: The rapid evolution of deep learning and large language models has led to an exponential growth in the demand for training data, prompting the development of Dataset Distillation methods to address the challenges of managing large datasets. Among these, Matching Training Trajectories (MTT) has been a prominent approach, which replicates the training trajectory of an expert network on real data with a synthetic dataset. However, our investigation found that this method suffers from three significant limitations: 1. Instability of expert trajectory generated by Stochastic Gradient Descent (SGD); 2. Low convergence speed of the distillation process; 3. High storage consumption of the expert trajectory. To address these issues, we offer a new perspective on understanding the essence of Dataset Distillation and MTT through a simple transformation of the objective function, and introduce a novel method called Matching Convexified Trajectory (MCT), which aims to provide better guidance for the student trajectory. MCT leverages insights from the linearized dynamics of Neural Tangent Kernel methods to create a convex combination of expert trajectories, guiding the student network to converge rapidly and stably. This trajectory is not only easier to store, but also enables a continuous sampling strategy during distillation, ensuring thorough learning and fitting of the entire expert trajectory. Comprehensive experiments across three public datasets validate the superiority of MCT over traditional MTT methods.
- Abstract（参考訳）: ディープラーニングと大規模言語モデルの急速な進化により、トレーニングデータの需要が指数関数的に増加し、大規模なデータセット管理の課題に対処するデータセット蒸留法の開発が進められている。
このうち、MTT(Matching Training Trajectories)は、専門家ネットワークのトレーニング軌跡を合成データセットで実データに再現する、顕著なアプローチである。
しかし,本手法の問題点は3つある。
1.SGD(Stochastic Gradient Descent)による専門家軌道の不安定性
2.蒸留工程の低収束速度
3.専門家軌道の高貯蔵量化
これらの課題に対処するために,目的関数の単純な変換を通じて,データセット蒸留とMTTの本質を理解するための新たな視点を提供し,学生軌道に対するより良いガイダンスを提供することを目的とした,MCT(Matching Convexified Trajectory)と呼ばれる新しい手法を導入する。
MCTはニューラル・タンジェント・カーネル法(Neural Tangent Kernel method)の線形化力学からの洞察を活用して、専門家の軌跡の凸結合を作成し、学生ネットワークを迅速かつ安定的に収束させる。
この軌道は保存が容易であるだけでなく、蒸留中の連続的なサンプリング戦略を可能にし、専門家の軌道全体の完全な学習と適合を確実にする。
3つの公開データセットにわたる総合的な実験は、従来の MTT 法よりも MCT の方が優れていることを検証している。
関連論文リスト
- Dataset Distillation by Automatic Training Trajectories [13.502303920701163]
本稿では, 軌道長NSを動的かつ適応的に調整し, 累積ミスマッチ問題(AMP)に対処する新しいアプローチであるATT(Automatic Training Trajectories)を提案する。
本手法は, クロスアーキテクチャを含むテストにおいて, 既存の手法よりも優れている。
論文 参考訳（メタデータ） (2024-07-19T12:27:11Z) - T-JEPA: A Joint-Embedding Predictive Architecture for Trajectory Similarity Computation [6.844357745770191]
軌道類似性計算は,様々なアプリケーション間での空間データの移動パターンを解析するための重要な手法である。
本稿では,JEPA(Joint-Embedding Predictive Architecture)を用いた自己教師付き軌道類似性手法T-JEPAを提案する。
論文 参考訳（メタデータ） (2024-06-13T09:51:51Z) - Federated Learning with Projected Trajectory Regularization [65.6266768678291]
フェデレーション学習は、ローカルデータを共有せずに、分散クライアントから機械学習モデルの共同トレーニングを可能にする。
連合学習における重要な課題の1つは、クライアントにまたがる識別できない分散データを扱うことである。
本稿では,データ問題に対処するための予測軌道正則化(FedPTR)を備えた新しいフェデレーション学習フレームワークを提案する。
論文 参考訳（メタデータ） (2023-12-22T02:12:08Z) - AST: Effective Dataset Distillation through Alignment with Smooth and
High-Quality Expert Trajectories [18.266786462036553]
我々は,Smoothと高品質なエキスパートトラジェクトリによるアライメントのための効果的なDDフレームワークASTを提案する。
さまざまなスケール、サイズ、解像度のデータセットに対して、広範な実験を行います。
論文 参考訳（メタデータ） (2023-10-16T16:13:53Z) - A Dimensional Structure based Knowledge Distillation Method for
Cross-Modal Learning [15.544134849816528]
簡単な作業から抽出した特徴を解析・観察することで特徴識別性と次元構造(DS)の相関を見いだす。
クロスモーダル・ナレッジ・蒸留法 (CMKD) を提案し, 教師付きクロスモーダル・ラーニング (CML) の性能向上を図る。
提案手法は, チャネル的に独立して, 中間的な特徴を均一に分散させることで, その精度を高めるために, 難易度から意味的に無関係な特徴を学習する。
論文 参考訳（メタデータ） (2023-06-28T07:29:26Z) - Minimizing the Accumulated Trajectory Error to Improve Dataset
Distillation [151.70234052015948]
本稿では,フラットな軌道を求める最適化アルゴリズムを提案する。
合成データに基づいてトレーニングされた重みは、平坦な軌道への正規化を伴う累積誤差摂動に対して頑健であることを示す。
本手法はFTD (Flat Trajectory Distillation) と呼ばれ, 勾配整合法の性能を最大4.7%向上させる。
論文 参考訳（メタデータ） (2022-11-20T15:49:11Z) - Pre-training General Trajectory Embeddings with Maximum Multi-view
Entropy Coding [36.18788551389281]
軌道埋め込みはタスク性能を向上させることができるが、高い計算コストを発生させ、限られたトレーニングデータ可用性に直面する可能性がある。
既存の軌道埋め込み手法は、特定の下流タスクに対するバイアスによる一般的な埋め込み学習の難しさに直面している。
一般的な包括的軌跡埋め込み学習のための多視点エントロピー符号化(MMTEC)を提案する。
論文 参考訳（メタデータ） (2022-07-29T08:16:20Z) - PreTraM: Self-Supervised Pre-training via Connecting Trajectory and Map [58.53373202647576]
軌道予測のための自己教師付き事前学習方式であるPreTraMを提案する。
1) トラジェクティブ・マップ・コントラクティブ・ラーニング(トラジェクティブ・コントラクティブ・ラーニング)、(2) トラジェクティブ・ラーニング(トラジェクティブ・コントラクティブ・ラーニング)、(2) トラジェクティブ・ラーニング(トラジェクティブ・ラーニング)、(2) トラジェクティブ・コントラクティブ・ラーニング(トラジェクティブ・ラーニング)、(2) トラジェクティブ・コントラクティブ・ラーニング(トラジェクティブ・ラーニング)の2つのパートから構成される。
AgentFormerやTrajectron++といった一般的なベースラインに加えて、PreTraMは、挑戦的なnuScenesデータセット上で、FDE-10でパフォーマンスを5.5%と6.9%向上させる。
論文 参考訳（メタデータ） (2022-04-21T23:01:21Z) - Dataset Distillation by Matching Training Trajectories [75.9031209877651]
そこで本研究では,実データと同じような状態にネットワークを誘導するために,蒸留データを最適化する新しい定式化を提案する。
ネットワークが与えられたら、蒸留データを何回か繰り返して訓練し、合成訓練されたパラメータと実データで訓練されたパラメータとの距離に関して蒸留データを最適化する。
本手法は既存の手法よりも優れており,高解像度の視覚データを蒸留することができる。
論文 参考訳（メタデータ） (2022-03-22T17:58:59Z) - Adversarial Imitation Learning with Trajectorial Augmentation and
Correction [61.924411952657756]
本稿では,拡張軌道の成功を保った新しい拡張手法を提案する。
我々は, 合成専門家を用いた模倣エージェントの訓練を行うために, 逆データ拡張模倣アーキテクチャを開発した。
実験により,我々のデータ拡張戦略は,敵対的模倣の精度と収束時間を向上できることが示された。
論文 参考訳（メタデータ） (2021-03-25T14:49:32Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。