論文の概要: Closed-Form Linear-Probe Dataset Distillation for Pre-trained Vision Models

• arxiv url: http://arxiv.org/abs/2605.07194v1
• Date: Fri, 08 May 2026 03:41:51 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-11 19:43:38.778875
• Title: Closed-Form Linear-Probe Dataset Distillation for Pre-trained Vision Models
• Title（参考訳）: 事前学習ビジョンモデルのための閉形線形プローブデータセット蒸留法
• Authors: Bincheng Peng, Guang Li, Ping Liu, Takahiro Ogawa, Miki Haseyama,
• Abstract要約: サンプル空間カーネルリッジソルバを用いて合成集合によって誘導される線形プローブを計算する閉形式定式化を提案する。 事前訓練された4つのバックボーンを持つImageNet-100では、CLP-DDはDSAなしでLGMよりも大幅に改善され、計算コストのごく一部でDSAでLGMにアプローチする。 ImageNet-1Kでは、CLP-DDが4つのバックボーンのうち3つでLGMとDSAをマッチまたはオーバーし、約14時間で動作し、GPUメモリの8分の1以下を使用する。
• 参考スコア（独自算出の注目度）: 37.194177406897964
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Dataset distillation compresses a large training set into a small synthetic set that preserves downstream training utility. While most existing methods target training networks from scratch, modern visual transfer learning often uses frozen pre-trained encoders followed by lightweight linear probing. Existing distillation methods for this setting either unroll iterative linear-probe updates with trajectory-based gradient matching, or rely on closed-form formulations originally designed for from-scratch training with neural-tangent-kernel (NTK) approximations. Neither route exploits the fact that frozen-feature linear probing admits a closed-form solution determined directly by the pre-trained features themselves, with no infinite-width approximation and no inner-loop trajectory. We propose Closed-Form Linear-Probe Dataset Distillation (CLP-DD), a bilevel formulation that computes the linear probe induced by the synthetic set with a sample-space kernel ridge solver. The synthetic images are then updated by evaluating this induced classifier on real features through a temperature-scaled softmax cross-entropy, where the classifier columns act as learned class anchors in feature space. We further show that the choice of outer objective is decisive: pairing the closed-form inner solver with a standard MSE outer loss substantially underperforms trajectory-based methods, while the discriminative outer loss closes most of the gap. On ImageNet-100 with four pre-trained backbones, CLP-DD substantially improves over LGM without DSA and approaches LGM with DSA at a fraction of the computational cost. On ImageNet-1K, CLP-DD matches or surpasses LGM with DSA on three of four backbones while running roughly $14\times$ faster and using less than one-eighth of the GPU memory.
• Abstract（参考訳）: データセット蒸留は、下流トレーニングユーティリティを保持する小さな合成セットに大規模なトレーニングセットを圧縮する。 既存のほとんどの手法は、スクラッチからトレーニングネットワークをターゲットにしているが、現代のビジュアルトランスファー学習では、凍結した事前学習エンコーダを使用し、続いて軽量な線形探索を行うことが多い。 既存の蒸留法は、トラジェクトリに基づく勾配マッチングによる反復線形プローブ更新をアンロールするか、ニューラルタングエントカーネル(NTK)近似を用いたオフスクラッチトレーニング用に設計されたクローズドフォームの定式化に依存している。 いずれの経路も、凍結状態の線形プローブは、事前訓練された特徴自体によって直接決定される閉形式解を認めず、無限幅近似もインナーループ軌道も含まないという事実を生かしていない。 本研究では, サンプル空間のカーネルリッジソルバを用いて, 合成集合によって誘導される線形プローブを2レベルに定式化したCLP-DDを提案する。 合成画像は、温度スケールのソフトマックスクロスエントロピーを用いて、この誘導型分類器を実際の特徴に基づいて評価することにより更新され、特徴空間における学習されたクラスアンカーとして機能する。 さらに, 閉形内部解法と標準MSE外損失とのペアリングは, トラジェクトリに基づく手法を著しく過小評価する一方, 識別的外損失はギャップの大部分を閉じる。 事前訓練された4つのバックボーンを持つImageNet-100では、CLP-DDはDSAなしでLGMよりも大幅に改善され、計算コストのごく一部でDSAでLGMにアプローチする。 ImageNet-1Kでは、CLP-DDが4つのバックボーンのうち3つでLGMとDSAをマッチまたはオーバーし、約14\times$で実行し、GPUメモリの8分の1以下を使用する。

関連論文リスト

• Hybrid Iterative Neural Low-Regularity Integrator for Nonlinear Dispersive Equations [0.0]
  HIN-LRIは、古典的な数値解法をニューラルネットワークで拡張し、解法の構造化トランケーション誤差を補正するハイブリッドフレームワークである。 低次元の潜在多様体上で動作する軽量ニューラルネットワークは、分析手法が閉じられない残留欠陥を学習する。 実験により、HIN-LRIは解析的、分割的手法、神経的PDEサロゲートよりも精度を向上し、安定した空間的精細化、効果的なアウト・オブ・ディストリビューション転送、オンラインオーバーヘッドを緩和することが示された。
  論文  参考訳（メタデータ） (2026-05-06T12:50:36Z)
• ManifoldGD: Training-Free Hierarchical Manifold Guidance for Diffusion-Based Dataset Distillation [9.230247128710865]
  本稿では,各段階における多様体一貫したガイダンスを統合した,学習自由拡散に基づくフレームワークを提案する。 ManifoldGDは、モデルの再トレーニングを必要とせずに、代表性、多様性、画像の忠実性を改善する。
  論文  参考訳（メタデータ） (2026-02-26T18:07:10Z)
• Parallel Diffusion Solver via Residual Dirichlet Policy Optimization [88.7827307535107]
  拡散モデル(DM)は、最先端の生成性能を達成したが、シーケンシャルなデノナイジング特性のため、高いサンプリング遅延に悩まされている。 既存のソルバベースの加速度法では、低次元の予算で画像品質が著しく低下することが多い。 本研究では,各ステップに複数の勾配並列評価を組み込んだ新しいODE解法であるEnsemble Parallel Directionsolvr(EPD-EPr)を提案する。
  論文  参考訳（メタデータ） (2025-12-28T05:48:55Z)
• FFT-based Dynamic Subspace Selection for Low-Rank Adaptive Optimization of Large Language Models [49.397861654088636]
  低次元空間へのSVD/QRベースの勾配射影を近似する2段階の手順を提案する。 当社の戦略はランタイムの高速化とメモリ使用量の削減を,さまざまなモデルサイズで最大25%削減できることが示されています。
  論文  参考訳（メタデータ） (2025-05-23T14:37:00Z)
• Dataset Distillation as Pushforward Optimal Quantization [2.5892916589735457]
  そこで本研究では,実データ上での学習に類似した性能を,桁違いに少ない計算量で実現した合成トレーニングセットを提案する。 特に、既存の非絡み合ったデータセット蒸留法を古典的最適量子化とワッサーシュタインのバリセンタ問題にリンクする。 我々は,ImageNet-1Kデータセットの性能向上とモデル間一般化を,より簡単な追加計算で実現し,より高階のイメージ・パー・クラス・セッティングにおけるSOTA性能を向上する。
  論文  参考訳（メタデータ） (2025-01-13T20:41:52Z)
• Stabilizing Linear Passive-Aggressive Online Learning with Weighted Reservoir Sampling [46.01254613933967]
  オンライン学習手法は、高次元ストリーミングデータ、アウトオブコア処理、その他のスループットに敏感なアプリケーションに依然として有効である。 このようなアルゴリズムの多くは、その収束の鍵として個々のエラーへの高速な適応に依存している。 このようなアルゴリズムは理論上の後悔は少ないが、現実の展開では個々の外れ値に敏感であり、アルゴリズムが過度に修正される可能性がある。
  論文  参考訳（メタデータ） (2024-10-31T03:35:48Z)
• Unfolding Projection-free SDP Relaxation of Binary Graph Classifier via GDPA Linearization [59.87663954467815]
  アルゴリズムの展開は、モデルベースのアルゴリズムの各イテレーションをニューラルネットワーク層として実装することにより、解釈可能で類似のニューラルネットワークアーキテクチャを生成する。 本稿では、Gershgorin disc perfect alignment (GDPA)と呼ばれる最近の線形代数定理を利用して、二進グラフの半定値プログラミング緩和(SDR)のためのプロジェクションフリーアルゴリズムをアンロールする。 実験結果から,我々の未学習ネットワークは純粋モデルベースグラフ分類器よりも優れ,純粋データ駆動ネットワークに匹敵する性能を示したが,パラメータははるかに少なかった。
  論文  参考訳（メタデータ） (2021-09-10T07:01:15Z)
• Learning to Optimize Non-Rigid Tracking [54.94145312763044]
  我々は、堅牢性を改善し、解法収束を高速化するために学習可能な最適化を採用する。 まず、CNNを通じてエンドツーエンドに学習された深い特徴にアライメントデータ項を統合することにより、追跡対象をアップグレードする。 次に,プレコンディショニング手法と学習手法のギャップを,プレコンディショナを生成するためにトレーニングされたConditionNetを導入することで埋める。
  論文  参考訳（メタデータ） (2020-03-27T04:40:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。