論文の概要: Neural Spectral Decomposition for Dataset Distillation

• arxiv url: http://arxiv.org/abs/2408.16236v1
• Date: Thu, 29 Aug 2024 03:26:14 GMT
• ステータス: 処理完了
• システム内更新日: 2024-08-30 15:05:40.516503
• Title: Neural Spectral Decomposition for Dataset Distillation
• Title（参考訳）: データセット蒸留のためのニューラルスペクトル分解
• Authors: Shaolei Yang, Shen Cheng, Mingbo Hong, Haoqiang Fan, Xing Wei, Shuaicheng Liu,
• Abstract要約: 本稿では,データセット蒸留のための一般的な分解フレームワークであるニューラルスペクトル分解を提案する。 本研究の目的は,データセット全体の低ランク表現を発見し,効率的に蒸留を行うことである。 提案手法はCIFAR10, CIFAR100, Tiny Imagenet, ImageNet Subsetなどのベンチマーク上での最先端性能を実現する。
• 参考スコア（独自算出の注目度）: 48.59372086450124
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In this paper, we propose Neural Spectrum Decomposition, a generic decomposition framework for dataset distillation. Unlike previous methods, we consider the entire dataset as a high-dimensional observation that is low-rank across all dimensions. We aim to discover the low-rank representation of the entire dataset and perform distillation efficiently. Toward this end, we learn a set of spectrum tensors and transformation matrices, which, through simple matrix multiplication, reconstruct the data distribution. Specifically, a spectrum tensor can be mapped back to the image space by a transformation matrix, and efficient information sharing during the distillation learning process is achieved through pairwise combinations of different spectrum vectors and transformation matrices. Furthermore, we integrate a trajectory matching optimization method guided by a real distribution. Our experimental results demonstrate that our approach achieves state-of-the-art performance on benchmarks, including CIFAR10, CIFAR100, Tiny Imagenet, and ImageNet Subset. Our code are available at \url{https://github.com/slyang2021/NSD}.
• Abstract（参考訳）: 本稿では,データセット蒸留のための一般的な分解フレームワークであるニューラルスペクトル分解を提案する。 従来の手法とは異なり、データセット全体を全次元にわたって低ランクの高次元観察と見なす。 本研究の目的は,データセット全体の低ランク表現を発見し,効率的に蒸留を行うことである。 この目的のために、スペクトルテンソルと変換行列の集合を学び、単純な行列乗算によってデータ分布を再構成する。 具体的には、スペクトルテンソルを変換行列で画像空間にマッピングし、異なるスペクトルベクトルと変換行列のペア結合により蒸留学習過程における効率的な情報共有を実現する。 さらに,実分布で導かれる軌道整合最適化手法を統合する。 実験の結果,CIFAR10, CIFAR100, Tiny Imagenet, ImageNet Subset など,ベンチマークの最先端性能が得られた。 私たちのコードは \url{https://github.com/slyang2021/NSD} で利用可能です。

関連論文リスト

• Graph Generation via Spectral Diffusion [51.60814773299899]
  本稿では,1)グラフラプラシア行列のスペクトル分解と2)拡散過程に基づく新しいグラフ生成モデルGRASPを提案する。 具体的には、固有ベクトルと固有値のサンプリングにデノナイジングモデルを用い、グラフラプラシアン行列と隣接行列を再構成する。 我々の置換不変モデルは各ノードの固有ベクトルに連結することでノードの特徴を扱える。
  論文  参考訳（メタデータ） (2024-02-29T09:26:46Z)
• Datacube segmentation via Deep Spectral Clustering [76.48544221010424]
  拡張ビジョン技術は、しばしばその解釈に挑戦する。 データ立方体スペクトルの巨大な次元性は、その統計的解釈において複雑なタスクを生じさせる。 本稿では,符号化空間における教師なしクラスタリング手法の適用の可能性について検討する。 統計的次元削減はアドホック訓練(可変)オートエンコーダで行い、クラスタリング処理は(学習可能な)反復K-Meansクラスタリングアルゴリズムで行う。
  論文  参考訳（メタデータ） (2024-01-31T09:31:28Z)
• Dataset Distillation with Convexified Implicit Gradients [69.16247946639233]
  メタ段階更新の計算に暗黙の勾配を効果的に利用できるかを示す。 さらに,凍結した有限幅ニューラルネットワーク上での学習に対応する凸近似をアルゴリズムに装備する。
  論文  参考訳（メタデータ） (2023-02-13T23:53:16Z)
• Orthonormal Convolutions for the Rotation Based Iterative Gaussianization [64.44661342486434]
  本稿では、画像ガウス化を可能にする回転型反復ガウス化RBIGの拡張について詳述する。 RBIGの回転は主成分分析や独立成分分析に基づくため、画像では小さな画像パッチや孤立画素に制限されている。 emphConvolutional RBIG:この問題を緩和する拡張として,RBIGの回転が畳み込みであることを示す。
  論文  参考訳（メタデータ） (2022-06-08T12:56:34Z)
• SUMD: Super U-shaped Matrix Decomposition Convolutional neural network for Image denoising [0.0]
  ネットワークに行列分解モジュール(MD)を導入し,グローバルなコンテキスト機能を確立する。 U字型アーキテクチャの多段階的プログレッシブ復元の設計に触発されて,MDモジュールをマルチブランチに統合する。 我々のモデル(SUMD)は、Transformerベースの手法で、同等の視覚的品質と精度が得られる。
  論文  参考訳（メタデータ） (2022-04-11T04:38:34Z)
• Regularization by Denoising Sub-sampled Newton Method for Spectral CT Multi-Material Decomposition [78.37855832568569]
  スペクトルctを用いたマルチマテリアル画像再構成のためのモデルベース最大後課題の解決法を提案する。 特に,プラグイン画像復号化機能に基づく正規化最適化問題について提案する。 スペクトルct材料分解の数値的および実験的結果を示す。
  論文  参考訳（メタデータ） (2021-03-25T15:20:10Z)
• LADMM-Net: An Unrolled Deep Network For Spectral Image Fusion From Compressive Data [6.230751621285322]
  ハイパースペクトル(HS)およびマルチスペクトル(MS)画像融合は、低空間分解能HS画像と低スペクトル分解能MS画像から高分解能スペクトル画像を推定することを目的とする。 本研究では,HSおよびMS圧縮測定による融合問題の解法として,アルゴリズムアンロール法に基づくディープラーニングアーキテクチャを提案する。
  論文  参考訳（メタデータ） (2021-03-01T12:04:42Z)
• Hyperspectral Image Denoising with Partially Orthogonal Matrix Vector Tensor Factorization [42.56231647066719]
  ハイパースペクトル画像(HSI)は、スペクトルの余分な情報により、様々な用途の自然画像に対していくつかの利点がある。 買収の間、しばしばガウシアンノイズ、インパルスノイズ、期限、ストライプなどの厳しい騒音によって汚染される。 本研究では,スムーズかつロバストな低ランクテンソルリカバリというHSI復元手法を提案する。
  論文  参考訳（メタデータ） (2020-06-29T02:10:07Z)
• Deeply Learned Spectral Total Variation Decomposition [8.679020335206753]
  非線形スペクトル分解のニューラルネットワーク近似を提案する。 我々は、メガピクセルサイズの画像の処理において最大4桁(時間1万ドル)のスピードアップを報告した。
  論文  参考訳（メタデータ） (2020-06-17T17:10:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。