論文の概要: Condensing Graphs via One-Step Gradient Matching

• arxiv url: http://arxiv.org/abs/2206.07746v1
• Date: Wed, 15 Jun 2022 18:20:01 GMT
• ステータス: 処理完了
• システム内更新日: 2022-06-17 14:04:37.035195
• Title: Condensing Graphs via One-Step Gradient Matching
• Title（参考訳）: 1ステップ勾配マッチングによる凝縮グラフ
• Authors: Wei Jin, Xianfeng Tang, Haoming Jiang, Zheng Li, Danqing Zhang, Jiliang Tang, Bin Ying
• Abstract要約: ネットワーク重みを訓練せずに1ステップのみの勾配マッチングを行う1ステップ勾配マッチング方式を提案する。 我々の理論的分析は、この戦略が実際のグラフの分類損失を減少させる合成グラフを生成することができることを示している。 特に、元のパフォーマンスの最大98%を近似しながら、データセットサイズを90%削減することが可能です。
• 参考スコア（独自算出の注目度）: 50.07587238142548
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: As training deep learning models on large dataset takes a lot of time and resources, it is desired to construct a small synthetic dataset with which we can train deep learning models sufficiently. There are recent works that have explored solutions on condensing image datasets through complex bi-level optimization. For instance, dataset condensation (DC) matches network gradients w.r.t. large-real data and small-synthetic data, where the network weights are optimized for multiple steps at each outer iteration. However, existing approaches have their inherent limitations: (1) they are not directly applicable to graphs where the data is discrete; and (2) the condensation process is computationally expensive due to the involved nested optimization. To bridge the gap, we investigate efficient dataset condensation tailored for graph datasets where we model the discrete graph structure as a probabilistic model. We further propose a one-step gradient matching scheme, which performs gradient matching for only one single step without training the network weights. Our theoretical analysis shows this strategy can generate synthetic graphs that lead to lower classification loss on real graphs. Extensive experiments on various graph datasets demonstrate the effectiveness and efficiency of the proposed method. In particular, we are able to reduce the dataset size by 90% while approximating up to 98% of the original performance and our method is significantly faster than multi-step gradient matching (e.g. 15x in CIFAR10 for synthesizing 500 graphs).
• Abstract（参考訳）: 大規模データセット上でのディープラーニングモデルのトレーニングには多くの時間とリソースを要するため,ディープラーニングモデルを十分にトレーニング可能な,小さな合成データセットの構築が望まれる。 複雑なbiレベル最適化による画像データセットの凝縮に関するソリューションを探求した最近の研究がある。 例えば、データセット凝縮 (dc) は、ネットワーク勾配 w.r.t. large-real data と small-synthetic data に一致する。 しかし、既存のアプローチには固有の制限がある: (1) データは離散的なグラフに直接適用されない; (2) 凝縮過程は入れ子最適化にかかわるため計算的に高価である。 このギャップを埋めるために、離散グラフ構造を確率論的モデルとしてモデル化したグラフデータセットに適した効率的なデータセット凝縮について検討する。 さらに,ネットワーク重みを訓練することなく,一段階のみの勾配マッチングを行う一段階勾配マッチング方式を提案する。 理論解析の結果、この戦略は実グラフの分類損失を減少させる合成グラフを生成できることが示されている。 各種グラフデータセットに対する実験により,提案手法の有効性と有効性を示す。 特に、元の性能の最大98%を近似しながらデータセットサイズを90%削減することができ、本手法は多段階勾配マッチング(例えば、500グラフを合成するCIFAR10の15倍)よりも大幅に高速である。

関連論文リスト

• Dataset Distillation as Pushforward Optimal Quantization [1.039189397779466]
  そこで本稿では,ImageNet-1Kデータセットの性能向上を目的とした,最先端データ蒸留法D4Mの簡易拡張を提案する。 エンコーダ・デコーダ構造を組み込んだ場合、実験的に成功した不整合法を最適な量子化問題として再定義できることを実証する。 特に, 既存の不整合データセット蒸留法を古典的最適量子化法とワッサーシュタインバリセンタ問題にリンクし, 拡散型生成前処理のための蒸留データセットの整合性を示す。
  論文  参考訳（メタデータ） (2025-01-13T20:41:52Z)
• Bi-Directional Multi-Scale Graph Dataset Condensation via Information Bottleneck [10.680304093708147]
  本稿では,新しいGNN中心の双方向マルチスケールグラフデータセット圧縮フレームワークを提案する。 本稿では,マルチスケールグラフ凝縮のための大規模・小・小の双方を対象とする統一パラダイムについて検討する。
  論文  参考訳（メタデータ） (2024-12-23T07:32:02Z)
• Predictive Query-based Pipeline for Graph Data [0.0]
  グラフ埋め込み技術は大規模グラフの解析と処理を単純化する。 GraphSAGE、Node2Vec、FastRPといったいくつかのアプローチは、グラフの埋め込みを生成する効率的な方法を提供する。 埋め込みをノード特性として保存することにより、異なる埋め込み技術を比較し、それらの有効性を評価することができる。
  論文  参考訳（メタデータ） (2024-12-13T08:03:57Z)
• Teddy: Efficient Large-Scale Dataset Distillation via Taylor-Approximated Matching [74.75248610868685]
  Teddyは、大規模なデータセットを扱うように設計されたTaylor近似データセット蒸留フレームワークである。 TeddyはTiny-ImageNetとオリジナルサイズのImageNet-1Kデータセット上で、最先端の効率性とパフォーマンスを実現する。
  論文  参考訳（メタデータ） (2024-10-10T03:28:46Z)
• Improved Distribution Matching for Dataset Condensation [91.55972945798531]
  本稿では,分布マッチングに基づく新しいデータセット凝縮法を提案する。 提案手法は,計算資源の少ない従来の最適化指向手法よりも優れている。
  論文  参考訳（メタデータ） (2023-07-19T04:07:33Z)
• Learnable Graph Matching: A Practical Paradigm for Data Association [74.28753343714858]
  これらの問題に対処するための一般的な学習可能なグラフマッチング法を提案する。 提案手法は,複数のMOTデータセット上での最先端性能を実現する。 画像マッチングでは,一般的な屋内データセットであるScanNetで最先端の手法より優れている。
  論文  参考訳（メタデータ） (2023-03-27T17:39:00Z)
• Delving into Effective Gradient Matching for Dataset Condensation [13.75957901381024]
  勾配マッチング法は、元のデータセットと合成データセットのトレーニング時に勾配をマッチングすることで、トレーニングダイナミクスを直接ターゲットとする。 クラス内勾配情報とクラス間勾配情報の両方を含む多段階勾配情報とを一致させることを提案する。 アルゴリズムの効率向上のための不要な最適化ステップをトリムするために、過適合適応学習ステップ戦略も提案されている。
  論文  参考訳（メタデータ） (2022-07-30T21:31:10Z)
• Optimal Propagation for Graph Neural Networks [51.08426265813481]
  最適グラフ構造を学習するための二段階最適化手法を提案する。 また、時間的複雑さをさらに軽減するために、低ランク近似モデルについても検討する。
  論文  参考訳（メタデータ） (2022-05-06T03:37:00Z)
• Learnable Graph Matching: Incorporating Graph Partitioning with Deep Feature Learning for Multiple Object Tracking [58.30147362745852]
  フレーム間のデータアソシエーションは、Multiple Object Tracking(MOT)タスクの中核にある。 既存の手法は、主にトラックレットとフレーム内検出の間のコンテキスト情報を無視する。 そこで本研究では,学習可能なグラフマッチング手法を提案する。
  論文  参考訳（メタデータ） (2021-03-30T08:58:45Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。