論文の概要: Condensing Graphs via One-Step Gradient Matching

• arxiv url: http://arxiv.org/abs/2206.07746v1
• Date: Wed, 15 Jun 2022 18:20:01 GMT
• ステータス: 処理完了
• システム内更新日: 2022-06-17 14:04:37.035195
• Title: Condensing Graphs via One-Step Gradient Matching
• Title（参考訳）: 1ステップ勾配マッチングによる凝縮グラフ
• Authors: Wei Jin, Xianfeng Tang, Haoming Jiang, Zheng Li, Danqing Zhang, Jiliang Tang, Bin Ying
• Abstract要約: ネットワーク重みを訓練せずに1ステップのみの勾配マッチングを行う1ステップ勾配マッチング方式を提案する。 我々の理論的分析は、この戦略が実際のグラフの分類損失を減少させる合成グラフを生成することができることを示している。 特に、元のパフォーマンスの最大98%を近似しながら、データセットサイズを90%削減することが可能です。
• 参考スコア（独自算出の注目度）: 50.07587238142548
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: As training deep learning models on large dataset takes a lot of time and resources, it is desired to construct a small synthetic dataset with which we can train deep learning models sufficiently. There are recent works that have explored solutions on condensing image datasets through complex bi-level optimization. For instance, dataset condensation (DC) matches network gradients w.r.t. large-real data and small-synthetic data, where the network weights are optimized for multiple steps at each outer iteration. However, existing approaches have their inherent limitations: (1) they are not directly applicable to graphs where the data is discrete; and (2) the condensation process is computationally expensive due to the involved nested optimization. To bridge the gap, we investigate efficient dataset condensation tailored for graph datasets where we model the discrete graph structure as a probabilistic model. We further propose a one-step gradient matching scheme, which performs gradient matching for only one single step without training the network weights. Our theoretical analysis shows this strategy can generate synthetic graphs that lead to lower classification loss on real graphs. Extensive experiments on various graph datasets demonstrate the effectiveness and efficiency of the proposed method. In particular, we are able to reduce the dataset size by 90% while approximating up to 98% of the original performance and our method is significantly faster than multi-step gradient matching (e.g. 15x in CIFAR10 for synthesizing 500 graphs).
• Abstract（参考訳）: 大規模データセット上でのディープラーニングモデルのトレーニングには多くの時間とリソースを要するため,ディープラーニングモデルを十分にトレーニング可能な,小さな合成データセットの構築が望まれる。 複雑なbiレベル最適化による画像データセットの凝縮に関するソリューションを探求した最近の研究がある。 例えば、データセット凝縮 (dc) は、ネットワーク勾配 w.r.t. large-real data と small-synthetic data に一致する。 しかし、既存のアプローチには固有の制限がある: (1) データは離散的なグラフに直接適用されない; (2) 凝縮過程は入れ子最適化にかかわるため計算的に高価である。 このギャップを埋めるために、離散グラフ構造を確率論的モデルとしてモデル化したグラフデータセットに適した効率的なデータセット凝縮について検討する。 さらに,ネットワーク重みを訓練することなく,一段階のみの勾配マッチングを行う一段階勾配マッチング方式を提案する。 理論解析の結果、この戦略は実グラフの分類損失を減少させる合成グラフを生成できることが示されている。 各種グラフデータセットに対する実験により,提案手法の有効性と有効性を示す。 特に、元の性能の最大98%を近似しながらデータセットサイズを90%削減することができ、本手法は多段階勾配マッチング(例えば、500グラフを合成するCIFAR10の15倍)よりも大幅に高速である。

関連論文リスト

• Teddy: Efficient Large-Scale Dataset Distillation via Taylor-Approximated Matching [74.75248610868685]
  Teddyは、大規模なデータセットを扱うように設計されたTaylor近似データセット蒸留フレームワークである。 TeddyはTiny-ImageNetとオリジナルサイズのImageNet-1Kデータセット上で、最先端の効率性とパフォーマンスを実現する。
  論文  参考訳（メタデータ） (2024-10-10T03:28:46Z)
• Improved Distribution Matching for Dataset Condensation [91.55972945798531]
  本稿では,分布マッチングに基づく新しいデータセット凝縮法を提案する。 提案手法は,計算資源の少ない従来の最適化指向手法よりも優れている。
  論文  参考訳（メタデータ） (2023-07-19T04:07:33Z)
• Efficiently Learning the Graph for Semi-supervised Learning [4.518012967046983]
  共役勾配法を用いてスパース族から最良のグラフを効率的に学習する方法を示す。 我々の手法は、軽度な滑らかさの仮定の下で、オンラインのサブ線形後悔でグラフを効率的に学習するためにも利用できる。 提案手法を実装し,ベンチマークデータセット上の学習グラフを用いた半教師付き学習の先行研究に対して,大幅な(sim$10-100x)スピードアップを示す。
  論文  参考訳（メタデータ） (2023-06-12T13:22:06Z)
• Learnable Graph Matching: A Practical Paradigm for Data Association [74.28753343714858]
  これらの問題に対処するための一般的な学習可能なグラフマッチング法を提案する。 提案手法は,複数のMOTデータセット上での最先端性能を実現する。 画像マッチングでは,一般的な屋内データセットであるScanNetで最先端の手法より優れている。
  論文  参考訳（メタデータ） (2023-03-27T17:39:00Z)
• Delving into Effective Gradient Matching for Dataset Condensation [13.75957901381024]
  勾配マッチング法は、元のデータセットと合成データセットのトレーニング時に勾配をマッチングすることで、トレーニングダイナミクスを直接ターゲットとする。 クラス内勾配情報とクラス間勾配情報の両方を含む多段階勾配情報とを一致させることを提案する。 アルゴリズムの効率向上のための不要な最適化ステップをトリムするために、過適合適応学習ステップ戦略も提案されている。
  論文  参考訳（メタデータ） (2022-07-30T21:31:10Z)
• Optimal Propagation for Graph Neural Networks [51.08426265813481]
  最適グラフ構造を学習するための二段階最適化手法を提案する。 また、時間的複雑さをさらに軽減するために、低ランク近似モデルについても検討する。
  論文  参考訳（メタデータ） (2022-05-06T03:37:00Z)
• Convergent Boosted Smoothing for Modeling Graph Data with Tabular Node Features [46.052312251801]
  本稿では,グラフ伝播ステップでブースティングを反復するフレームワークを提案する。 我々のアプローチは、原則化されたメタロス関数に固定されている。 様々な非イドグラフデータセットに対して,本手法は同等あるいは優れた性能を実現する。
  論文  参考訳（メタデータ） (2021-10-26T04:53:12Z)
• Learnable Graph Matching: Incorporating Graph Partitioning with Deep Feature Learning for Multiple Object Tracking [58.30147362745852]
  フレーム間のデータアソシエーションは、Multiple Object Tracking(MOT)タスクの中核にある。 既存の手法は、主にトラックレットとフレーム内検出の間のコンテキスト情報を無視する。 そこで本研究では,学習可能なグラフマッチング手法を提案する。
  論文  参考訳（メタデータ） (2021-03-30T08:58:45Z)
• Quantizing data for distributed learning [24.46948464551684]
  通信制約がパフォーマンスのボトルネックを生じさせるネットワーク上のデータを活用することで、モデルをトレーニングする機械学習アプリケーションを検討する。 最近の多くのアプローチでは、更新の圧縮によってこのボトルネックを克服することを提案しているが、モデルが大きくなり、データセットのサイズも大きくなる。 本稿では,グラデーション更新よりもデータを定量化し,学習アプリケーションを支援することを提案する。
  論文  参考訳（メタデータ） (2020-12-14T19:54:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。