論文の概要: Training Lightweight Graph Convolutional Networks with Phase-field Models

• arxiv url: http://arxiv.org/abs/2212.09415v1
• Date: Mon, 19 Dec 2022 12:49:03 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-20 17:39:32.120976
• Title: Training Lightweight Graph Convolutional Networks with Phase-field Models
• Title（参考訳）: 位相場モデルを用いた軽量グラフ畳み込みネットワークの訓練
• Authors: Hichem Sahbi
• Abstract要約: 我々は、位相場モデル(PFM)と呼ばれる特定の正規化器のクラスを用いて、軽量グラフ畳み込みネットワーク(GCN)を設計する。 PFMは、一つの「エンドツーエンド」最適化問題の一部として、GCNのトポロジーと重みパラメータの両方をトレーニングできる特定の超局所項を用いて、二相挙動を示す。
• 参考スコア（独自算出の注目度）: 12.18340575383456
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In this paper, we design lightweight graph convolutional networks (GCNs) using a particular class of regularizers, dubbed as phase-field models (PFMs). PFMs exhibit a bi-phase behavior using a particular ultra-local term that allows training both the topology and the weight parameters of GCNs as a part of a single "end-to-end" optimization problem. Our proposed solution also relies on a reparametrization that pushes the mask of the topology towards binary values leading to effective topology selection and high generalization while implementing any targeted pruning rate. Both masks and weights share the same set of latent variables and this further enhances the generalization power of the resulting lightweight GCNs. Extensive experiments conducted on the challenging task of skeleton-based recognition show the outperformance of PFMs against other staple regularizers as well as related lightweight design methods.
• Abstract（参考訳）: 本稿では、位相場モデル(PFM)と呼ばれる特定の正規化器のクラスを用いて、軽量グラフ畳み込みネットワーク(GCN)を設計する。 PFMは、一つの「エンドツーエンド」最適化問題の一部として、GCNのトポロジーと重みパラメータの両方をトレーニングできる特定の超局所項を用いて、二相挙動を示す。 提案手法は, 対象プルーニングレートを実装しつつ, 効率的なトポロジ選択と高一般化を実現するために, トポロジのマスクをバイナリ値にプッシュする再パラメータ化にも依存する。 マスクと重みは同じ潜在変数を共有しており、結果として生じる軽量gcnの一般化能力をさらに高めている。 骨格認識の課題に対して行われた大規模な実験は、他の基本正則化器や関連する軽量設計手法に対するPFMの性能の低下を示している。

関連論文リスト

• Pushing the Limits of Large Language Model Quantization via the Linearity Theorem [71.3332971315821]
  本稿では,階層的$ell$再構成誤差と量子化によるモデルパープレキシティ増加との直接的な関係を確立する「線形定理」を提案する。 この知見は,(1)アダマール回転とHIGGSと呼ばれるMSE最適格子を用いた単純なデータフリーLCM量子化法,(2)非一様層ごとの量子化レベルを求める問題に対する最適解の2つの新しい応用を可能にする。
  論文  参考訳（メタデータ） (2024-11-26T15:35:44Z)
• HG-Adapter: Improving Pre-Trained Heterogeneous Graph Neural Networks with Dual Adapters [53.97380482341493]
  事前学習, 即時学習」は, 事前学習したヘテロジニアスグラフニューラルネットワーク(HGNN)のチューニング性能を示す。 本稿では、2つの新しいアダプタと潜在的ラベル付きデータ拡張を組み合わせた統合フレームワークを提案し、事前学習されたHGNNモデルの一般化を改善する。
  論文  参考訳（メタデータ） (2024-11-02T06:43:54Z)
• QT-DoG: Quantization-aware Training for Domain Generalization [58.439816306817306]
  領域一般化のための量子化アウェアトレーニング(QT-DoG)を提案する。 QT-DoGは、モデル重みのノイズを誘導することで暗黙の正則化器として量子化を利用する。 我々は、QT-DoGが様々なデータセット、アーキテクチャ、量子化アルゴリズムにまたがって一般化することを実証する。
  論文  参考訳（メタデータ） (2024-10-08T13:21:48Z)
• One-Shot Multi-Rate Pruning of Graph Convolutional Networks [5.656581242851759]
  我々は、MRMP(Multi-Rate Magnitude Pruning)と呼ばれる新しい軽量グラフ畳み込みネットワーク(GCN)の設計を考案した。 本手法は,学習したネットワークの重み分布を事前分布と整合させることにより,変動し,進行する。 一方、MRMPは、重みを調整することなく、任意の目標プルーニング速度で正確なネットワークを推定するために、共有重みの上に複数のGCNを共同で訓練する。
  論文  参考訳（メタデータ） (2023-12-29T14:20:00Z)
• Budget-Aware Graph Convolutional Network Design using Probabilistic Magnitude Pruning [12.18340575383456]
  我々は確率的マグニチュード・プルーニング(PMP)と呼ばれる新しい軽量グラフ畳み込みネットワーク(GCN)の設計を考案した。 本手法は,学習したネットワークの重み分布と事前分布とを整合させることにより,変動的かつ進行する。 骨格に基づく認識の困難な課題に対して行われた実験は、我々の軽量GCNのかなりの増加を示している。
  論文  参考訳（メタデータ） (2023-05-30T18:12:13Z)
• Sparse Weight Averaging with Multiple Particles for Iterative Magnitude Pruning [16.869553861212548]
  イテレーティブ・マグニチュード・プルーニング(IMP)は、その単純さにもかかわらず、特に非常にスパースな状況において、最先端のアルゴリズムである。 Sparse Weight Averaging with Multiple Particles (SWAMP)を提案する。これはIMPの簡単な修正であり、2つのIMPソリューションのアンサンブルに匹敵する性能を実現する。
  論文  参考訳（メタデータ） (2023-05-24T08:01:49Z)
• Iterative Soft Shrinkage Learning for Efficient Image Super-Resolution [91.3781512926942]
  画像超解像(SR)は、CNNからトランスフォーマーアーキテクチャへの広範なニューラルネットワーク設計を目撃している。 本研究は,市販のネットワーク設計を生かし,基礎となる計算オーバーヘッドを低減するため,超高解像度イテレーションにおけるネットワークプルーニングの可能性について検討する。 本研究では, ランダムネットワークのスパース構造を最適化し, 重要でない重みを小さめに微調整することにより, 反復型軟収縮率(ISS-P)法を提案する。
  論文  参考訳（メタデータ） (2023-03-16T21:06:13Z)
• Towards Lightweight Cross-domain Sequential Recommendation via External Attention-enhanced Graph Convolution Network [7.1102362215550725]
  クロスドメインシークエンシャルレコメンデーション(CSR)は、複数のドメインからのインタラクションをモデル化することで、重複したユーザの振る舞いパターンの進化を描いている。 上記の課題,すなわちLEA-GCNを解決するために,軽量な外部注意強化GCNベースのフレームワークを導入する。 フレームワークの構造をさらに緩和し、ユーザ固有のシーケンシャルパターンを集約するために、新しい二重チャネル外部注意(EA)コンポーネントを考案する。
  論文  参考訳（メタデータ） (2023-02-07T03:06:29Z)
• Orthogonal Stochastic Configuration Networks with Adaptive Construction Parameter for Data Analytics [6.940097162264939]
  ランダム性により、SCNは冗長で品質の低い近似線形相関ノードを生成する可能性が高まる。 機械学習の基本原理、すなわち、パラメータが少ないモデルでは、一般化が向上する。 本稿では,ネットワーク構造低減のために,低品質な隠れノードをフィルタする直交SCN(OSCN)を提案する。
  論文  参考訳（メタデータ） (2022-05-26T07:07:26Z)
• Extended Unconstrained Features Model for Exploring Deep Neural Collapse [59.59039125375527]
  近年、ディープニューラルネットワークで「神経崩壊」(NC)と呼ばれる現象が経験的に観察されている。 最近の論文は、単純化された「制約なし特徴モデル」を最適化する際に、この構造を持つ最小化器が出現することを示している。 本稿では, 正規化MSE損失に対するUDFについて検討し, クロスエントロピーの場合よりも最小化器の特徴がより構造化可能であることを示す。
  論文  参考訳（メタデータ） (2022-02-16T14:17:37Z)
• Improve Generalization and Robustness of Neural Networks via Weight Scale Shifting Invariant Regularizations [52.493315075385325]
  重み劣化を含む正則化器の族は、均質な活性化関数を持つネットワークに対する本質的な重みのノルムをペナルティ化するのに有効でないことを示す。 そこで我々は,ニューラルネットワークの本質的な規範を効果的に制約する改良型正規化器を提案する。
  論文  参考訳（メタデータ） (2020-08-07T02:55:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。