論文の概要: Snowflake: Scaling GNNs to High-Dimensional Continuous Control via Parameter Freezing

• arxiv url: http://arxiv.org/abs/2103.01009v1
• Date: Mon, 1 Mar 2021 13:56:10 GMT
• ステータス: 処理完了
• システム内更新日: 2021-03-03 16:17:39.631829
• Title: Snowflake: Scaling GNNs to High-Dimensional Continuous Control via Parameter Freezing
• Title（参考訳）: Snowflake:パラメータ凍結によるGNNの高次元連続制御へのスケーリング
• Authors: Charlie Blake, Vitaly Kurin, Maximilian Igl, Shimon Whiteson
• Abstract要約: 近年の研究では、グラフニューラルネットワーク(GNN)が、典型的な多層パーセプトロン(MLP)と同じくらい効果的である移動制御のポリシーを学習できることが示されている。 これまでのところ、GNNの性能はセンサーやアクチュエータの数が増加するにつれて急速に低下しているため、小さなエージェントのトレーニングに限られている。 オーバーフィッティングに苦しむネットワーク部分のパラメータを凍結する高次元連続制御のためのGNNトレーニング方法であるSnowflakeを紹介します。
• 参考スコア（独自算出の注目度）: 55.42968877840648
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recent research has shown that Graph Neural Networks (GNNs) can learn policies for locomotion control that are as effective as a typical multi-layer perceptron (MLP), with superior transfer and multi-task performance (Wang et al., 2018; Huang et al., 2020). Results have so far been limited to training on small agents, with the performance of GNNs deteriorating rapidly as the number of sensors and actuators grows. A key motivation for the use of GNNs in the supervised learning setting is their applicability to large graphs, but this benefit has not yet been realised for locomotion control. We identify the weakness with a common GNN architecture that causes this poor scaling: overfitting in the MLPs within the network that encode, decode, and propagate messages. To combat this, we introduce Snowflake, a GNN training method for high-dimensional continuous control that freezes parameters in parts of the network that suffer from overfitting. Snowflake significantly boosts the performance of GNNs for locomotion control on large agents, now matching the performance of MLPs, and with superior transfer properties.
• Abstract（参考訳）: 最近の研究によると、グラフニューラルネットワーク(GNN)は、典型的な多層パーセプトロン(MLP)と同じくらい効果的で、転送とマルチタスクのパフォーマンスが優れた移動制御のポリシーを学ぶことができる(Wang et al., 2018; Huang et al., 2020)。 これまでのところ、GNNの性能はセンサーやアクチュエータの数が増加するにつれて急速に低下しているため、小さなエージェントのトレーニングに限られている。 教師付き学習環境におけるGNNの使用の主な動機は、大規模なグラフへの適用性であるが、この利点はまだロコモーション制御のために実現されていない。 我々は、メッセージのエンコード、デコード、伝搬を行うネットワーク内のMLPに過度に適合する、この低いスケーリングを引き起こす共通のGNNアーキテクチャの弱点を特定します。 これに対抗するために、オーバーフィッティングに苦しむネットワークの一部でパラメータを凍結する高次元連続制御のためのGNNトレーニング手法であるSnowflakeを導入する。 スノーフレークは大規模エージェントの移動制御におけるGNNの性能を大幅に向上させ、現在ではMPPの性能に適合し、転送特性も優れている。

関連論文リスト

• Directly Training Temporal Spiking Neural Network with Sparse Surrogate Gradient [8.516243389583702]
  脳にインスパイアされたスパイキングニューラルネットワーク(SNN)は、イベントベースのコンピューティングとエネルギー効率の良い機能によって、多くの注目を集めている。 本研究では,SNNの一般化能力を向上させるため,MSG(Masked Surrogate Gradients)を提案する。
  論文  参考訳（メタデータ） (2024-06-28T04:21:32Z)
• Label Deconvolution for Node Representation Learning on Large-scale Attributed Graphs against Learning Bias [75.44877675117749]
  本稿では,GNNの逆写像に対する新しい,スケーラブルな近似による学習バイアスを軽減するために,ラベルの効率的な正規化手法,すなわちラベルのデコンボリューション(LD)を提案する。 実験では、LDはOpen Graphデータセットのベンチマークで最先端のメソッドを大幅に上回っている。
  論文  参考訳（メタデータ） (2023-09-26T13:09:43Z)
• LazyGNN: Large-Scale Graph Neural Networks via Lazy Propagation [51.552170474958736]
  グラフ表現学習においてより効率的なモデルであるLazyGNNを実現するために,より深いモデルではなく,より浅いモデルによってグラフの長距離依存性をキャプチャすることを提案する。 LazyGNNは、ミニバッチのLazyGNNの開発を通じてさらに加速するために、既存のスケーラブルなアプローチ(サンプリング方法など)と互換性がある。 総合的な実験は、大規模なベンチマークで優れた予測性能とスケーラビリティを示す。
  論文  参考訳（メタデータ） (2023-02-03T02:33:07Z)
• Graph Neural Networks are Inherently Good Generalizers: Insights by Bridging GNNs and MLPs [71.93227401463199]
  本稿では、P(ropagational)MLPと呼ばれる中間モデルクラスを導入することにより、GNNの性能向上を本質的な能力に向ける。 PMLPは、トレーニングにおいてはるかに効率的でありながら、GNNと同等(あるいはそれ以上)に動作することを観察する。
  論文  参考訳（メタデータ） (2022-12-18T08:17:32Z)
• Addressing Over-Smoothing in Graph Neural Networks via Deep Supervision [13.180922099929765]
  ディープグラフニューラルネットワーク(GNN)は、層数が増加すると過度に滑らかになる。 本研究では,すべての層で学習した表現を訓練に利用するDSGNNを提案する。 DSGNNは過度に平滑であり,ノードおよびグラフ特性予測問題における競合ベンチマークよりも優れていることを示す。
  論文  参考訳（メタデータ） (2022-02-25T06:05:55Z)
• Hybrid Graph Neural Networks for Few-Shot Learning [85.93495480949079]
  グラフニューラルネットワーク(GNN)は、数発の学習問題に対処するために使用されている。 帰納的設定の下では、既存のGNNベースのメソッドは競争力が少ない。 本稿では2つのGNN(インスタンスGNNとプロトタイプGNN)からなる新しいハイブリッドGNNモデルを提案する。
  論文  参考訳（メタデータ） (2021-12-13T10:20:15Z)
• Graph-less Neural Networks: Teaching Old MLPs New Tricks via Distillation [34.676755383361005]
  グラフレスニューラルネットワーク(GLNN)は、推論グラフに依存しない。 競争性能を持つGLNNは,146X-273XでGNNよりも高速で,14X-27Xで他の加速度法よりも高速であることを示す。 GLNNの包括的な分析は、GLNNがGsと競合する結果が得られる時期と理由を示し、レイテンシに制約のあるアプリケーションにとって便利な選択肢として、GLNNを提案する。
  論文  参考訳（メタデータ） (2021-10-17T05:16:58Z)
• Attentive Graph Neural Networks for Few-Shot Learning [74.01069516079379]
  グラフニューラルネットワーク(GNN)は、数ショットの学習タスクを含む多くの困難なアプリケーションにおいて、優れたパフォーマンスを示している。 少数のサンプルからモデルを学習し、一般化する能力があるにもかかわらず、GNNは通常、モデルが深くなるにつれて、過度な過度な適合と過度なスムーシングに悩まされる。 本稿では,三重注意機構を組み込むことにより,これらの課題に対処するための新しい注意型GNNを提案する。
  論文  参考訳（メタデータ） (2020-07-14T07:43:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。