論文の概要: Set Norm and Equivariant Skip Connections: Putting the Deep in Deep Sets

• arxiv url: http://arxiv.org/abs/2206.11925v1
• Date: Thu, 23 Jun 2022 18:04:56 GMT
• ステータス: 処理完了
• システム内更新日: 2022-06-27 13:58:16.178139
• Title: Set Norm and Equivariant Skip Connections: Putting the Deep in Deep Sets
• Title（参考訳）: 集合ノルムと同変スキップ接続:深部集合に深部を置く
• Authors: Lily H. Zhang, Veronica Tozzo, John M. Higgins, and Rajesh Ranganath
• Abstract要約: 既存の変分不変アーキテクチャであるDeep SetsとSet Transformerは、深度が深い場合には、消失または爆発的な勾配に悩まされる可能性があることを示す。 等変残差接続に対するクリーンパス原理を導入し、集合に適した正規化である集合ノルムを開発する。 これによって、Deep Sets++とSet Transformer++を構築しました。
• 参考スコア（独自算出の注目度）: 18.582561853987027
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Permutation invariant neural networks are a promising tool for making predictions from sets. However, we show that existing permutation invariant architectures, Deep Sets and Set Transformer, can suffer from vanishing or exploding gradients when they are deep. Additionally, layer norm, the normalization of choice in Set Transformer, can hurt performance by removing information useful for prediction. To address these issues, we introduce the clean path principle for equivariant residual connections and develop set norm, a normalization tailored for sets. With these, we build Deep Sets++ and Set Transformer++, models that reach high depths with comparable or better performance than their original counterparts on a diverse suite of tasks. We additionally introduce Flow-RBC, a new single-cell dataset and real-world application of permutation invariant prediction. We open-source our data and code here: https://github.com/rajesh-lab/deep_permutation_invariant.
• Abstract（参考訳）: 置換不変ニューラルネットワークは、集合から予測を行うための有望なツールである。 しかし,既存の変分不変アーキテクチャであるDeep SetsとSet Transformerは,深部における勾配の消失や爆発に悩まされる可能性がある。 さらに、Set Transformerにおける選択の正規化であるレイヤノルムは、予測に有用な情報を削除することでパフォーマンスを損なう可能性がある。 これらの問題に対処するため、同変残差接続に対するクリーンパス原理を導入し、集合に適した正規化である集合ノルムを開発する。 これにより、さまざまなタスクスイートで、元のものと同等あるいはそれ以上のパフォーマンスで、高い深さに達するモデルである、deep set++とset transformer++を構築します。 さらに,新しい単一セルデータセットflow-rbcと置換不変量予測の実世界応用について紹介する。 https://github.com/rajesh-lab/deep_permutation_invariant。

関連論文リスト

• Restore Translation Using Equivariant Neural Networks [7.78895108256899]
  本稿では,畳み込みニューラルネットワークに変換された(あるいは回転した)入力を復元するための事前分類器復元器を提案する。 復元子は、テンソル空間上の変換同変であるアフィン作用素に十分かつ必要な条件を与える理論的な結果に基づいている。
  論文  参考訳（メタデータ） (2023-06-29T13:34:35Z)
• Deep Neural Networks with Efficient Guaranteed Invariances [77.99182201815763]
  我々は、性能改善の問題、特にディープニューラルネットワークのサンプル複雑性に対処する。 群同変畳み込みは同変表現を得るための一般的なアプローチである。 本稿では,各ストリームが異なる変換に不変なマルチストリームアーキテクチャを提案する。
  論文  参考訳（メタデータ） (2023-03-02T20:44:45Z)
• Deep Transformers without Shortcuts: Modifying Self-attention for Faithful Signal Propagation [105.22961467028234]
  ディープニューラルネットワーク(DNN)のトレーニングにおいて,スキップ接続と正規化レイヤはユビキタスである Deep Kernel Shapingのような最近のアプローチは、それらへの依存を減らすために進歩しました。 しかし、これらのアプローチは変換器に存在する自己注意層とは相容れない。
  論文  参考訳（メタデータ） (2023-02-20T21:26:25Z)
• Improving the Sample-Complexity of Deep Classification Networks with Invariant Integration [77.99182201815763]
  変換によるクラス内分散に関する事前知識を活用することは、ディープニューラルネットワークのサンプル複雑性を改善するための強力な方法である。 そこで本研究では,アプリケーションの複雑な問題に対処するために,プルーニング法に基づく新しい単項選択アルゴリズムを提案する。 本稿では,Rotated-MNIST,SVHN,CIFAR-10データセットにおけるサンプルの複雑さの改善について述べる。
  論文  参考訳（メタデータ） (2022-02-08T16:16:11Z)
• Top-N: Equivariant set and graph generation without exchangeability [61.24699600833916]
  集合やグラフ上の分布の前にベクトル形状をマッピングするワンショット確率デコーダを考える。 これらの機能は、可変オートエンコーダ(VAE)、生成逆数ネットワーク(GAN)、正規化フローに統合することができる。 Top-nは、トレーニング可能な参照セットから最も関連性の高いポイントを選択することを学ぶ、決定論的で非交換可能なセット生成メカニズムである。
  論文  参考訳（メタデータ） (2021-10-05T14:51:19Z)
• IOT: Instance-wise Layer Reordering for Transformer Structures [173.39918590438245]
  トランスフォーマの固定層順序の仮定を分解し,モデル構造にインスタンス単位の層順序変更を導入する。 当社の手法はTransformer以外のアーキテクチャにも適用可能です。
  論文  参考訳（メタデータ） (2021-03-05T03:44:42Z)
• Conditional Set Generation with Transformers [15.315473956458227]
  集合は、一意な要素の無秩序な集合である。 多くの機械学習モデルは暗黙的または明示的な順序を課す集合を生成する。 別の解決策は、順序付けを指定しない置換同変集合生成器を使用することである。 本稿では,TSPN(Transformer Set Prediction Network)を提案する。
  論文  参考訳（メタデータ） (2020-06-26T17:52:27Z)
• Learn to Predict Sets Using Feed-Forward Neural Networks [63.91494644881925]
  本稿では、ディープフィードフォワードニューラルネットワークを用いた設定予測の課題に対処する。 未知の置換と基数を持つ集合を予測するための新しい手法を提案する。 関連視覚問題に対する集合定式化の有効性を実証する。
  論文  参考訳（メタデータ） (2020-01-30T01:52:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。