論文の概要: Equivariant Transduction through Invariant Alignment

• arxiv url: http://arxiv.org/abs/2209.10926v1
• Date: Thu, 22 Sep 2022 11:19:45 GMT
• ステータス: 処理完了
• システム内更新日: 2022-09-23 12:39:57.155545
• Title: Equivariant Transduction through Invariant Alignment
• Title（参考訳）: 不変アライメントによる等変変換
• Authors: Jennifer C. White, Ryan Cotterell
• Abstract要約: グループ内ハードアライメント機構を組み込んだ,新しいグループ同変アーキテクチャを提案する。 我々のネットワーク構造は、既存のグループ同変アプローチよりも強い同変特性を発達させることができる。 また、SCANタスクにおいて、従来のグループ同変ネットワークよりも経験的に優れていたことが判明した。
• 参考スコア（独自算出の注目度）: 71.45263447328374
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The ability to generalize compositionally is key to understanding the potentially infinite number of sentences that can be constructed in a human language from only a finite number of words. Investigating whether NLP models possess this ability has been a topic of interest: SCAN (Lake and Baroni, 2018) is one task specifically proposed to test for this property. Previous work has achieved impressive empirical results using a group-equivariant neural network that naturally encodes a useful inductive bias for SCAN (Gordon et al., 2020). Inspired by this, we introduce a novel group-equivariant architecture that incorporates a group-invariant hard alignment mechanism. We find that our network's structure allows it to develop stronger equivariance properties than existing group-equivariant approaches. We additionally find that it outperforms previous group-equivariant networks empirically on the SCAN task. Our results suggest that integrating group-equivariance into a variety of neural architectures is a potentially fruitful avenue of research, and demonstrate the value of careful analysis of the theoretical properties of such architectures.
• Abstract（参考訳）: 構成的に一般化する能力は、有限個の単語だけで人間の言語で構築できる潜在的に無限個の文を理解するための鍵となる。 SCAN (Lake and Baroni, 2018)は、この特性をテストするために特別に提案されたタスクである。 従来の研究は、SCAN(Gordon et al., 2020)に有用な帰納バイアスを自然にエンコードするグループ同変ニューラルネットワークを用いて、印象的な実験結果を達成した。 これに触発されて,グループ不変のハードアライメント機構を組み込んだ新しいグループ同変アーキテクチャを提案する。 我々のネットワークの構造は, 既存の群同値アプローチよりも強い同分散特性を発現できることを見出した。 また,SCANタスクにおいて,従来のグループ同変ネットワークよりも優れていた。 以上より,様々なニューラルアーキテクチャにグループ等価性を統合することは有益である可能性が示唆され,そのようなアーキテクチャの理論的特性を慎重に分析する価値が示された。

関連論文リスト

• Deep Neural Networks with Efficient Guaranteed Invariances [77.99182201815763]
  我々は、性能改善の問題、特にディープニューラルネットワークのサンプル複雑性に対処する。 群同変畳み込みは同変表現を得るための一般的なアプローチである。 本稿では,各ストリームが異なる変換に不変なマルチストリームアーキテクチャを提案する。
  論文  参考訳（メタデータ） (2023-03-02T20:44:45Z)
• Equivariance with Learned Canonicalization Functions [77.32483958400282]
  正規化を行うために小さなニューラルネットワークを学習することは、事前定義を使用することよりも優れていることを示す。 実験の結果,正準化関数の学習は多くのタスクで同変関数を学習する既存の手法と競合することがわかった。
  論文  参考訳（メタデータ） (2022-11-11T21:58:15Z)
• Bispectral Neural Networks [1.0323063834827415]
  ニューラルネットワークアーキテクチャBNN(Bispectral Neural Networks)を提案する。 BNNは、群、その既約表現、および対応する同変写像と完全不変写像を同時に学習することができる。
  論文  参考訳（メタデータ） (2022-09-07T18:34:48Z)
• Improving the Sample-Complexity of Deep Classification Networks with Invariant Integration [77.99182201815763]
  変換によるクラス内分散に関する事前知識を活用することは、ディープニューラルネットワークのサンプル複雑性を改善するための強力な方法である。 そこで本研究では,アプリケーションの複雑な問題に対処するために,プルーニング法に基づく新しい単項選択アルゴリズムを提案する。 本稿では,Rotated-MNIST,SVHN,CIFAR-10データセットにおけるサンプルの複雑さの改善について述べる。
  論文  参考訳（メタデータ） (2022-02-08T16:16:11Z)
• Frame Averaging for Invariant and Equivariant Network Design [50.87023773850824]
  フレーム平均化(FA)は、既知の(バックボーン)アーキテクチャを新しい対称性タイプに不変あるいは同変に適応するためのフレームワークである。 FAモデルが最大表現力を持つことを示す。 我々は,新しいユニバーサルグラフニューラルネット(GNN),ユニバーサルユークリッド運動不変点クラウドネットワーク,およびユークリッド運動不変メッセージパッシング(MP)GNNを提案する。
  論文  参考訳（メタデータ） (2021-10-07T11:05:23Z)
• Inducing Transformer's Compositional Generalization Ability via Auxiliary Sequence Prediction Tasks [86.10875837475783]
  体系的な構成性は人間の言語において必須のメカニズムであり、既知の部品の組換えによって新しい表現を作り出すことができる。 既存のニューラルモデルには、記号構造を学習する基本的な能力がないことが示されている。 本稿では,関数の進行と引数のセマンティクスを追跡する2つの補助シーケンス予測タスクを提案する。
  論文  参考訳（メタデータ） (2021-09-30T16:41:19Z)
• Group Equivariant Neural Architecture Search via Group Decomposition and Reinforcement Learning [17.291131923335918]
  我々は、同値ニューラルネットワークの文脈において、新しい群論的結果を証明する。 また、計算複雑性を大幅に改善する同変ネットワークを構築するアルゴリズムを設計する。 我々は、性能を最大化するグループ同変ネットワークの探索に深層Q-ラーニングを用いる。
  論文  参考訳（メタデータ） (2021-04-10T19:37:25Z)
• A New Neural Network Architecture Invariant to the Action of Symmetry Subgroups [11.812645659940237]
  入力データに対する任意の置換部分群の作用に不変な関数を近似する$G$不変ニューラルネットワークを提案する。 提案されたネットワークアーキテクチャの重要な要素は、入力データの$g$-invariant latent表現を生成する新しい$g$-invariant transformationモジュールである。
  論文  参考訳（メタデータ） (2020-12-11T16:19:46Z)
• A Computationally Efficient Neural Network Invariant to the Action of Symmetry Subgroups [12.654871396334668]
  新しい$G$不変変換モジュールは入力データの$G$不変潜在表現を生成する。 この潜在表現は、ネットワーク内の多層パーセプトロンで処理される。 提案するアーキテクチャの普遍性を証明し,その特性を議論し,計算とメモリ効率を強調する。
  論文  参考訳（メタデータ） (2020-02-18T12:50:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。