論文の概要: Efficient Model-Agnostic Multi-Group Equivariant Networks

• arxiv url: http://arxiv.org/abs/2310.09675v1
• Date: Sat, 14 Oct 2023 22:24:26 GMT
• ステータス: 処理完了
• システム内更新日: 2023-10-17 19:03:31.407864
• Title: Efficient Model-Agnostic Multi-Group Equivariant Networks
• Title（参考訳）: 効率的なモデル非依存多群同変ネットワーク
• Authors: Razan Baltaji and Sourya Basu and Lav R. Varshney
• Abstract要約: 2つの関連する問題に対して、効率的なモデルに依存しない同変設計を提供する。 ひとつは、ネットワークがそれぞれ複数の入力を持ち、潜在的に異なるグループがそれぞれに作用する時です。 もう1つは、1つの入力があるときだが、それに作用するグループは大きな積群である。
• 参考スコア（独自算出の注目度）: 21.338680015880417
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Constructing model-agnostic group equivariant networks, such as equitune (Basu et al., 2023b) and its generalizations (Kim et al., 2023), can be computationally expensive for large product groups. We address this by providing efficient model-agnostic equivariant designs for two related problems: one where the network has multiple inputs each with potentially different groups acting on them, and another where there is a single input but the group acting on it is a large product group. For the first design, we initially consider a linear model and characterize the entire equivariant space that satisfies this constraint. This characterization gives rise to a novel fusion layer between different channels that satisfies an invariance-symmetry (IS) constraint, which we call an IS layer. We then extend this design beyond linear models, similar to equitune, consisting of equivariant and IS layers. We also show that the IS layer is a universal approximator of invariant-symmetric functions. Inspired by the first design, we use the notion of the IS property to design a second efficient model-agnostic equivariant design for large product groups acting on a single input. For the first design, we provide experiments on multi-image classification where each view is transformed independently with transformations such as rotations. We find equivariant models are robust to such transformations and perform competitively otherwise. For the second design, we consider three applications: language compositionality on the SCAN dataset to product groups; fairness in natural language generation from GPT-2 to address intersectionality; and robust zero-shot image classification with CLIP. Overall, our methods are simple and general, competitive with equitune and its variants, while also being computationally more efficient.
• Abstract（参考訳）: 等式 (Basu et al., 2023b) や一般化 (Kim et al., 2023) のようなモデルに依存しない群同変ネットワークの構築は、大規模製品群にとって計算的に高価である。 ネットワークが複数の入力を持ち、異なるグループが作用する場合と、その上に作用する群が大きな積群である場合の2つの問題に対して、効率的なモデルに依存しない同変設計を提供することにより、この問題に対処する。 最初の設計では、まず線形モデルを検討し、この制約を満たす同変空間全体を特徴づける。 この特徴付けにより、IS層と呼ばれる不変対称性(IS)制約を満たす異なるチャネル間の新たな融合層が生まれる。 この設計は、同変層とIS層からなる等高線と同様の線形モデルを超えて拡張する。 また、IS層は不変対称関数の普遍近似器であることを示す。 第一の設計に触発されて、我々は1つの入力に作用する大きな積群に対して第二の効率的なモデル非依存同変設計を設計するために、is特性の概念を用いる。 最初の設計では、各ビューが回転などの変換と独立に変換されるマルチイメージ分類の実験を行う。 等変モデルはそのような変換に対して堅牢であり、それ以外は競合する。 第2の設計では、SCANデータセットから製品グループへの言語構成性、GPT-2から交叉性に対処する自然言語生成の公平性、CLIPを用いた堅牢なゼロショット画像分類の3つの応用について検討する。 全体として、我々の手法は単純で一般的なもので、等級やその変種と競合しますが、計算効率も優れています。

関連論文リスト

• Incorporating Arbitrary Matrix Group Equivariance into KANs [69.30866522377694]
  Kolmogorov-Arnold Networks (KAN) は科学分野で大きな成功を収めている。 しかし、スプライン関数は、機械学習において重要な事前知識であるタスクの対称性を尊重しないかもしれない。 本研究では,Equivariant Kolmogorov-Arnold Networks (EKAN)を提案する。
  論文  参考訳（メタデータ） (2024-10-01T06:34:58Z)
• G-RepsNet: A Fast and General Construction of Equivariant Networks for Arbitrary Matrix Groups [8.24167511378417]
  グループ同変ネットワークは、幅広いディープラーニングタスクにおいて有用である。 本稿では,グループ表現ネットワーク(G-RepsNets)について紹介する。 G-RepsNetはG-FNO (Helwig et al., 2023) とEGNN (Satorras et al., 2023) にそれぞれN体予測とPDEの解について競合することを示す。
  論文  参考訳（メタデータ） (2024-02-23T16:19:49Z)
• EDGI: Equivariant Diffusion for Planning with Embodied Agents [17.931089055248062]
  身体的エージェントは構造化された世界で動作し、しばしば空間的、時間的、置換的な対称性でタスクを解く。 本稿では,モデルに基づく強化学習のためのアルゴリズムであるEquivariant diffuser for Generating Interactions (EDGI)を紹介する。 EDGI は非同変モデルよりもかなり効率的なサンプルであり、対称性群全体にわたってより一般化される。
  論文  参考訳（メタデータ） (2023-03-22T09:19:39Z)
• Equi-Tuning: Group Equivariant Fine-Tuning of Pretrained Models [56.88106830869487]
  我々は、(潜在的に非同変な)事前訓練されたモデルを群同変モデルに変換する新しい微調整法である、同調を導入する。 本稿では、画像分類、合成言語における一般化、自然言語生成における公平性という3つの異なるタスクに対する等価チューニングの応用について述べる。
  論文  参考訳（メタデータ） (2022-10-13T08:45:23Z)
• Design equivariant neural networks for 3D point cloud [0.0]
  この研究は、既存の3Dポイントクラウドに対するニューラルネットワークの一般化と堅牢性の向上を目指している。 ポイントクラウドの同変モデルを設計する際の大きな課題は、モデルのパフォーマンスと複雑さをトレードオフする方法である。 提案手法は汎用的であり、群同変ニューラルネットワークに対する基本的なアプローチを形成する。
  論文  参考訳（メタデータ） (2022-05-02T02:57:13Z)
• Frame Averaging for Invariant and Equivariant Network Design [50.87023773850824]
  フレーム平均化(FA)は、既知の(バックボーン)アーキテクチャを新しい対称性タイプに不変あるいは同変に適応するためのフレームワークである。 FAモデルが最大表現力を持つことを示す。 我々は,新しいユニバーサルグラフニューラルネット(GNN),ユニバーサルユークリッド運動不変点クラウドネットワーク,およびユークリッド運動不変メッセージパッシング(MP)GNNを提案する。
  論文  参考訳（メタデータ） (2021-10-07T11:05:23Z)
• Group Equivariant Subsampling [60.53371517247382]
  サブサンプリングは、プールやストライド畳み込みの形で畳み込みニューラルネットワーク(CNN)で使用される。 まず、正確な翻訳同変CNNを構築するために使用できる翻訳同変サブサンプリング/アップサンプリング層を導入する。 次に、これらの層を一般群への変換を超えて一般化し、したがって群同変部分サンプリング/アップサンプリングを提案する。
  論文  参考訳（メタデータ） (2021-06-10T16:14:00Z)
• Structured Reordering for Modeling Latent Alignments in Sequence Transduction [86.94309120789396]
  本稿では,分離可能な置換の辺りを正確に推定する効率的な動的プログラミングアルゴリズムを提案する。 結果のSeq2seqモデルは、合成問題やNLPタスクの標準モデルよりも体系的な一般化が優れている。
  論文  参考訳（メタデータ） (2021-06-06T21:53:54Z)
• LieTransformer: Equivariant self-attention for Lie Groups [49.9625160479096]
  群等価ニューラルネットワークは群不変ニューラルネットワークの構成要素として用いられる。 我々は、文学の範囲を、ディープラーニングモデルの顕著な構築ブロックとして現れつつある自己注意にまで広げる。 任意のリー群とその離散部分群に同値なリー自己結合層からなる構造であるリー変換器を提案する。
  論文  参考訳（メタデータ） (2020-12-20T11:02:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。