論文の概要: Improved Canonicalization for Model Agnostic Equivariance

• arxiv url: http://arxiv.org/abs/2405.14089v2
• Date: Fri, 15 Nov 2024 16:08:55 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-18 15:35:53.407089
• Title: Improved Canonicalization for Model Agnostic Equivariance
• Title（参考訳）: モデル非依存等価性のための改良された正準化
• Authors: Siba Smarak Panigrahi, Arnab Kumar Mondal,
• Abstract要約: 従来の方法で同変モデルを構築するには、既存のモデルの同変モデルを設計し、それらをゼロから訓練する必要がある。 そこで本研究では,任意の非同変ネットワークを正準化に利用する最適化手法を提案する。 提案手法は, コントラスト学習を用いて, 正準化ネットワークの選択に対して, 効率よく学習し, 柔軟性を向上する。
• 参考スコア（独自算出の注目度）: 6.783232060611113
• License:
• Abstract: This work introduces a novel approach to achieving architecture-agnostic equivariance in deep learning, particularly addressing the limitations of traditional layerwise equivariant architectures and the inefficiencies of the existing architecture-agnostic methods. Building equivariant models using traditional methods requires designing equivariant versions of existing models and training them from scratch, a process that is both impractical and resource-intensive. Canonicalization has emerged as a promising alternative for inducing equivariance without altering model architecture, but it suffers from the need for highly expressive and expensive equivariant networks to learn canonical orientations accurately. We propose a new optimization-based method that employs any non-equivariant network for canonicalization. Our method uses contrastive learning to efficiently learn a canonical orientation and offers more flexibility for the choice of canonicalization network. We empirically demonstrate that this approach outperforms existing methods in achieving equivariance for large pretrained models and significantly speeds up the canonicalization process, making it up to 2 times faster.
• Abstract（参考訳）: この研究は、ディープラーニングにおけるアーキテクチャ非依存の等価性を達成するための新しいアプローチを導入し、特に従来の階層的同変アーキテクチャの限界と、既存のアーキテクチャ非依存の手法の非効率性に対処する。 従来の手法を用いた同変モデルの構築には、既存モデルの同変モデルの設計と、非現実的かつ資源集約的なプロセスであるスクラッチからのトレーニングが必要である。 正準化はモデルアーキテクチャを変更することなく同分散を誘導する有望な代替手段として現れてきたが、正準化を正確に学習するために高表現性で高価な同変ネットワークの必要性に悩まされている。 そこで本研究では,任意の非同変ネットワークを正準化に利用する最適化手法を提案する。 提案手法は, コントラスト学習を用いて, 正準化ネットワークの選択に対して, 効率よく学習し, 柔軟性を向上する。 実験により,本手法は,大規模事前学習モデルの等価性を達成し,正準化過程を著しく高速化し,最大2倍の高速化を実現した。

関連論文リスト

• Approximately Equivariant Neural Processes [47.14384085714576]
  ニューラルプロセスにおけるほぼ同変アーキテクチャの利用について考察する。 提案手法の有効性を, 合成および実世界のレグレッション実験で実証する。
  論文  参考訳（メタデータ） (2024-06-19T12:17:14Z)
• A Canonicalization Perspective on Invariant and Equivariant Learning [54.44572887716977]
  フレームの設計について,本質的で完全な視点を提供する正準化の視点を導入する。 フレームと標準形式の間には固有の関係があることが示される。 既存の手法よりも厳密な固有ベクトルのための新しいフレームを設計する。
  論文  参考訳（メタデータ） (2024-05-28T17:22:15Z)
• Equivariant Adaptation of Large Pretrained Models [20.687626756753563]
  正規化ネットワークは,大規模な事前学習ネットワークの同種化に有効であることを示す。 データセットに依存した事前情報を用いて正準化関数を通知し、その性能を維持しながら、大きな事前訓練されたモデルを同変させることができる。
  論文  参考訳（メタデータ） (2023-10-02T21:21:28Z)
• Federated Variational Inference Methods for Structured Latent Variable Models [1.0312968200748118]
  フェデレートされた学習方法は、データが元の場所を離れることなく、分散データソースをまたいだモデルトレーニングを可能にする。 本稿では,ベイズ機械学習において広く用いられている構造的変分推論に基づく汎用的でエレガントな解を提案する。 また、標準FedAvgアルゴリズムに類似した通信効率のよい変種も提供する。
  論文  参考訳（メタデータ） (2023-02-07T08:35:04Z)
• Equivariance with Learned Canonicalization Functions [77.32483958400282]
  正規化を行うために小さなニューラルネットワークを学習することは、事前定義を使用することよりも優れていることを示す。 実験の結果,正準化関数の学習は多くのタスクで同変関数を学習する既存の手法と競合することがわかった。
  論文  参考訳（メタデータ） (2022-11-11T21:58:15Z)
• Slimmable Domain Adaptation [112.19652651687402]
  重み付けモデルバンクを用いて、ドメイン間の一般化を改善するためのシンプルなフレームワーク、Slimmable Domain Adaptationを導入する。 私たちのフレームワークは、他の競合するアプローチを、複数のベンチマークにおいて非常に大きなマージンで上回ります。
  論文  参考訳（メタデータ） (2022-06-14T06:28:04Z)
• Stabilizing Equilibrium Models by Jacobian Regularization [151.78151873928027]
  ディープ均衡ネットワーク(Deep equilibrium Network, DEQs)は、単一非線形層の固定点を見つけるために従来の深さを推定する新しいモデルのクラスである。 本稿では、平衡モデルの学習を安定させるために、固定点更新方程式のヤコビアンを明示的に正規化するDECモデルの正規化スキームを提案する。 この正規化は計算コストを最小限に抑え、前方と後方の両方の固定点収束を著しく安定化させ、高次元の現実的な領域に順応することを示した。
  論文  参考訳（メタデータ） (2021-06-28T00:14:11Z)
• Exploring Complementary Strengths of Invariant and Equivariant Representations for Few-Shot Learning [96.75889543560497]
  多くの現実世界では、多数のラベル付きサンプルの収集は不可能です。 少ないショット学習はこの問題に対処するための主要なアプローチであり、目的は限られた数のサンプルの存在下で新しいカテゴリに迅速に適応することです。 幾何学的変換の一般集合に対する等分散と不変性を同時に強制する新しい訓練機構を提案する。
  論文  参考訳（メタデータ） (2021-03-01T21:14:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。