論文の概要: Improved Canonicalization for Model Agnostic Equivariance

• arxiv url: http://arxiv.org/abs/2405.14089v1
• Date: Thu, 23 May 2024 01:34:12 GMT
• ステータス: 処理完了
• システム内更新日: 2024-05-24 19:24:51.806254
• Title: Improved Canonicalization for Model Agnostic Equivariance
• Title（参考訳）: モデル非依存等価性のための改良された正準化
• Authors: Siba Smarak Panigrahi, Arnab Kumar Mondal,
• Abstract要約: 従来の方法で同変モデルを構築するには、既存のモデルの同変モデルを設計し、それらをゼロから訓練する必要がある。 そこで本研究では,任意の非同変ネットワークを正準化に利用する新しい手法を提案する。 提案手法はコントラスト学習を用いて,一意な正準方向を効率よく学習し,正準化ネットワークの選択に柔軟性を提供する。
• 参考スコア（独自算出の注目度）: 6.783232060611113
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: This work introduces a novel approach to achieving architecture-agnostic equivariance in deep learning, particularly addressing the limitations of traditional equivariant architectures and the inefficiencies of the existing architecture-agnostic methods. Building equivariant models using traditional methods requires designing equivariant versions of existing models and training them from scratch, a process that is both impractical and resource-intensive. Canonicalization has emerged as a promising alternative for inducing equivariance without altering model architecture, but it suffers from the need for highly expressive and expensive equivariant networks to learn canonical orientations accurately. We propose a new method that employs any non-equivariant network for canonicalization. Our method uses contrastive learning to efficiently learn a unique canonical orientation and offers more flexibility for the choice of canonicalization network. We empirically demonstrate that this approach outperforms existing methods in achieving equivariance for large pretrained models and significantly speeds up the canonicalization process, making it up to 2 times faster.
• Abstract（参考訳）: この研究は、ディープラーニングにおけるアーキテクチャ非依存の等価性を達成するための新しいアプローチを導入し、特に従来の同変アーキテクチャの限界と既存のアーキテクチャ非依存手法の非効率性に対処する。 従来の手法を用いた同変モデルの構築には、既存モデルの同変モデルの設計と、非現実的かつ資源集約的なプロセスであるスクラッチからのトレーニングが必要である。 正準化はモデルアーキテクチャを変更することなく同分散を誘導する有望な代替手段として現れてきたが、正準化を正確に学習するために高表現性で高価な同変ネットワークの必要性に悩まされている。 そこで本研究では,任意の非同変ネットワークを正準化に利用する新しい手法を提案する。 提案手法はコントラスト学習を用いて,一意な正準方向を効率よく学習し,正準化ネットワークの選択に柔軟性を提供する。 実験により,本手法は,大規模事前学習モデルの等価性を達成し,正準化過程を著しく高速化し,最大2倍の高速化を実現した。

関連論文リスト

• Improving Equivariant Model Training via Constraint Relaxation [31.507956579770088]
  等価ニューラルネットワークは、基礎となるデータ対称性が知られているタスクでうまく一般化できるため、様々なアプリケーションで広く利用されている。 そこで本研究では,トレーニング中の厳密な均衡制約を緩和することにより,そのようなモデルの最適化を改善する新しい枠組みを提案する。 本研究では,様々な最先端ネットワークアーキテクチャの実験結果を提供し,このトレーニングフレームワークが一般化性能を向上した同変モデルを実現する方法を示す。
  論文  参考訳（メタデータ） (2024-08-23T17:35:08Z)
• Approximately Equivariant Neural Processes [47.14384085714576]
  実世界のデータをモデル化する場合、学習問題は必ずしも同変ではなく、概ね同変であることが多い。 これを達成するための現在のアプローチは、通常任意のアーキテクチャや対称性群に対して最初から適用することはできない。 我々は、既存の同変アーキテクチャを用いてこれを実現するための一般的なアプローチを開発する。
  論文  参考訳（メタデータ） (2024-06-19T12:17:14Z)
• A Canonicalization Perspective on Invariant and Equivariant Learning [54.44572887716977]
  フレームの設計について,本質的で完全な視点を提供する正準化の視点を導入する。 フレームと標準形式の間には固有の関係があることが示される。 既存の手法よりも厳密な固有ベクトルのための新しいフレームを設計する。
  論文  参考訳（メタデータ） (2024-05-28T17:22:15Z)
• Equivariant Adaptation of Large Pretrained Models [20.687626756753563]
  正規化ネットワークは,大規模な事前学習ネットワークの同種化に有効であることを示す。 データセットに依存した事前情報を用いて正準化関数を通知し、その性能を維持しながら、大きな事前訓練されたモデルを同変させることができる。
  論文  参考訳（メタデータ） (2023-10-02T21:21:28Z)
• Multiplicative update rules for accelerating deep learning training and increasing robustness [69.90473612073767]
  我々は、幅広い機械学習アルゴリズムに適合し、代替の更新ルールを適用することができる最適化フレームワークを提案する。 提案するフレームワークはトレーニングを加速する一方、従来の追加更新ルールとは対照的に、より堅牢なモデルにつながります。
  論文  参考訳（メタデータ） (2023-07-14T06:44:43Z)
• Federated Variational Inference Methods for Structured Latent Variable Models [1.0312968200748118]
  フェデレートされた学習方法は、データが元の場所を離れることなく、分散データソースをまたいだモデルトレーニングを可能にする。 本稿では,ベイズ機械学習において広く用いられている構造的変分推論に基づく汎用的でエレガントな解を提案する。 また、標準FedAvgアルゴリズムに類似した通信効率のよい変種も提供する。
  論文  参考訳（メタデータ） (2023-02-07T08:35:04Z)
• Equivariance with Learned Canonicalization Functions [77.32483958400282]
  正規化を行うために小さなニューラルネットワークを学習することは、事前定義を使用することよりも優れていることを示す。 実験の結果,正準化関数の学習は多くのタスクで同変関数を学習する既存の手法と競合することがわかった。
  論文  参考訳（メタデータ） (2022-11-11T21:58:15Z)
• Slimmable Domain Adaptation [112.19652651687402]
  重み付けモデルバンクを用いて、ドメイン間の一般化を改善するためのシンプルなフレームワーク、Slimmable Domain Adaptationを導入する。 私たちのフレームワークは、他の競合するアプローチを、複数のベンチマークにおいて非常に大きなマージンで上回ります。
  論文  参考訳（メタデータ） (2022-06-14T06:28:04Z)
• Stabilizing Equilibrium Models by Jacobian Regularization [151.78151873928027]
  ディープ均衡ネットワーク(Deep equilibrium Network, DEQs)は、単一非線形層の固定点を見つけるために従来の深さを推定する新しいモデルのクラスである。 本稿では、平衡モデルの学習を安定させるために、固定点更新方程式のヤコビアンを明示的に正規化するDECモデルの正規化スキームを提案する。 この正規化は計算コストを最小限に抑え、前方と後方の両方の固定点収束を著しく安定化させ、高次元の現実的な領域に順応することを示した。
  論文  参考訳（メタデータ） (2021-06-28T00:14:11Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。