論文の概要: Relaxed Equivariance via Multitask Learning

• arxiv url: http://arxiv.org/abs/2410.17878v1
• Date: Wed, 23 Oct 2024 13:50:27 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-24 13:55:17.445139
• Title: Relaxed Equivariance via Multitask Learning
• Title（参考訳）: マルチタスク学習による緩和等価性
• Authors: Ahmed A. Elhag, T. Konstantin Rusch, Francesco Di Giovanni, Michael Bronstein,
• Abstract要約: マルチタスク学習と等価性を近似するトレーニング手法であるREMULを紹介する。 制約のないモデルは、追加の単純な等分散損失を最小化することにより、近似対称性を学習できることが示される。 提案手法は, 等変ベースラインと比較して, 推論時の10倍, トレーニング時の2.5倍の速さで, 競争性能が向上する。
• 参考スコア（独自算出の注目度）: 7.905957228045955
• License:
• Abstract: Incorporating equivariance as an inductive bias into deep learning architectures to take advantage of the data symmetry has been successful in multiple applications, such as chemistry and dynamical systems. In particular, roto-translations are crucial for effectively modeling geometric graphs and molecules, where understanding the 3D structures enhances generalization. However, equivariant models often pose challenges due to their high computational complexity. In this paper, we introduce REMUL, a training procedure for approximating equivariance with multitask learning. We show that unconstrained models (which do not build equivariance into the architecture) can learn approximate symmetries by minimizing an additional simple equivariance loss. By formulating equivariance as a new learning objective, we can control the level of approximate equivariance in the model. Our method achieves competitive performance compared to equivariant baselines while being $10 \times$ faster at inference and $2.5 \times$ at training.
• Abstract（参考訳）: データ対称性を利用するためのディープラーニングアーキテクチャへの帰納バイアスとして等価性を組み込むことは、化学や力学システムなど、複数の応用で成功している。 特に、ロト翻訳は幾何学グラフや分子を効果的にモデル化するために重要であり、3次元構造を理解することで一般化が促進される。 しかし、同変モデルは高い計算複雑性のためにしばしば問題を引き起こす。 本稿では,マルチタスク学習と等価性を近似するトレーニング手法であるREMULを紹介する。 制約のないモデル(アーキテクチャに等分散を構築しない)は、追加の単純な等分散損失を最小化することにより近似対称性を学習できることが示される。 新しい学習目的として等分散を定式化することにより、モデル内の近似等分散のレベルを制御することができる。 提案手法は, 等変ベースラインと比較して, 推論速度が10 \times$, トレーニング速度が2.5 \times$であるのに対して, 競争性能が向上する。

関連論文リスト

• Large Language-Geometry Model: When LLM meets Equivariance [53.8505081745406]
  本稿では,3次元物理システムを表現するための新しいフレームワークであるEquiLLMを提案する。 EquiLLMは分子動力学シミュレーション,ヒトの動作シミュレーション,抗体設計など,従来の手法よりも大幅に改善されている。
  論文  参考訳（メタデータ） (2025-02-16T14:50:49Z)
• On the Utility of Equivariance and Symmetry Breaking in Deep Learning Architectures on Point Clouds [1.4079337353605066]
  本稿では,点雲を扱うモデルの性能に影響を及ぼす要因について考察する。 我々は、異なるタスクで成功を導く同変および非同変アーキテクチャの鍵となる側面を識別する。
  論文  参考訳（メタデータ） (2025-01-01T07:00:41Z)
• Does equivariance matter at scale? [15.247352029530523]
  我々は、等変ネットワークと非等変ネットワークが、計算およびトレーニングサンプルでどのようにスケールするかを研究する。 まず、等分散によりデータ効率が向上するが、データ拡張による非同変モデルのトレーニングは、十分なエポックを考慮すれば、このギャップを埋めることができる。 第二に、計算によるスケーリングは、テストされた各計算予算において、同変モデルが非同変モデルよりも優れたパワー則に従う。
  論文  参考訳（メタデータ） (2024-10-30T16:36:59Z)
• Learning Layer-wise Equivariances Automatically using Gradients [66.81218780702125]
  畳み込みは等価対称性をニューラルネットワークにエンコードし、より優れた一般化性能をもたらす。 対称性は、ネットワークが表現できる機能、事前に指定する必要、適応できない機能に対して、固定されたハード制約を提供する。 私たちのゴールは、勾配を使ってデータから自動的に学習できるフレキシブル対称性の制約を可能にすることです。
  論文  参考訳（メタデータ） (2023-10-09T20:22:43Z)
• The Lie Derivative for Measuring Learned Equivariance [84.29366874540217]
  我々は、CNN、トランスフォーマー、ミキサーアーキテクチャにまたがる数百の事前訓練されたモデルの同値性について検討する。 その結果,不等式違反の多くは,不等式などのユビキタスネットワーク層における空間エイリアスに関連付けられることがわかった。 例えば、トランスはトレーニング後の畳み込みニューラルネットワークよりも同種である。
  論文  参考訳（メタデータ） (2022-10-06T15:20:55Z)
• HyperInvariances: Amortizing Invariance Learning [10.189246340672245]
  不変学習は高価で、一般的なニューラルネットワークにはデータ集約的です。 我々は、不変学習を償却する概念を導入する。 このフレームワークは、異なる下流タスクにおける適切な不変性を識別し、同等またはより良いテストパフォーマンスをもたらす。
  論文  参考訳（メタデータ） (2022-07-17T21:40:37Z)
• Equivariance Discovery by Learned Parameter-Sharing [153.41877129746223]
  データから解釈可能な等価性を発見する方法について検討する。 具体的には、モデルのパラメータ共有方式に対する最適化問題として、この発見プロセスを定式化する。 また,ガウスデータの手法を理論的に解析し,研究された発見スキームとオラクルスキームの間の平均2乗ギャップを限定する。
  論文  参考訳（メタデータ） (2022-04-07T17:59:19Z)
• Equivariant vector field network for many-body system modeling [65.22203086172019]
  Equivariant Vector Field Network (EVFN) は、新しい同変層と関連するスカラー化およびベクトル化層に基づいて構築されている。 シミュレーションされたニュートン力学系の軌跡を全観測データと部分観測データで予測する手法について検討した。
  論文  参考訳（メタデータ） (2021-10-26T14:26:25Z)
• Meta-Learning Symmetries by Reparameterization [63.85144439337671]
  データから対応するパラメータ共有パターンを学習し、等価性をネットワークに学習し、符号化する手法を提案する。 本実験は,画像処理タスクで使用される共通変換に等価性をエンコードして自動的に学習できることを示唆する。
  論文  参考訳（メタデータ） (2020-07-06T17:59:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。