論文の概要: Learning Layer-wise Equivariances Automatically using Gradients

• arxiv url: http://arxiv.org/abs/2310.06131v1
• Date: Mon, 9 Oct 2023 20:22:43 GMT
• ステータス: 処理完了
• システム内更新日: 2023-10-11 21:35:09.498165
• Title: Learning Layer-wise Equivariances Automatically using Gradients
• Title（参考訳）: 勾配を用いた層別等分散の自動学習
• Authors: Tycho F.A. van der Ouderaa, Alexander Immer, Mark van der Wilk
• Abstract要約: 畳み込みは等価対称性をニューラルネットワークにエンコードし、より優れた一般化性能をもたらす。 対称性は、ネットワークが表現できる機能、事前に指定する必要、適応できない機能に対して、固定されたハード制約を提供する。 私たちのゴールは、勾配を使ってデータから自動的に学習できるフレキシブル対称性の制約を可能にすることです。
• 参考スコア（独自算出の注目度）: 66.81218780702125
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Convolutions encode equivariance symmetries into neural networks leading to better generalisation performance. However, symmetries provide fixed hard constraints on the functions a network can represent, need to be specified in advance, and can not be adapted. Our goal is to allow flexible symmetry constraints that can automatically be learned from data using gradients. Learning symmetry and associated weight connectivity structures from scratch is difficult for two reasons. First, it requires efficient and flexible parameterisations of layer-wise equivariances. Secondly, symmetries act as constraints and are therefore not encouraged by training losses measuring data fit. To overcome these challenges, we improve parameterisations of soft equivariance and learn the amount of equivariance in layers by optimising the marginal likelihood, estimated using differentiable Laplace approximations. The objective balances data fit and model complexity enabling layer-wise symmetry discovery in deep networks. We demonstrate the ability to automatically learn layer-wise equivariances on image classification tasks, achieving equivalent or improved performance over baselines with hard-coded symmetry.
• Abstract（参考訳）: 畳み込みは等価対称性をニューラルネットワークにエンコードし、より優れた一般化性能をもたらす。 しかし、対称性はネットワークが表現できる関数に対して固定的なハード制約を与え、事前に指定する必要があり、適用できない。 私たちの目標は、勾配を使ってデータから自動的に学習できるフレキシブル対称性の制約を可能にすることです。 対称性と関連する重み連結構造をスクラッチから学ぶことは、2つの理由から難しい。 まず、レイヤワイド同値の効率的かつ柔軟なパラメータ化が必要である。 第二に、対称性は制約として振る舞うため、データ適合度を測定する訓練の損失は奨励されない。 これらの課題を克服するために, ソフト等分散のパラメータ化を改善し, 微分可能なラプラス近似を用いて推定した限界確率を最適化することにより, 層内等分散量を学習する。 この目的はディープネットワークにおける層ワイド対称性発見を可能にするデータ適合とモデル複雑性のバランスをとる。 画像分類タスクにおける階層的等式を自動的に学習し、ハードコード対称性を持つベースライン上で同等あるいは改善された性能を実現する能力を示す。

関連論文リスト

• Approximate Equivariance in Reinforcement Learning [35.04248486334824]
  等変ニューラルネットワークは強化学習において大きな成功を収めている。 多くの問題において、近似対称性のみが存在しており、これは正確な対称性を不適切なものにしている。 我々は、強化学習におけるほぼ同変のアルゴリズムを開発した。
  論文  参考訳（メタデータ） (2024-11-06T19:44:46Z)
• Symmetry Discovery for Different Data Types [52.2614860099811]
  等価ニューラルネットワークは、そのアーキテクチャに対称性を取り入れ、より高度な一般化性能を実現する。 本稿では,タスクの入出力マッピングを近似したトレーニングニューラルネットワークによる対称性発見手法であるLieSDを提案する。 我々は,2体問題,慣性行列予測のモーメント,トップクォークタグ付けといった課題におけるLieSDの性能を検証した。
  論文  参考訳（メタデータ） (2024-10-13T13:39:39Z)
• Enhancing lattice kinetic schemes for fluid dynamics with Lattice-Equivariant Neural Networks [79.16635054977068]
  我々はLattice-Equivariant Neural Networks (LENNs)と呼ばれる新しい同変ニューラルネットワークのクラスを提案する。 我々の手法は、ニューラルネットワークに基づく代理モデルLattice Boltzmann衝突作用素の学習を目的とした、最近導入されたフレームワーク内で開発されている。 本研究は,実世界のシミュレーションにおける機械学習強化Lattice Boltzmann CFDの実用化に向けて展開する。
  論文  参考訳（メタデータ） (2024-05-22T17:23:15Z)
• Symmetry-guided gradient descent for quantum neural networks [5.170906880400192]
  対称性の制約を簡潔な数学的形式に定式化する。 コスト関数に制約を適用する2つの方法を設計します。 我々は対称性誘導勾配降下法(SGGD)と呼ぶ。
  論文  参考訳（メタデータ） (2024-04-09T08:19:33Z)
• Model Merging by Uncertainty-Based Gradient Matching [70.54580972266096]
  ミスマッチを減らすことで性能を改善するための不確実性に基づく新しいスキームを提案する。 我々の新しい手法は、大きな言語モデルと視覚変換器に一貫した改善をもたらす。
  論文  参考訳（メタデータ） (2023-10-19T15:02:45Z)
• Optimization Dynamics of Equivariant and Augmented Neural Networks [2.7918308693131135]
  対称データに基づくニューラルネットワークの最適化について検討する。 アーキテクチャを制約する戦略を、データ拡張を使用する戦略と同等に扱う戦略と比較する。 後者の状況においても, 定常点が拡張トレーニングにおいて不安定であることは明らかだが, 明らかな同変モデルに対しては安定である。
  論文  参考訳（メタデータ） (2023-03-23T17:26:12Z)
• The Surprising Effectiveness of Equivariant Models in Domains with Latent Symmetry [6.716931832076628]
  領域対称性と正確に一致しない対称性制約を課すことは、環境における真の対称性を学ぶのに非常に有用であることを示す。 ロボット操作・制御問題における教師付き学習と強化学習の両方において,同変モデルが潜在対称性を持つ領域における非同変手法を大幅に上回ることを示す。
  論文  参考訳（メタデータ） (2022-11-16T21:51:55Z)
• Symmetry-driven graph neural networks [1.713291434132985]
  ノード座標に影響を及ぼすいくつかの変換に同値なグラフネットワークアーキテクチャを2つ導入する。 我々はこれらの機能を$n$次元の幾何学的オブジェクトからなる合成データセット上で実証する。
  論文  参考訳（メタデータ） (2021-05-28T18:54:12Z)
• Learning Invariances in Neural Networks [51.20867785006147]
  ネットワークパラメータや拡張パラメータに関して,拡張性よりも分布をパラメータ化し,トレーニング損失を同時に最適化する方法を示す。 画像分類,回帰,セグメンテーション,分子特性予測における不均一性の正確なセットと範囲を,拡張の広い空間から復元することができる。
  論文  参考訳（メタデータ） (2020-10-22T17:18:48Z)
• Meta-Learning Symmetries by Reparameterization [63.85144439337671]
  データから対応するパラメータ共有パターンを学習し、等価性をネットワークに学習し、符号化する手法を提案する。 本実験は,画像処理タスクで使用される共通変換に等価性をエンコードして自動的に学習できることを示唆する。
  論文  参考訳（メタデータ） (2020-07-06T17:59:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。