論文の概要: Approximately Equivariant Neural Processes

• arxiv url: http://arxiv.org/abs/2406.13488v2
• Date: Sat, 09 Nov 2024 12:08:21 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-12 14:05:52.514935
• Title: Approximately Equivariant Neural Processes
• Title（参考訳）: ほぼ同変のニューラルプロセス
• Authors: Matthew Ashman, Cristiana Diaconu, Adrian Weller, Wessel Bruinsma, Richard E. Turner,
• Abstract要約: 実世界のデータをモデル化する場合、学習問題は必ずしも同変ではなく、概ね同変であることが多い。 これを達成するための現在のアプローチは、通常任意のアーキテクチャや対称性群に対して最初から適用することはできない。 我々は、既存の同変アーキテクチャを用いてこれを実現するための一般的なアプローチを開発する。
• 参考スコア（独自算出の注目度）: 47.14384085714576
• License:
• Abstract: Equivariant deep learning architectures exploit symmetries in learning problems to improve the sample efficiency of neural-network-based models and their ability to generalise. However, when modelling real-world data, learning problems are often not exactly equivariant, but only approximately. For example, when estimating the global temperature field from weather station observations, local topographical features like mountains break translation equivariance. In these scenarios, it is desirable to construct architectures that can flexibly depart from exact equivariance in a data-driven way. Current approaches to achieving this cannot usually be applied out-of-the-box to any architecture and symmetry group. In this paper, we develop a general approach to achieving this using existing equivariant architectures. Our approach is agnostic to both the choice of symmetry group and model architecture, making it widely applicable. We consider the use of approximately equivariant architectures in neural processes (NPs), a popular family of meta-learning models. We demonstrate the effectiveness of our approach on a number of synthetic and real-world regression experiments, showing that approximately equivariant NP models can outperform both their non-equivariant and strictly equivariant counterparts.
• Abstract（参考訳）: 等価なディープラーニングアーキテクチャは、学習問題の対称性を利用して、ニューラルネットワークベースのモデルのサンプル効率と一般化する能力を改善する。 しかし、実世界のデータをモデル化する場合、学習問題は必ずしも同変ではなく、概ね同変であることが多い。 例えば、気象観測所の観測から地球温度場を推定する際、山岳地帯の地形的特徴は、山間部翻訳の等式である。 これらのシナリオでは、データ駆動方式で、正確に同値から柔軟に逸脱できるアーキテクチャを構築することが望ましい。 これを達成するための現在のアプローチは、通常任意のアーキテクチャや対称性群に対して最初から適用することはできない。 本稿では、既存の同変アーキテクチャを用いて、これを実現するための一般的なアプローチを開発する。 我々のアプローチは対称性群とモデルアーキテクチャの選択に非依存であり、広く適用できる。 我々は、メタラーニングモデルの一般的なファミリーであるニューラルプロセス(NP)におけるほぼ同変アーキテクチャの利用を検討する。 提案手法の有効性を多数の合成および実世界の回帰実験で示し, ほぼ同変NPモデルが, 非同変NPモデル, 厳密な同変NPモデルよりも優れていることを示した。

関連論文リスト

• Does equivariance matter at scale? [15.247352029530523]
  我々は、等変ネットワークと非等変ネットワークが、計算およびトレーニングサンプルでどのようにスケールするかを研究する。 まず、等分散によりデータ効率が向上するが、データ拡張による非同変モデルのトレーニングは、十分なエポックを考慮すれば、このギャップを埋めることができる。 第二に、計算によるスケーリングは、テストされた各計算予算において、同変モデルが非同変モデルよりも優れたパワー則に従う。
  論文  参考訳（メタデータ） (2024-10-30T16:36:59Z)
• Learning Probabilistic Symmetrization for Architecture Agnostic Equivariance [16.49488981364657]
  群対称性を持つ学習関数における同変アーキテクチャの限界を克服する新しい枠組みを提案する。 我々は、不変量や変圧器のような任意の基底モデルを使用し、それを与えられた群に同変するように対称性付けする。 実証実験は、調整された同変アーキテクチャに対する競争結果を示す。
  論文  参考訳（メタデータ） (2023-06-05T13:40:54Z)
• The Lie Derivative for Measuring Learned Equivariance [84.29366874540217]
  我々は、CNN、トランスフォーマー、ミキサーアーキテクチャにまたがる数百の事前訓練されたモデルの同値性について検討する。 その結果,不等式違反の多くは,不等式などのユビキタスネットワーク層における空間エイリアスに関連付けられることがわかった。 例えば、トランスはトレーニング後の畳み込みニューラルネットワークよりも同種である。
  論文  参考訳（メタデータ） (2022-10-06T15:20:55Z)
• Equivariance Discovery by Learned Parameter-Sharing [153.41877129746223]
  データから解釈可能な等価性を発見する方法について検討する。 具体的には、モデルのパラメータ共有方式に対する最適化問題として、この発見プロセスを定式化する。 また,ガウスデータの手法を理論的に解析し,研究された発見スキームとオラクルスキームの間の平均2乗ギャップを限定する。
  論文  参考訳（メタデータ） (2022-04-07T17:59:19Z)
• Group equivariant neural posterior estimation [9.80649677905172]
  群同変神経後部推定(GNPE)は、データの「目的」を自己整合的に標準化することに基づいている。 我々は,GNPEが3桁の精度で推論時間を短縮し,最先端の精度を実現することを示す。
  論文  参考訳（メタデータ） (2021-11-25T15:50:01Z)
• Equivariant vector field network for many-body system modeling [65.22203086172019]
  Equivariant Vector Field Network (EVFN) は、新しい同変層と関連するスカラー化およびベクトル化層に基づいて構築されている。 シミュレーションされたニュートン力学系の軌跡を全観測データと部分観測データで予測する手法について検討した。
  論文  参考訳（メタデータ） (2021-10-26T14:26:25Z)
• Frame Averaging for Invariant and Equivariant Network Design [50.87023773850824]
  フレーム平均化(FA)は、既知の(バックボーン)アーキテクチャを新しい対称性タイプに不変あるいは同変に適応するためのフレームワークである。 FAモデルが最大表現力を持つことを示す。 我々は,新しいユニバーサルグラフニューラルネット(GNN),ユニバーサルユークリッド運動不変点クラウドネットワーク,およびユークリッド運動不変メッセージパッシング(MP)GNNを提案する。
  論文  参考訳（メタデータ） (2021-10-07T11:05:23Z)
• Data efficiency in graph networks through equivariance [1.713291434132985]
  座標埋め込みにおける任意の変換に同値なグラフネットワークのための新しいアーキテクチャを導入する。 最小限のデータ量で学習することで、提案するアーキテクチャが、合成問題において見つからないデータに完全に一般化できることが示される。
  論文  参考訳（メタデータ） (2021-06-25T17:42:34Z)
• Post-mortem on a deep learning contest: a Simpson's paradox and the complementary roles of scale metrics versus shape metrics [61.49826776409194]
  我々は、ニューラルネットワーク(NN)モデルの一般化精度を予測するために、コンテストで公に利用可能にされたモデルのコーパスを分析する。 メトリクスが全体としてよく機能するが、データのサブパーティションではあまり機能しない。 本稿では,データに依存しない2つの新しい形状指標と,一連のNNのテスト精度の傾向を予測できるデータ依存指標を提案する。
  論文  参考訳（メタデータ） (2021-06-01T19:19:49Z)
• Equivariant Learning of Stochastic Fields: Gaussian Processes and Steerable Conditional Neural Processes [44.51932024971217]
  我々は,物理や工学で発生するような,サンプルがフィールドであるプロセスについて,学習分野の問題を考察する。 本稿では,ニューラル・プロセス・ファミリーの完全同変であるステアブル・コンディショナル・ニューラル・プロセス(SteerCNPs)を紹介する。 ガウス過程ベクトル場、画像、実世界の気象データを用いて実験したところ、SteerCNPsは過去のモデルの性能を大幅に改善することがわかった。
  論文  参考訳（メタデータ） (2020-11-25T18:00:40Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。