論文の概要: Equivariance Discovery by Learned Parameter-Sharing
- arxiv url: http://arxiv.org/abs/2204.03640v1
- Date: Thu, 7 Apr 2022 17:59:19 GMT
- ステータス: 処理完了
- システム内更新日: 2022-04-08 14:09:22.677233
- Title: Equivariance Discovery by Learned Parameter-Sharing
- Title（参考訳）: 学習パラメータ共有による等分散発見
- Authors: Raymond A. Yeh, Yuan-Ting Hu, Mark Hasegawa-Johnson, Alexander G.
Schwing
- Abstract要約: データから解釈可能な等価性を発見する方法について検討する。
具体的には、モデルのパラメータ共有方式に対する最適化問題として、この発見プロセスを定式化する。
また,ガウスデータの手法を理論的に解析し,研究された発見スキームとオラクルスキームの間の平均2乗ギャップを限定する。
- 参考スコア（独自算出の注目度）: 153.41877129746223
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Designing equivariance as an inductive bias into deep-nets has been a
prominent approach to build effective models, e.g., a convolutional neural
network incorporates translation equivariance. However, incorporating these
inductive biases requires knowledge about the equivariance properties of the
data, which may not be available, e.g., when encountering a new domain. To
address this, we study how to discover interpretable equivariances from data.
Specifically, we formulate this discovery process as an optimization problem
over a model's parameter-sharing schemes. We propose to use the partition
distance to empirically quantify the accuracy of the recovered equivariance.
Also, we theoretically analyze the method for Gaussian data and provide a bound
on the mean squared gap between the studied discovery scheme and the oracle
scheme. Empirically, we show that the approach recovers known equivariances,
such as permutations and shifts, on sum of numbers and spatially-invariant
data.
- Abstract（参考訳）: ディープネットへの帰納的バイアスとして等価性を設計することは、効率的なモデルを構築するための顕著なアプローチである。
しかし、これらの帰納バイアスを組み込むには、例えば新しい領域に遭遇する際には利用できないようなデータの等値性に関する知識が必要である。
そこで本研究では,データから解釈可能な等価性を見出す方法について検討する。
具体的には、この発見プロセスをモデルのパラメータ共有スキームに対する最適化問題として定式化する。
本稿では,分割距離を用いて得られた等価性の精度を実証的に定量化する。
また,ガウスデータの手法を理論的に解析し,研究された発見スキームとオラクルスキームの間の平均2乗ギャップを限定する。
実験により,本手法は数と空間不変量の和に基づいて,置換やシフトなどの既知の等式を復元することを示した。
関連論文リスト
- Collaborative Heterogeneous Causal Inference Beyond Meta-analysis [68.4474531911361]
異種データを用いた因果推論のための協調的逆確率スコア推定器を提案する。
異質性の増加に伴うメタアナリシスに基づく手法に対して,本手法は有意な改善を示した。
論文 参考訳（メタデータ） (2024-04-24T09:04:36Z) - What Affects Learned Equivariance in Deep Image Recognition Models? [10.590129221143222]
ImageNet上で,学習した翻訳の等価性と検証精度の相関関係を示す証拠が発見された。
データ拡張、モデルのキャパシティの低減、畳み込みの形での帰納バイアスは、ニューラルネットワークにおいてより高い学習等価性をもたらす。
論文 参考訳（メタデータ） (2023-04-05T17:54:25Z) - The Lie Derivative for Measuring Learned Equivariance [84.29366874540217]
我々は、CNN、トランスフォーマー、ミキサーアーキテクチャにまたがる数百の事前訓練されたモデルの同値性について検討する。
その結果,不等式違反の多くは,不等式などのユビキタスネットワーク層における空間エイリアスに関連付けられることがわかった。
例えば、トランスはトレーニング後の畳み込みニューラルネットワークよりも同種である。
論文 参考訳（メタデータ） (2022-10-06T15:20:55Z) - Equivariant Disentangled Transformation for Domain Generalization under
Combination Shift [91.38796390449504]
ドメインとラベルの組み合わせは、トレーニング中に観察されるのではなく、テスト環境に現れる。
我々は、同型の概念、同値性、および整合性の定義に基づく結合シフト問題の一意的な定式化を提供する。
論文 参考訳（メタデータ） (2022-08-03T12:31:31Z) - On the Strong Correlation Between Model Invariance and Generalization [54.812786542023325]
一般化は、見えないデータを分類するモデルの能力をキャプチャする。
不変性はデータの変換におけるモデル予測の一貫性を測定する。
データセット中心の視点から、あるモデルの精度と不変性は異なるテストセット上で線形に相関している。
論文 参考訳（メタデータ） (2022-07-14T17:08:25Z) - Group equivariant neural posterior estimation [9.80649677905172]
群同変神経後部推定(GNPE)は、データの「目的」を自己整合的に標準化することに基づいている。
我々は,GNPEが3桁の精度で推論時間を短縮し,最先端の精度を実現することを示す。
論文 参考訳（メタデータ） (2021-11-25T15:50:01Z) - Learning Invariances in Neural Networks [51.20867785006147]
ネットワークパラメータや拡張パラメータに関して,拡張性よりも分布をパラメータ化し,トレーニング損失を同時に最適化する方法を示す。
画像分類,回帰,セグメンテーション,分子特性予測における不均一性の正確なセットと範囲を,拡張の広い空間から復元することができる。
論文 参考訳（メタデータ） (2020-10-22T17:18:48Z) - What causes the test error? Going beyond bias-variance via ANOVA [21.359033212191218]
現代の機械学習手法は、しばしば過度にパラメータ化され、細かいレベルでのデータへの適応を可能にする。
最近の研究は、なぜ過度なパラメータ化が一般化に役立つのかをより深く理解することを目的としている。
本研究では, 差分解析(ANOVA)を用いて, テスト誤差の分散を対称的に分解する手法を提案する。
論文 参考訳（メタデータ） (2020-10-11T05:21:13Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。