論文の概要: Learning Invariances in Neural Networks

• arxiv url: http://arxiv.org/abs/2010.11882v2
• Date: Tue, 1 Dec 2020 17:38:11 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-04 05:38:55.643506
• Title: Learning Invariances in Neural Networks
• Title（参考訳）: ニューラルネットワークにおける学習不変性
• Authors: Gregory Benton, Marc Finzi, Pavel Izmailov, Andrew Gordon Wilson
• Abstract要約: ネットワークパラメータや拡張パラメータに関して,拡張性よりも分布をパラメータ化し,トレーニング損失を同時に最適化する方法を示す。 画像分類,回帰,セグメンテーション,分子特性予測における不均一性の正確なセットと範囲を,拡張の広い空間から復元することができる。
• 参考スコア（独自算出の注目度）: 51.20867785006147
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Invariances to translations have imbued convolutional neural networks with powerful generalization properties. However, we often do not know a priori what invariances are present in the data, or to what extent a model should be invariant to a given symmetry group. We show how to \emph{learn} invariances and equivariances by parameterizing a distribution over augmentations and optimizing the training loss simultaneously with respect to the network parameters and augmentation parameters. With this simple procedure we can recover the correct set and extent of invariances on image classification, regression, segmentation, and molecular property prediction from a large space of augmentations, on training data alone.
• Abstract（参考訳）: 翻訳に対する不変性は、強力な一般化特性を持つ畳み込みニューラルネットワークを組み込んでいる。 しかし、データにどのような不変性が存在するのか、あるいはモデルが与えられた対称性群にどの程度不変であるべきかは、よくわからない。 本稿では,ネットワークパラメータと拡張パラメータに対する分布のパラメータ化とトレーニング損失の最適化により,emph{learn}不変性と等分散の方法を示す。 この簡単な手順により、トレーニングデータだけで、画像分類、回帰、セグメント化、および分子特性予測の正確なセットと範囲を、拡張の広い空間から復元することができる。

関連論文リスト

• On genuine invariance learning without weight-tying [6.308539010172309]
  重み付け制約を伴わないニューラルネットワークにおける不変学習を解析する。 学習した不変性は入力データに強く条件付けられており、入力分布がシフトした場合は信頼できないことを示す。
  論文  参考訳（メタデータ） (2023-08-07T20:41:19Z)
• What Affects Learned Equivariance in Deep Image Recognition Models? [10.590129221143222]
  ImageNet上で,学習した翻訳の等価性と検証精度の相関関係を示す証拠が発見された。 データ拡張、モデルのキャパシティの低減、畳み込みの形での帰納バイアスは、ニューラルネットワークにおいてより高い学習等価性をもたらす。
  論文  参考訳（メタデータ） (2023-04-05T17:54:25Z)
• In What Ways Are Deep Neural Networks Invariant and How Should We Measure This? [5.757836174655293]
  我々は、これらの特性を損失や精度などの他の指標から切り離す方法で定量化することができる、不変および等分散メトリクスのファミリーを導入する。 本研究では,事前学習した重み付きモデルの初期化がトレーニングモデルの不変性に影響を及ぼすか否かから,トレーニングによって学習した不変性が分布外データに一般化できる範囲まで,ディープラーニングモデルにおける不変性と等価性に関するさまざまな結論を導出する。
  論文  参考訳（メタデータ） (2022-10-07T18:43:21Z)
• The Lie Derivative for Measuring Learned Equivariance [49.39804522506397]
  我々は、CNN、トランスフォーマー、ミキサーアーキテクチャにまたがる数百の事前訓練されたモデルの同値性について検討する。 その結果,不等式違反の多くは,不等式などのユビキタスネットワーク層における空間エイリアスに関連付けられることがわかった。 例えば、トランスはトレーニング後の畳み込みニューラルネットワークよりも同種である。
  論文  参考訳（メタデータ） (2022-10-06T15:20:55Z)
• Equivariance Discovery by Learned Parameter-Sharing [153.41877129746223]
  データから解釈可能な等価性を発見する方法について検討する。 具体的には、モデルのパラメータ共有方式に対する最適化問題として、この発見プロセスを定式化する。 また,ガウスデータの手法を理論的に解析し,研究された発見スキームとオラクルスキームの間の平均2乗ギャップを限定する。
  論文  参考訳（メタデータ） (2022-04-07T17:59:19Z)
• Learning Invariant Weights in Neural Networks [16.127299898156203]
  機械学習でよく使われるモデルの多くは、データ内の特定の対称性を尊重することを制約している。 本稿では,ニューラルネットワークにおける不変性学習の限界値の最小化により,このアプローチに準ずる重み空間を提案する。
  論文  参考訳（メタデータ） (2022-02-25T00:17:09Z)
• Unlabelled Data Improves Bayesian Uncertainty Calibration under Covariate Shift [100.52588638477862]
  後続正則化に基づく近似ベイズ推定法を開発した。 前立腺癌の予後モデルを世界規模で導入する上で,本手法の有用性を実証する。
  論文  参考訳（メタデータ） (2020-06-26T13:50:19Z)
• On the Benefits of Invariance in Neural Networks [56.362579457990094]
  データ拡張によるトレーニングは、リスクとその勾配をよりよく見積もることを示し、データ拡張でトレーニングされたモデルに対して、PAC-Bayes一般化を提供する。 また,データ拡張と比べ,平均化は凸損失を伴う場合の一般化誤差を低減し,PAC-Bayes境界を狭めることを示した。
  論文  参考訳（メタデータ） (2020-05-01T02:08:58Z)
• Regularizing Class-wise Predictions via Self-knowledge Distillation [80.76254453115766]
  類似サンプル間の予測分布を解析する新しい正規化法を提案する。 これにより、単一のネットワークの暗黒知識(すなわち誤った予測に関する知識)を規則化する。 画像分類タスクにおける実験結果から, 単純だが強力な手法が一般化能力を大幅に向上することを示した。
  論文  参考訳（メタデータ） (2020-03-31T06:03:51Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。