論文の概要: On genuine invariance learning without weight-tying

• arxiv url: http://arxiv.org/abs/2308.03904v1
• Date: Mon, 7 Aug 2023 20:41:19 GMT
• ステータス: 処理完了
• システム内更新日: 2023-08-09 14:54:10.449109
• Title: On genuine invariance learning without weight-tying
• Title（参考訳）: 重み付けのない真の不変学習について
• Authors: Artem Moskalev and Anna Sepliarskaia and Erik J. Bekkers and Arnold Smeulders
• Abstract要約: 重み付け制約を伴わないニューラルネットワークにおける不変学習を解析する。 学習した不変性は入力データに強く条件付けられており、入力分布がシフトした場合は信頼できないことを示す。
• 参考スコア（独自算出の注目度）: 6.308539010172309
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In this paper, we investigate properties and limitations of invariance learned by neural networks from the data compared to the genuine invariance achieved through invariant weight-tying. To do so, we adopt a group theoretical perspective and analyze invariance learning in neural networks without weight-tying constraints. We demonstrate that even when a network learns to correctly classify samples on a group orbit, the underlying decision-making in such a model does not attain genuine invariance. Instead, learned invariance is strongly conditioned on the input data, rendering it unreliable if the input distribution shifts. We next demonstrate how to guide invariance learning toward genuine invariance by regularizing the invariance of a model at the training. To this end, we propose several metrics to quantify learned invariance: (i) predictive distribution invariance, (ii) logit invariance, and (iii) saliency invariance similarity. We show that the invariance learned with the invariance error regularization closely reassembles the genuine invariance of weight-tying models and reliably holds even under a severe input distribution shift. Closer analysis of the learned invariance also reveals the spectral decay phenomenon, when a network chooses to achieve the invariance to a specific transformation group by reducing the sensitivity to any input perturbation.
• Abstract（参考訳）: 本稿では,ニューラルネットワークが学習する不変量の性質と制約を,不変量タイリングによって達成される真の不変量と比較する。 そこで我々は,群の理論的視点を採用し,重み付け制約を伴わずにニューラルネットワークにおける不変学習を分析した。 ネットワークがグループ軌道上のサンプルを正しく分類することを学習したとしても、そのようなモデルの根底にある決定は真の不変性に達しないことを示す。 代わりに、学習した不変性は入力データに強く条件付けされ、入力分布がシフトすると信頼性が低下する。 次に、トレーニング時のモデルの不変性を規則化し、真の不変性に向けて不変学習を導く方法を示す。 この目的のために, 学習不変性を定量化するいくつかの指標を提案する。 (i)予測分布の不変性 (ii)ロジット不変性、及び (iii)塩分不分散相似性。 分散誤差正則化で学習した不変性は, 重み付きモデルの真の不分散を密に再構成し, 厳しい入力分布シフト下においても確実に保持できることを示した。 学習した不変性のより密な分析は、ネットワークが特定の変換群への不変性を選択するとき、入力摂動に対する感度を低下させることによってスペクトル減衰現象も明らかにする。

関連論文リスト

• A Probabilistic Approach to Learning the Degree of Equivariance in Steerable CNNs [5.141137421503899]
  ステアブル畳み込みニューラルネットワーク(SCNN)は、幾何学的対称性をモデル化することによってタスク性能を向上させる。 しかし、未知あるいは様々な対称性は、過剰に制約された重量と性能を低下させる可能性がある。 本稿では,SCNNの等価度を学習するための確率的手法を提案する。
  論文  参考訳（メタデータ） (2024-06-06T10:45:19Z)
• What Affects Learned Equivariance in Deep Image Recognition Models? [10.590129221143222]
  ImageNet上で,学習した翻訳の等価性と検証精度の相関関係を示す証拠が発見された。 データ拡張、モデルのキャパシティの低減、畳み込みの形での帰納バイアスは、ニューラルネットワークにおいてより高い学習等価性をもたらす。
  論文  参考訳（メタデータ） (2023-04-05T17:54:25Z)
• In What Ways Are Deep Neural Networks Invariant and How Should We Measure This? [5.757836174655293]
  我々は、これらの特性を損失や精度などの他の指標から切り離す方法で定量化することができる、不変および等分散メトリクスのファミリーを導入する。 本研究では,事前学習した重み付きモデルの初期化がトレーニングモデルの不変性に影響を及ぼすか否かから,トレーニングによって学習した不変性が分布外データに一般化できる範囲まで,ディープラーニングモデルにおける不変性と等価性に関するさまざまな結論を導出する。
  論文  参考訳（メタデータ） (2022-10-07T18:43:21Z)
• Equivariant Disentangled Transformation for Domain Generalization under Combination Shift [91.38796390449504]
  ドメインとラベルの組み合わせは、トレーニング中に観察されるのではなく、テスト環境に現れる。 我々は、同型の概念、同値性、および整合性の定義に基づく結合シフト問題の一意的な定式化を提供する。
  論文  参考訳（メタデータ） (2022-08-03T12:31:31Z)
• Equivariance Discovery by Learned Parameter-Sharing [153.41877129746223]
  データから解釈可能な等価性を発見する方法について検討する。 具体的には、モデルのパラメータ共有方式に対する最適化問題として、この発見プロセスを定式化する。 また,ガウスデータの手法を理論的に解析し,研究された発見スキームとオラクルスキームの間の平均2乗ギャップを限定する。
  論文  参考訳（メタデータ） (2022-04-07T17:59:19Z)
• Training on Test Data with Bayesian Adaptation for Covariate Shift [96.3250517412545]
  ディープニューラルネットワークは、信頼できない不確実性推定で不正確な予測を行うことが多い。 分布シフトの下でのラベルなし入力とモデルパラメータとの明確に定義された関係を提供するベイズモデルを導出する。 本手法は精度と不確実性の両方を向上することを示す。
  論文  参考訳（メタデータ） (2021-09-27T01:09:08Z)
• Predicting with Confidence on Unseen Distributions [90.68414180153897]
  ドメイン適応と予測不確実性文学を結びつけて、挑戦的な未知分布のモデル精度を予測する。 分類器の予測における信頼度(DoC)の差は,様々な変化に対して,分類器の性能変化を推定することに成功した。 具体的には, 合成分布と自然分布の区別について検討し, その単純さにもかかわらず, DoCは分布差の定量化に優れることを示した。
  論文  参考訳（メタデータ） (2021-07-07T15:50:18Z)
• Invariance Principle Meets Information Bottleneck for Out-of-Distribution Generalization [77.24152933825238]
  線形分類タスクには分布シフトの強い制限が必要であり、そうでなければ OOD の一般化は不可能であることを示す。 不変な特徴がラベルに関するすべての情報をキャプチャし、そうでなければ既存の成功を保っている場合、情報ボトルネックの形式が重要な障害に対処するのに役立つことを証明します。
  論文  参考訳（メタデータ） (2021-06-11T20:42:27Z)
• Learning Invariances in Neural Networks [51.20867785006147]
  ネットワークパラメータや拡張パラメータに関して,拡張性よりも分布をパラメータ化し,トレーニング損失を同時に最適化する方法を示す。 画像分類,回帰,セグメンテーション,分子特性予測における不均一性の正確なセットと範囲を,拡張の広い空間から復元することができる。
  論文  参考訳（メタデータ） (2020-10-22T17:18:48Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。