論文の概要: On the Strong Correlation Between Model Invariance and Generalization

• arxiv url: http://arxiv.org/abs/2207.07065v1
• Date: Thu, 14 Jul 2022 17:08:25 GMT
• ステータス: 処理完了
• システム内更新日: 2022-07-15 14:10:02.613556
• Title: On the Strong Correlation Between Model Invariance and Generalization
• Title（参考訳）: モデル不変性と一般化の強い相関について
• Authors: Weijian Deng, Stephen Gould, Liang Zheng
• Abstract要約: 一般化は、見えないデータを分類するモデルの能力をキャプチャする。 不変性はデータの変換におけるモデル予測の一貫性を測定する。 データセット中心の視点から、あるモデルの精度と不変性は異なるテストセット上で線形に相関している。
• 参考スコア（独自算出の注目度）: 54.812786542023325
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Generalization and invariance are two essential properties of any machine learning model. Generalization captures a model's ability to classify unseen data while invariance measures consistency of model predictions on transformations of the data. Existing research suggests a positive relationship: a model generalizing well should be invariant to certain visual factors. Building on this qualitative implication we make two contributions. First, we introduce effective invariance (EI), a simple and reasonable measure of model invariance which does not rely on image labels. Given predictions on a test image and its transformed version, EI measures how well the predictions agree and with what level of confidence. Second, using invariance scores computed by EI, we perform large-scale quantitative correlation studies between generalization and invariance, focusing on rotation and grayscale transformations. From a model-centric view, we observe generalization and invariance of different models exhibit a strong linear relationship, on both in-distribution and out-of-distribution datasets. From a dataset-centric view, we find a certain model's accuracy and invariance linearly correlated on different test sets. Apart from these major findings, other minor but interesting insights are also discussed.
• Abstract（参考訳）: 一般化と不変性は、あらゆる機械学習モデルの2つの重要な特性である。 一般化は、データ変換のモデル予測の一貫性を測りながら、目に見えないデータを分類するモデルの能力を捉えます。 既存の研究は肯定的な関係を示唆している: 一般化するモデルは、ある視覚的要因に不変であるべきである。 この質的な意味に基づいて、私たちは2つの貢献をします。 まず,画像ラベルに依存しないモデル不変性の簡易かつ合理的な尺度である effective invariance (ei) を導入する。 テストイメージとその変換されたバージョンに関する予測を考えると、EIは予測がどの程度の精度で、どのレベルの信頼度に一致しているかを測定する。 第二に、EIによって計算された不変度スコアを用いて、一般化と不変度の間の大規模定量的相関研究を行い、回転とグレースケール変換に焦点をあてる。 モデル中心の視点から、異なるモデルの一般化と不変性は、分布内および分布外の両方のデータセット上で強い線形関係を示す。 データセット中心の観点から、あるモデルの精度と不変性は異なるテストセット上で線形に相関している。 これらの主要な発見とは別に、他のマイナーだが興味深い洞察も議論されている。

関連論文リスト

• Approximation-Generalization Trade-offs under (Approximate) Group Equivariance [3.0458514384586395]
  グループ同変ニューラルネットワークは、タンパク質や薬物の設計など、様々な分野や応用において印象的な性能を示している。 タスク固有の対称性を捉えるモデルが一般化にどう貢献するかを示す。 モデル対称性がデータ対称性と一致しない場合のモデルミス特定に関するより一般的な問題について検討する。
  論文  参考訳（メタデータ） (2023-05-27T22:53:37Z)
• The Lie Derivative for Measuring Learned Equivariance [84.29366874540217]
  我々は、CNN、トランスフォーマー、ミキサーアーキテクチャにまたがる数百の事前訓練されたモデルの同値性について検討する。 その結果,不等式違反の多くは,不等式などのユビキタスネットワーク層における空間エイリアスに関連付けられることがわかった。 例えば、トランスはトレーニング後の畳み込みニューラルネットワークよりも同種である。
  論文  参考訳（メタデータ） (2022-10-06T15:20:55Z)
• Studying Generalization Through Data Averaging [0.0]
  本研究では,異なるデータセットのサンプルに対する差の平均から得られる一般化ギャップと,列車および試験性能について検討する。 我々はSGDノイズの関数として一般化ギャップとモデルトレインとテスト性能の相違についていくつかの側面を予測した。
  論文  参考訳（メタデータ） (2022-06-28T00:03:40Z)
• ER: Equivariance Regularizer for Knowledge Graph Completion [107.51609402963072]
  我々は、新しい正規化器、すなわち等分散正規化器(ER)を提案する。 ERは、頭と尾のエンティティ間の意味的等価性を利用することで、モデルの一般化能力を高めることができる。 実験結果から,最先端関係予測法よりも明確かつ実質的な改善が示された。
  論文  参考訳（メタデータ） (2022-06-24T08:18:05Z)
• Equivariance Discovery by Learned Parameter-Sharing [153.41877129746223]
  データから解釈可能な等価性を発見する方法について検討する。 具体的には、モデルのパラメータ共有方式に対する最適化問題として、この発見プロセスを定式化する。 また,ガウスデータの手法を理論的に解析し,研究された発見スキームとオラクルスキームの間の平均2乗ギャップを限定する。
  論文  参考訳（メタデータ） (2022-04-07T17:59:19Z)
• Counterfactual Invariance to Spurious Correlations: Why and How to Pass Stress Tests [87.60900567941428]
  素早い相関」とは、アナリストが重要とすべきでないと考える入力データのある側面に対するモデルの依存である。 機械学習では、これらにはノウ・イ・ウ・ウ・ウ・ウ・ウ・ウ・ウ・ウ・ウ・ウ・ウ・ウ・ウ・ウ・ウ・ウ・ウ・ウ・ウ・ウ・ウ・ウ・ウ・ウ・ウ・ウ・ウ・ウ・ウ・ウ」という特徴がある。 因果推論ツールを用いたストレステストについて検討した。
  論文  参考訳（メタデータ） (2021-05-31T14:39:38Z)
• Why do classifier accuracies show linear trends under distribution shift? [58.40438263312526]
  あるデータ分布上のモデルの精度は、別の分布上の精度のほぼ線形関数である。 2つのモデルが予測で一致する確率は、精度レベルだけで推測できるものよりも高いと仮定します。 分布シフトの大きさが大きければ, 2 つの分布のモデルを評価する場合, 線形傾向が生じなければならない。
  論文  参考訳（メタデータ） (2020-12-31T07:24:30Z)
• Memorizing without overfitting: Bias, variance, and interpolation in over-parameterized models [0.0]
  バイアス分散トレードオフは教師あり学習における中心的な概念である。 現代のDeep Learningメソッドは、最先端のパフォーマンスを達成するために、このドグマを浮かび上がらせる。
  論文  参考訳（メタデータ） (2020-10-26T22:31:04Z)
• What causes the test error? Going beyond bias-variance via ANOVA [21.359033212191218]
  現代の機械学習手法は、しばしば過度にパラメータ化され、細かいレベルでのデータへの適応を可能にする。 最近の研究は、なぜ過度なパラメータ化が一般化に役立つのかをより深く理解することを目的としている。 本研究では, 差分解析(ANOVA)を用いて, テスト誤差の分散を対称的に分解する手法を提案する。
  論文  参考訳（メタデータ） (2020-10-11T05:21:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。