論文の概要: On the Relationship Between Double Descent of CNNs and Shape/Texture Bias Under Learning Process

• arxiv url: http://arxiv.org/abs/2503.02302v1
• Date: Tue, 04 Mar 2025 06:04:50 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-05 19:22:05.942782
• Title: On the Relationship Between Double Descent of CNNs and Shape/Texture Bias Under Learning Process
• Title（参考訳）: 学習過程におけるCNNの二重発色と形状/テクスチュアバイアスの関係について
• Authors: Shun Iwase, Shuya Takahashi, Nakamasa Inoue, Rio Yokota, Ryo Nakamura, Hirokatsu Kataoka,
• Abstract要約: 画像認識のための畳み込みニューラルネットワーク(CNN)における二重降下現象について検討する。 CNNの学習過程における形状/テクスチャーバイアスとエポックな二重降下の関係を見出した。 また, ラベルノイズのない状況においても, 形状・テクスチャバイアスの二重降下・上昇が観察された。
• 参考スコア（独自算出の注目度）: 19.85347561783277
• License:
• Abstract: The double descent phenomenon, which deviates from the traditional bias-variance trade-off theory, attracts considerable research attention; however, the mechanism of its occurrence is not fully understood. On the other hand, in the study of convolutional neural networks (CNNs) for image recognition, methods are proposed to quantify the bias on shape features versus texture features in images, determining which features the CNN focuses on more. In this work, we hypothesize that there is a relationship between the shape/texture bias in the learning process of CNNs and epoch-wise double descent, and we conduct verification. As a result, we discover double descent/ascent of shape/texture bias synchronized with double descent of test error under conditions where epoch-wise double descent is observed. Quantitative evaluations confirm this correlation between the test errors and the bias values from the initial decrease to the full increase in test error. Interestingly, double descent/ascent of shape/texture bias is observed in some cases even in conditions without label noise, where double descent is thought not to occur. These experimental results are considered to contribute to the understanding of the mechanisms behind the double descent phenomenon and the learning process of CNNs in image recognition.
• Abstract（参考訳）: 従来のバイアス分散トレードオフ理論から逸脱する二重降下現象は、かなりの研究の注目を集めるが、その発生のメカニズムは完全には理解されていない。 一方、画像認識のための畳み込みニューラルネットワーク(CNN)の研究において、画像の形状特徴とテクスチャ特徴の偏りを定量化する方法が提案され、CNNがより重視する特徴を判断する。 本研究では,CNNの学習過程における形状/テクスチャバイアスとエポックな二重降下の関係を仮説化し,検証を行う。 その結果、エポックワイドの二重降下が観測される条件下で、テストエラーの二重降下と同期した形状/テクスチャバイアスの二重降下/上昇が発見された。 定量的評価により, テストエラーとバイアス値との相関が, 初期値の低下からテストエラーの完全増加まで確認される。 興味深いことに、二重降下が起こらないラベルノイズのない状況でも、形状/テクスチャバイアスの二重降下/上昇が観察されることがある。 これらの実験結果は、画像認識における二重降下現象の背後にあるメカニズムとCNNの学習過程の理解に寄与すると考えられる。

関連論文リスト

• A U-turn on Double Descent: Rethinking Parameter Counting in Statistical Learning [68.76846801719095]
  二重降下がいつどこで起こるのかを正確に示し、その位置が本質的に閾値 p=n に結び付けられていないことを示す。 これは二重降下と統計的直観の間の緊張を解消する。
  論文  参考訳（メタデータ） (2023-10-29T12:05:39Z)
• It's an Alignment, Not a Trade-off: Revisiting Bias and Variance in Deep Models [51.66015254740692]
  深層学習に基づく分類モデルのアンサンブルでは, バイアスと分散がサンプルレベルで一致していることが示される。 我々はこの現象をキャリブレーションと神経崩壊という2つの理論的観点から研究する。
  論文  参考訳（メタデータ） (2023-10-13T17:06:34Z)
• Multi-scale Feature Learning Dynamics: Insights for Double Descent [71.91871020059857]
  一般化誤差の「二重降下」現象について検討する。 二重降下は、異なるスケールで学習される異なる特徴に起因する可能性がある。
  論文  参考訳（メタデータ） (2021-12-06T18:17:08Z)
• Unravelling the Effect of Image Distortions for Biased Prediction of Pre-trained Face Recognition Models [86.79402670904338]
  画像歪みの存在下での4つの最先端深層顔認識モデルの性能評価を行った。 我々は、画像歪みが、異なるサブグループ間でのモデルの性能ギャップと関係していることを観察した。
  論文  参考訳（メタデータ） (2021-08-14T16:49:05Z)
• Optimization Variance: Exploring Generalization Properties of DNNs [83.78477167211315]
  ディープニューラルネットワーク(DNN)のテストエラーは、しばしば二重降下を示す。 そこで本研究では,モデル更新の多様性を測定するために,新しい測度である最適化分散(OV)を提案する。
  論文  参考訳（メタデータ） (2021-06-03T09:34:17Z)
• Learning from Failure: Training Debiased Classifier from Biased Classifier [76.52804102765931]
  ニューラルネットワークは、所望の知識よりも学習が簡単である場合にのみ、素早い相関に依存することを学習していることを示す。 本稿では,一対のニューラルネットワークを同時にトレーニングすることで,障害に基づくデバイアス化手法を提案する。 本手法は,合成データセットと実世界のデータセットの両方において,各種バイアスに対するネットワークのトレーニングを大幅に改善する。
  論文  参考訳（メタデータ） (2020-07-06T07:20:29Z)
• Double Trouble in Double Descent : Bias and Variance(s) in the Lazy Regime [32.65347128465841]
  深層ニューラルネットワークは、トレーニングデータを完璧に補間しながら、素晴らしいパフォーマンスを達成することができる。 バイアス分散トレードオフのU曲線ではなく、テストエラーはしばしば「二重降下」に従う。 我々は、ニューラルネットワークのいわゆる遅延学習システムにおいて、この現象の定量的理論を開発する。
  論文  参考訳（メタデータ） (2020-03-02T17:39:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。