論文の概要: A Modern Look at Simplicity Bias in Image Classification Tasks

• arxiv url: http://arxiv.org/abs/2509.12265v1
• Date: Sat, 13 Sep 2025 02:33:57 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-09-17 17:50:52.662318
• Title: A Modern Look at Simplicity Bias in Image Classification Tasks
• Title（参考訳）: 画像分類作業における単純度バイアスの現代的考察
• Authors: Xiaoguang Chang, Teng Wang, Changyin Sun,
• Abstract要約: ニューラルネットワークの単純性 Bias (SB) は、その一般化能力の重要な要素である。 近年の研究では、過剰なSBが複雑なタスクのパフォーマンスを損なう可能性が示されている。 様々な画像分類タスクに対するSBの関連性については、ほとんど分かっていない。
• 参考スコア（独自算出の注目度）: 34.17209569574445
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The simplicity Bias (SB) of neural networks, i.e.\ their tendency to represent simple functions, is a key factor in their generalization capabilities. Recent studies show that an excessive SB may harm performance on complex tasks, and the need for this bias varies across tasks. Many of these studies focus on simple models or synthetic tasks. It remains challenging to measure the SB in large models and little is known about the relevance of the SB to various image classification tasks. In this paper, we investigate the relationship between the SB in CLIP models and their performance across image classification tasks. First, we theoretically analyze the potential limitation of existing measures of complexity that have been used to characterize small models. To address this, we propose a frequency-aware measure capturing finer-grained SB differences. We validate this measure on CLIP models subjected to two recent SB-modulation methods, demonstrating that it is more informative and consistent than previous measures. Second, we examine the relation between the SB of those models and their performance across a range of image classification tasks, including zero-shot and fine-tuning settings. These experiments reveal a range of behaviors. For example, a stronger SB correlates with a better performance on OOD generalization than on adversarial robustness. These results highlight the benefits of aligning a model's inductive biases with the characteristics of the target task.
• Abstract（参考訳）: ニューラルネットワークの単純度バイアス(SB)、すなわち単純な関数を表す傾向は、一般化能力の鍵となる要素である。 近年の研究では、過剰なSBが複雑なタスクのパフォーマンスを損なう可能性があり、このバイアスの必要性はタスクによって異なることが示されている。 これらの研究の多くは、単純なモデルや合成タスクに焦点を当てている。 大規模なモデルでのSBの測定は依然として困難であり、様々な画像分類タスクに対するSBの関連性はほとんど分かっていない。 本稿では,CLIPモデルにおけるSBと画像分類タスク間の性能の関係について検討する。 まず、我々は、小さなモデルの特徴付けに使われている既存の複雑さの尺度の潜在的な制限について理論的に分析する。 そこで本研究では,より微細なSB差を計測する周波数認識尺度を提案する。 近年の2つのSB変調法が適用されているCLIPモデルに対して,本手法の有効性を検証した。 第2に、ゼロショットや微調整の設定を含む様々な画像分類タスクにおいて、これらのモデルのSBとそれらの性能の関係について検討する。 これらの実験は様々な行動を明らかにしている。 例えば、強いSBは、OODの一般化において、対向的ロバスト性よりも優れた性能で相関する。 これらの結果は、モデルの帰納バイアスを目標タスクの特徴と整合させることの利点を強調します。

関連論文リスト

• Corpus Considerations for Annotator Modeling and Scaling [9.263562546969695]
  一般的に使われているユーザトークンモデルは、より複雑なモデルよりも一貫して優れています。 以上の結果から,コーパス統計とアノテータモデリング性能の関係が明らかになった。
  論文  参考訳（メタデータ） (2024-04-02T22:27:24Z)
• Benchmarking Zero-Shot Robustness of Multimodal Foundation Models: A Pilot Study [61.65123150513683]
  CLIPのようなマルチモーダル基盤モデルは、最先端のゼロショット結果を生成する。 これらのモデルは、ImageNetでトレーニングされた教師付きモデルのパフォーマンスを一致させることで、ロバスト性ギャップを埋めることが報告されている。 CLIPは、ベンチマーク上の教師付きImageNetモデルと比較して、かなりの堅牢性低下をもたらすことを示す。
  論文  参考訳（メタデータ） (2024-03-15T17:33:49Z)
• Spurious Feature Eraser: Stabilizing Test-Time Adaptation for Vision-Language Foundation Model [86.9619638550683]
  視覚言語基礎モデルは、画像とテキストのペアデータに拡張性があるため、多数の下流タスクで顕著な成功を収めている。 しかし、これらのモデルは、決定ショートカットの結果、きめ細かな画像分類などの下流タスクに適用した場合に重大な制限を呈する」。
  論文  参考訳（メタデータ） (2024-03-01T09:01:53Z)
• Quantified Task Misalignment to Inform PEFT: An Exploration of Domain Generalization and Catastrophic Forgetting in CLIP [7.550566004119157]
  CLIPモデルにおけるタスクの難易度とパラメータ効率の単純な微調整手法の性能の関係を解析する。 注意重みのサブセットのみを訓練する手法は、A-CLIPと呼ばれ、領域一般化と破滅的忘れのバランスをとる。
  論文  参考訳（メタデータ） (2024-02-14T23:01:03Z)
• Delving into Identify-Emphasize Paradigm for Combating Unknown Bias [52.76758938921129]
  同定精度を高めるため,有効バイアス強調スコアリング法(ECS)を提案する。 また, マイニングされたバイアスアライメントとバイアスコンプリケート試料のコントリビューションのバランスをとるために, 勾配アライメント(GA)を提案する。 様々な環境で複数のデータセットで実験を行い、提案されたソリューションが未知のバイアスの影響を軽減することを実証した。
  論文  参考訳（メタデータ） (2023-02-22T14:50:24Z)
• Delving Deep into Simplicity Bias for Long-Tailed Image Recognition [26.406340693852375]
  単純性バイアス(Simplicity Bias、SB)は、深層ニューラルネットワークが単純な予測パターンに依存しているが、教師付きタスクに適用した場合に複雑な特徴を無視する現象である。 本研究では,長尾画像認識におけるSBについて検討し,SBに苦しむ尾クラスがより重篤であることを示す。 不均衡データに適した自己教師付き学習(SSL)手法を提案する。
  論文  参考訳（メタデータ） (2023-02-07T05:29:38Z)
• Simplicity Bias in 1-Hidden Layer Neural Networks [28.755809186616702]
  最近の研究では、ニューラルネットワークが極端に単純バイアス(SB)を示すことが示されている。 我々は、SBを入力の低次元射影の関数であるネットワークとして定義する。 我々は、ImagenetteやWaterbirds-Landbirdsのような実際のデータセットで訓練されたモデルが、実際に入力の低次元投影に依存していることを示す。
  論文  参考訳（メタデータ） (2023-02-01T14:00:35Z)
• Causal Triplet: An Open Challenge for Intervention-centric Causal Representation Learning [98.78136504619539]
  Causal Tripletは、視覚的に複雑なシーンを特徴とする因果表現学習ベンチマークである。 この結果から,不整合表現やオブジェクト中心表現の知識によって構築されたモデルが,分散表現よりもはるかに優れていることを示す。
  論文  参考訳（メタデータ） (2023-01-12T17:43:38Z)
• Simplicity Bias Leads to Amplified Performance Disparities [8.60453031364566]
  SGDで訓練されたモデルは、単純さに偏りがあることを示し、多数派の学習を優先させる。 モデルは、単純なデータセットのクラスやグループを優先順位付けし、複雑なものを見つけることを犠牲にすることができる。
  論文  参考訳（メタデータ） (2022-12-13T15:24:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。