論文の概要: Do ImageNet-trained models learn shortcuts? The impact of frequency shortcuts on generalization

• arxiv url: http://arxiv.org/abs/2503.03519v1
• Date: Wed, 05 Mar 2025 14:03:34 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-06 15:52:00.536428
• Title: Do ImageNet-trained models learn shortcuts? The impact of frequency shortcuts on generalization
• Title（参考訳）: ImageNet学習モデルはショートカットを学ぶか? : 周波数ショートカットが一般化に及ぼす影響
• Authors: Shunxin Wang, Raymond Veldhuis, Nicola Strisciuglio,
• Abstract要約: 周波数ショートカットは、モデルが正しい分類に強く依存する特定の周波数パターンを指す。 以前の研究では、小さな画像データセットでトレーニングされたモデルは、しばしばそのようなショートカットを利用することが示されている。 より効率的に周波数ショートカットを大規模に解析する手法を提案する。
• 参考スコア（独自算出の注目度）: 2.784223169208081
• License:
• Abstract: Frequency shortcuts refer to specific frequency patterns that models heavily rely on for correct classification. Previous studies have shown that models trained on small image datasets often exploit such shortcuts, potentially impairing their generalization performance. However, existing methods for identifying frequency shortcuts require expensive computations and become impractical for analyzing models trained on large datasets. In this work, we propose the first approach to more efficiently analyze frequency shortcuts at a larger scale. We show that both CNN and transformer models learn frequency shortcuts on ImageNet. We also expose that frequency shortcut solutions can yield good performance on out-of-distribution (OOD) test sets which largely retain texture information. However, these shortcuts, mostly aligned with texture patterns, hinder model generalization on rendition-based OOD test sets. These observations suggest that current OOD evaluations often overlook the impact of frequency shortcuts on model generalization. Future benchmarks could thus benefit from explicitly assessing and accounting for these shortcuts to build models that generalize across a broader range of OOD scenarios.
• Abstract（参考訳）: 周波数ショートカットは、モデルが正しい分類に強く依存する特定の周波数パターンを指す。 以前の研究では、小さな画像データセットで訓練されたモデルは、しばしばそのようなショートカットを悪用し、一般化性能を損なう可能性があることが示されている。 しかし、既存の周波数ショートカットを特定するには、高価な計算が必要であり、大規模なデータセットで訓練されたモデルを分析するには実用的ではない。 本研究では,より効率的に周波数ショートカットを大規模に解析する手法を提案する。 我々は、CNNとトランスフォーマーモデルの両方が、ImageNet上で周波数ショートカットを学習していることを示す。 また、周波数ショートカットソリューションは、テクスチャ情報をほとんど保持するout-of-distriion (OOD)テストセットで優れた性能が得られることも明らかにした。 しかし、これらのショートカットは主にテクスチャパターンに整合しており、回帰に基づくOODテストセットのモデル一般化を妨げる。 これらの結果から,現在のOOD評価は,周波数ショートカットがモデル一般化に与える影響をしばしば見落としていることが示唆された。 将来のベンチマークは、これらのショートカットを明示的に評価し、説明し、幅広いOODシナリオにまたがって一般化するモデルを構築することの恩恵を受けるだろう。

関連論文リスト

• Sharpening Neural Implicit Functions with Frequency Consolidation Priors [53.6277160912059]
  符号付き距離関数 (Signed Distance Function, SDF) は、高忠実度3D表面を表現するために重要な暗黙の表現である。 現在の手法は主にニューラルネットワークを利用して、署名された3Dポイントクラウドやマルチビューイメージなど、さまざまな監督機関からSDFを学ぶ。 本研究では、高周波成分を回収し、よりシャープで完全な表面を追求することにより、低周波SDF観測を高速化する手法を提案する。
  論文  参考訳（メタデータ） (2024-12-27T16:18:46Z)
• Towards Combating Frequency Simplicity-biased Learning for Domain Generalization [36.777767173275336]
  ドメイン一般化手法は、未知のターゲットドメインによく一般化できるソースドメインから、転送可能な知識を学習することを目的としている。 近年の研究では、ニューラルネットワークはしばしば、特定の周波数セットに対する過度な信頼につながる単純さに偏った学習行動に悩まされていることが示されている。 本稿では,データセットの周波数特性を協調的かつ適応的に調整する2つの効果的なデータ拡張モジュールを提案する。
  論文  参考訳（メタデータ） (2024-10-21T16:17:01Z)
• Exposing Image Classifier Shortcuts with Counterfactual Frequency (CoF) Tables [0.0]
  「ショートカット」は、新しいデータへの一般化に失敗するトレーニングデータから簡単に学習できるパターンである。 例えば、馬を認識するための著作権の透かし、ハスキーを認識するための雪の背景、悪性皮膚病変を検出するためのインクマーキングなどである。 我々は、グローバルな洞察にインスタンスベースの説明を集約する新しいアプローチである、対実周波数表を導入する。
  論文  参考訳（メタデータ） (2024-05-24T15:58:02Z)
• Robust Collaborative Filtering to Popularity Distribution Shift [56.78171423428719]
  本稿では,テストデータに仮定することなく,インタラクションワイドな人気ショートカットを定量化し,削減する,シンプルで効果的なデバイアス対策であるPopGoを提案する。 IDとOODの両方のテストセットにおいて、PopGoは最先端のデバイアス戦略よりも大幅に向上している。
  論文  参考訳（メタデータ） (2023-10-16T04:20:52Z)
• Understanding prompt engineering may not require rethinking generalization [56.38207873589642]
  言語モデルによって与えられるPAC-Bayesと組み合わさったプロンプトの離散的性質は、文献の標準によって非常に厳密な一般化境界をもたらすことを示す。 この研究は、プロンプトエンジニアリングの広範な実践を正当化する可能性がある。
  論文  参考訳（メタデータ） (2023-10-06T00:52:48Z)
• What do neural networks learn in image classification? A frequency shortcut perspective [3.9858496473361402]
  本研究では,ニューラルネットワーク(NN)における周波数ショートカットの学習力学を実験的に研究する。 NNは、分類のための単純な解を見つける傾向があり、訓練中に最初に何を学ぶかは、最も特徴的な周波数特性に依存する。 本稿では,クラスワイズ周波数特性を測定するための指標と,周波数ショートカットの同定方法を提案する。
  論文  参考訳（メタデータ） (2023-07-19T08:34:25Z)
• Why Machine Reading Comprehension Models Learn Shortcuts? [56.629192589376046]
  トレーニングデータにおけるショートカットの質問の大部分が、モデルが過度にショートカットのトリックに依存している、と私たちは主張する。 徹底的な実証分析により、MRCモデルは挑戦的な質問よりも早くショートカットの質問を学習する傾向が示されている。
  論文  参考訳（メタデータ） (2021-06-02T08:43:12Z)
• Visualising Deep Network's Time-Series Representations [93.73198973454944]
  機械学習モデルの普及にもかかわらず、多くの場合、モデルの内部で起きていることに関する洞察のないブラックボックスとして運用される。 本稿では,多次元時系列データの可視化に着目し,この問題に対処する手法を提案する。 高周波在庫市場データセットの実験は、この方法が迅速かつ識別可能な可視化を提供することを示しています。
  論文  参考訳（メタデータ） (2021-03-12T09:53:34Z)
• Towards Interpreting and Mitigating Shortcut Learning Behavior of NLU models [53.36605766266518]
  訓練されたNLUモデルは、長尾分布の先頭に位置する特徴を強く好んでいることを示す。 本研究では,ショートカット度の高いサンプルに対する過信予測を抑えるためのショートカット緩和フレームワークを提案する。
  論文  参考訳（メタデータ） (2021-03-11T19:39:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。