論文の概要: Which Shortcut Cues Will DNNs Choose? A Study from the Parameter-Space
Perspective
- arxiv url: http://arxiv.org/abs/2110.03095v1
- Date: Wed, 6 Oct 2021 22:51:26 GMT
- ステータス: 処理完了
- システム内更新日: 2021-10-09 10:09:51.873375
- Title: Which Shortcut Cues Will DNNs Choose? A Study from the Parameter-Space
Perspective
- Title(参考訳): DNNはどのショートカットキューツを選ぶのか?
パラメータ空間の観点からの考察
- Authors: Luca Scimeca, Seong Joon Oh, Sanghyuk Chun, Michael Poli, Sangdoo Yun
- Abstract要約: ショートカット学習の理解を深めるための一連の実験とその意味について紹介する。
我々は,あるキューが他のキューよりも望ましいこと,(2)学習しやすいキューに偏った解が収束する傾向があること,(3)好まれるキューに焦点を絞った解がパラメータ空間においてはるかに豊富であること,などを観察する。
本研究は,合成データセットDSpritesと顔データセットUTKFaceに基づく。
- 参考スコア(独自算出の注目度): 27.65806876410807
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Deep neural networks (DNNs) often rely on easy-to-learn discriminatory
features, or cues, that are not necessarily essential to the problem at hand.
For example, ducks in an image may be recognized based on their typical
background scenery, such as lakes or streams. This phenomenon, also known as
shortcut learning, is emerging as a key limitation of the current generation of
machine learning models. In this work, we introduce a set of experiments to
deepen our understanding of shortcut learning and its implications. We design a
training setup with several shortcut cues, named WCST-ML, where each cue is
equally conducive to the visual recognition problem at hand. Even under equal
opportunities, we observe that (1) certain cues are preferred to others, (2)
solutions biased to the easy-to-learn cues tend to converge to relatively flat
minima on the loss surface, and (3) the solutions focusing on those preferred
cues are far more abundant in the parameter space. We explain the abundance of
certain cues via their Kolmogorov (descriptional) complexity: solutions
corresponding to Kolmogorov-simple cues are abundant in the parameter space and
are thus preferred by DNNs. Our studies are based on the synthetic dataset
DSprites and the face dataset UTKFace. In our WCST-ML, we observe that the
inborn bias of models leans toward simple cues, such as color and ethnicity.
Our findings emphasize the importance of active human intervention to remove
the inborn model biases that may cause negative societal impacts.
- Abstract(参考訳): ディープニューラルネットワーク(DNN)は、手前の問題に必ずしも必須ではない、容易に学習できる識別機能(cue)に依存していることが多い。
例えば、画像の中のアヒルは、湖や小川のような典型的な背景風景に基づいて認識される。
この現象はショートカット学習としても知られ、現在の世代の機械学習モデルの鍵となる限界として現れつつある。
本研究では,ショートカット学習の理解を深めるための一連の実験とその意義について紹介する。
wcst-mlと名づけたいくつかのショートカットキューを用いたトレーニングセットをデザインし,それぞれのキューが目の視覚認識問題に対して等しく帰結する。
機会が等しくても,(1)特定のキューが他より望ましいこと,(2)学習しやすいキューに偏った解が損失面上の比較的平坦なミニマに収束する傾向,(3)好まれるキューに焦点を絞った解がパラメータ空間においてはるかに豊富であること,などが観察される。
そこで,Kolmogorov-simple cues に対応する解はパラメータ空間に豊富であり,DNN に好まれる。
本研究は,合成データセットDSpritesと顔データセットUTKFaceに基づく。
WCST-MLでは、モデルの生まれながらの偏見が、色や民族といった単純な手がかりに傾いていることが観察されている。
本研究は,社会に悪影響を及ぼす可能性のある内因性モデルバイアスを除去する活動的介入の重要性を強調した。
関連論文リスト
- Learning Common Rationale to Improve Self-Supervised Representation for
Fine-Grained Visual Recognition Problems [61.11799513362704]
我々は、インスタンスやクラスでよく見られる差別的手がかりを識別するための、追加のスクリーニングメカニズムの学習を提案する。
SSL目標から誘導されるGradCAMを単純に利用することで、共通な有理性検出器が学習可能であることを示す。
論文 参考訳(メタデータ) (2023-03-03T02:07:40Z) - Learning Low Dimensional State Spaces with Overparameterized Recurrent
Neural Nets [57.06026574261203]
我々は、長期記憶をモデル化できる低次元状態空間を学習するための理論的証拠を提供する。
実験は、線形RNNと非線形RNNの両方で低次元状態空間を学習することで、我々の理論を裏付けるものである。
論文 参考訳(メタデータ) (2022-10-25T14:45:15Z) - Generalization of Neural Combinatorial Solvers Through the Lens of
Adversarial Robustness [68.97830259849086]
ほとんどのデータセットは単純なサブプロブレムのみをキャプチャし、おそらくは突発的な特徴に悩まされる。
本研究では, 局所的な一般化特性である対向ロバスト性について検討し, 厳密でモデル固有な例と突発的な特徴を明らかにする。
他のアプリケーションとは異なり、摂動モデルは知覚できないという主観的な概念に基づいて設計されているため、摂動モデルは効率的かつ健全である。
驚くべきことに、そのような摂動によって、十分に表現力のあるニューラルソルバは、教師あり学習で共通する正確さと悪質さのトレードオフの限界に悩まされない。
論文 参考訳(メタデータ) (2021-10-21T07:28:11Z) - One Representative-Shot Learning Using a Population-Driven Template with
Application to Brain Connectivity Classification and Evolution Prediction [0.0]
グラフニューラルネットワーク(GNN)は、ネットワーク神経科学の分野に導入されている。
私たちは、GNNのトレーニングにおいて、まったく異なるアプローチを取っています。
我々は、GNNが単一集団駆動型テンプレートで訓練される最初のワンショットパラダイムを示す。
論文 参考訳(メタデータ) (2021-10-06T08:36:00Z) - Characterizing possible failure modes in physics-informed neural
networks [55.83255669840384]
科学機械学習における最近の研究は、いわゆる物理情報ニューラルネットワーク(PINN)モデルを開発した。
既存のPINN方法論は比較的自明な問題に対して優れたモデルを学ぶことができるが、単純なPDEであっても、関連する物理現象を学習するのに失敗する可能性があることを実証する。
これらの障害モードは,NNアーキテクチャの表現力の欠如によるものではなく,PINNのセットアップによって損失状況の最適化が極めて困難であることを示す。
論文 参考訳(メタデータ) (2021-09-02T16:06:45Z) - Evading the Simplicity Bias: Training a Diverse Set of Models Discovers
Solutions with Superior OOD Generalization [93.8373619657239]
SGDで訓練されたニューラルネットワークは最近、線形予測的特徴に優先的に依存することが示された。
この単純さバイアスは、分布外堅牢性(OOD)の欠如を説明することができる。
単純さのバイアスを軽減し,ood一般化を改善できることを実証する。
論文 参考訳(メタデータ) (2021-05-12T12:12:24Z) - Wide Network Learning with Differential Privacy [7.453881927237143]
現在のニューラルネットの世代は、最も実質的に関連するプライバシトレーニング体制下で大きな損失を被っている。
プライベートな経験最小化(ERM)の勾配を生かしたこれらのモデルを訓練するための一般的なアプローチを開発する。
同じパラメータの数に従って、ニューラルネットワークをプライベートにトレーニングするための新しいアルゴリズムを提案します。
論文 参考訳(メタデータ) (2021-03-01T20:31:50Z) - Hybrid-Attention Guided Network with Multiple Resolution Features for
Person Re-Identification [30.285126447140254]
本稿では,ハイレベルな特徴を学習する際の情報損失を低減するために,ハイレベルな埋め込みと低レベルな埋め込みを融合した新しい人物再IDモデルを提案する。
また,対象物に関するより識別的な特徴を抽出することを目的とした,空間的およびチャネル的注意機構をモデルに導入する。
論文 参考訳(メタデータ) (2020-09-16T08:12:42Z) - Exclusion and Inclusion -- A model agnostic approach to feature
importance in DNNs [3.6888633946892044]
入力特徴のフレーズ単位の重要度を計算するモデルアルゴリズムを提案する。
我々のアプローチは外れ値に対して堅牢であり、入力の本質的な側面のみをキャプチャすることを意味する。
論文 参考訳(メタデータ) (2020-07-13T07:50:53Z) - Hold me tight! Influence of discriminative features on deep network
boundaries [63.627760598441796]
本稿では,データセットの特徴と,サンプルから決定境界までの距離を関連付ける新しい視点を提案する。
これにより、トレーニングサンプルの位置を慎重に調整し、大規模ビジョンデータセットでトレーニングされたCNNの境界における誘発された変化を測定することができる。
論文 参考訳(メタデータ) (2020-02-15T09:29:36Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。