論文の概要: Which Shortcut Cues Will DNNs Choose? A Study from the Parameter-Space Perspective

• arxiv url: http://arxiv.org/abs/2110.03095v1
• Date: Wed, 6 Oct 2021 22:51:26 GMT
• ステータス: 処理完了
• システム内更新日: 2021-10-09 10:09:51.873375
• Title: Which Shortcut Cues Will DNNs Choose? A Study from the Parameter-Space Perspective
• Title（参考訳）: DNNはどのショートカットキューツを選ぶのか? パラメータ空間の観点からの考察
• Authors: Luca Scimeca, Seong Joon Oh, Sanghyuk Chun, Michael Poli, Sangdoo Yun
• Abstract要約: ショートカット学習の理解を深めるための一連の実験とその意味について紹介する。 我々は,あるキューが他のキューよりも望ましいこと,(2)学習しやすいキューに偏った解が収束する傾向があること,(3)好まれるキューに焦点を絞った解がパラメータ空間においてはるかに豊富であること,などを観察する。 本研究は,合成データセットDSpritesと顔データセットUTKFaceに基づく。
• 参考スコア（独自算出の注目度）: 27.65806876410807
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Deep neural networks (DNNs) often rely on easy-to-learn discriminatory features, or cues, that are not necessarily essential to the problem at hand. For example, ducks in an image may be recognized based on their typical background scenery, such as lakes or streams. This phenomenon, also known as shortcut learning, is emerging as a key limitation of the current generation of machine learning models. In this work, we introduce a set of experiments to deepen our understanding of shortcut learning and its implications. We design a training setup with several shortcut cues, named WCST-ML, where each cue is equally conducive to the visual recognition problem at hand. Even under equal opportunities, we observe that (1) certain cues are preferred to others, (2) solutions biased to the easy-to-learn cues tend to converge to relatively flat minima on the loss surface, and (3) the solutions focusing on those preferred cues are far more abundant in the parameter space. We explain the abundance of certain cues via their Kolmogorov (descriptional) complexity: solutions corresponding to Kolmogorov-simple cues are abundant in the parameter space and are thus preferred by DNNs. Our studies are based on the synthetic dataset DSprites and the face dataset UTKFace. In our WCST-ML, we observe that the inborn bias of models leans toward simple cues, such as color and ethnicity. Our findings emphasize the importance of active human intervention to remove the inborn model biases that may cause negative societal impacts.
• Abstract（参考訳）: ディープニューラルネットワーク(DNN)は、手前の問題に必ずしも必須ではない、容易に学習できる識別機能(cue)に依存していることが多い。 例えば、画像の中のアヒルは、湖や小川のような典型的な背景風景に基づいて認識される。 この現象はショートカット学習としても知られ、現在の世代の機械学習モデルの鍵となる限界として現れつつある。 本研究では,ショートカット学習の理解を深めるための一連の実験とその意義について紹介する。 wcst-mlと名づけたいくつかのショートカットキューを用いたトレーニングセットをデザインし,それぞれのキューが目の視覚認識問題に対して等しく帰結する。 機会が等しくても,(1)特定のキューが他より望ましいこと,(2)学習しやすいキューに偏った解が損失面上の比較的平坦なミニマに収束する傾向,(3)好まれるキューに焦点を絞った解がパラメータ空間においてはるかに豊富であること,などが観察される。 そこで,Kolmogorov-simple cues に対応する解はパラメータ空間に豊富であり,DNN に好まれる。 本研究は,合成データセットDSpritesと顔データセットUTKFaceに基づく。 WCST-MLでは、モデルの生まれながらの偏見が、色や民族といった単純な手がかりに傾いていることが観察されている。 本研究は,社会に悪影響を及ぼす可能性のある内因性モデルバイアスを除去する活動的介入の重要性を強調した。

関連論文リスト

• Exploring Channel Distinguishability in Local Neighborhoods of the Model Space in Quantum Neural Networks [0.5277756703318045]
  量子ニューラルネットワーク(QNN)が登場し、注目されている。 QNNはトレーニングが難しいことで知られていますが、これは部分的にはAnsatzesと呼ばれるアーキテクチャによるものだと仮定しています。
  論文  参考訳（メタデータ） (2024-10-12T10:20:26Z)
• CLOSER: Towards Better Representation Learning for Few-Shot Class-Incremental Learning [52.63674911541416]
  FSCIL(Few-shot class-incremental Learning)は、過剰適合や忘れなど、いくつかの課題に直面している。 FSCILの独特な課題に取り組むため、ベースクラスでの表現学習に重点を置いている。 より制限された機能空間内で機能の拡散を確保することで、学習された表現が、伝達可能性と識別可能性のバランスを良くすることが可能になることが分かりました。
  論文  参考訳（メタデータ） (2024-10-08T02:23:16Z)
• Machine learning meets the CHSH scenario [0.0]
  機械学習(ML)アプローチの有用性と有効性を評価することに注力する。 我々は、単純なデータサイエンスモデルから高密度ニューラルネットワークまで、幅広いアプローチを検討します。 我々は、平均して良いパフォーマンスを達成することは比較的容易であるが、"ハード"ケースでうまく機能するモデルを訓練することは困難である、と結論付けている。
  論文  参考訳（メタデータ） (2024-07-19T15:16:31Z)
• Just How Flexible are Neural Networks in Practice? [89.80474583606242]
  ニューラルネットワークは、パラメータを持つ少なくとも多くのサンプルを含むトレーニングセットに適合できると広く信じられている。 しかし実際には、勾配や正規化子など、柔軟性を制限したトレーニング手順によるソリューションしか見つからない。
  論文  参考訳（メタデータ） (2024-06-17T12:24:45Z)
• Learning Common Rationale to Improve Self-Supervised Representation for Fine-Grained Visual Recognition Problems [61.11799513362704]
  我々は、インスタンスやクラスでよく見られる差別的手がかりを識別するための、追加のスクリーニングメカニズムの学習を提案する。 SSL目標から誘導されるGradCAMを単純に利用することで、共通な有理性検出器が学習可能であることを示す。
  論文  参考訳（メタデータ） (2023-03-03T02:07:40Z)
• Generalization of Neural Combinatorial Solvers Through the Lens of Adversarial Robustness [68.97830259849086]
  ほとんどのデータセットは単純なサブプロブレムのみをキャプチャし、おそらくは突発的な特徴に悩まされる。 本研究では, 局所的な一般化特性である対向ロバスト性について検討し, 厳密でモデル固有な例と突発的な特徴を明らかにする。 他のアプリケーションとは異なり、摂動モデルは知覚できないという主観的な概念に基づいて設計されているため、摂動モデルは効率的かつ健全である。 驚くべきことに、そのような摂動によって、十分に表現力のあるニューラルソルバは、教師あり学習で共通する正確さと悪質さのトレードオフの限界に悩まされない。
  論文  参考訳（メタデータ） (2021-10-21T07:28:11Z)
• Characterizing possible failure modes in physics-informed neural networks [55.83255669840384]
  科学機械学習における最近の研究は、いわゆる物理情報ニューラルネットワーク(PINN)モデルを開発した。 既存のPINN方法論は比較的自明な問題に対して優れたモデルを学ぶことができるが、単純なPDEであっても、関連する物理現象を学習するのに失敗する可能性があることを実証する。 これらの障害モードは,NNアーキテクチャの表現力の欠如によるものではなく,PINNのセットアップによって損失状況の最適化が極めて困難であることを示す。
  論文  参考訳（メタデータ） (2021-09-02T16:06:45Z)
• Wide Network Learning with Differential Privacy [7.453881927237143]
  現在のニューラルネットの世代は、最も実質的に関連するプライバシトレーニング体制下で大きな損失を被っている。 プライベートな経験最小化(ERM)の勾配を生かしたこれらのモデルを訓練するための一般的なアプローチを開発する。 同じパラメータの数に従って、ニューラルネットワークをプライベートにトレーニングするための新しいアルゴリズムを提案します。
  論文  参考訳（メタデータ） (2021-03-01T20:31:50Z)
• Hybrid-Attention Guided Network with Multiple Resolution Features for Person Re-Identification [30.285126447140254]
  本稿では,ハイレベルな特徴を学習する際の情報損失を低減するために,ハイレベルな埋め込みと低レベルな埋め込みを融合した新しい人物再IDモデルを提案する。 また,対象物に関するより識別的な特徴を抽出することを目的とした,空間的およびチャネル的注意機構をモデルに導入する。
  論文  参考訳（メタデータ） (2020-09-16T08:12:42Z)
• Hold me tight! Influence of discriminative features on deep network boundaries [63.627760598441796]
  本稿では,データセットの特徴と,サンプルから決定境界までの距離を関連付ける新しい視点を提案する。 これにより、トレーニングサンプルの位置を慎重に調整し、大規模ビジョンデータセットでトレーニングされたCNNの境界における誘発された変化を測定することができる。
  論文  参考訳（メタデータ） (2020-02-15T09:29:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。