論文の概要: Understanding Visual Feature Reliance through the Lens of Complexity
- arxiv url: http://arxiv.org/abs/2407.06076v2
- Date: Mon, 28 Oct 2024 11:15:06 GMT
- ステータス: 処理完了
- システム内更新日: 2024-11-08 23:13:33.287530
- Title: Understanding Visual Feature Reliance through the Lens of Complexity
- Title（参考訳）: 複雑レンズによる視覚的特徴の信頼性の理解
- Authors: Thomas Fel, Louis Bethune, Andrew Kyle Lampinen, Thomas Serre, Katherine Hermann,
- Abstract要約: 我々は$mathscrV$-informationに基づいて,特徴量の定量化のための新しい指標を提案する。
我々は、標準画像ネット学習視覚モデルから抽出した1万個の特徴の複雑さを、垂直層内の方向として表現する。
- 参考スコア（独自算出の注目度）: 14.282243225622093
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Recent studies suggest that deep learning models inductive bias towards favoring simpler features may be one of the sources of shortcut learning. Yet, there has been limited focus on understanding the complexity of the myriad features that models learn. In this work, we introduce a new metric for quantifying feature complexity, based on $\mathscr{V}$-information and capturing whether a feature requires complex computational transformations to be extracted. Using this $\mathscr{V}$-information metric, we analyze the complexities of 10,000 features, represented as directions in the penultimate layer, that were extracted from a standard ImageNet-trained vision model. Our study addresses four key questions: First, we ask what features look like as a function of complexity and find a spectrum of simple to complex features present within the model. Second, we ask when features are learned during training. We find that simpler features dominate early in training, and more complex features emerge gradually. Third, we investigate where within the network simple and complex features flow, and find that simpler features tend to bypass the visual hierarchy via residual connections. Fourth, we explore the connection between features complexity and their importance in driving the networks decision. We find that complex features tend to be less important. Surprisingly, important features become accessible at earlier layers during training, like a sedimentation process, allowing the model to build upon these foundational elements.
- Abstract（参考訳）: 近年の研究では、より単純な特徴を優先する学習モデルによる帰納的バイアスがショートカット学習の源泉である可能性が示唆されている。
しかし、モデルが学習する無数の機能の複雑さを理解することに限定的な焦点が当てられている。
本稿では,$\mathscr{V}$-informationに基づいて,特徴量の定量化のための新しい指標を提案する。
この$\mathscr{V}$-information Metricsを用いて、標準的なImageNetトレーニングされた視覚モデルから抽出された1万個の特徴の複雑さを分析した。
まず、複雑性の関数として機能がどのように見えるのかを尋ね、モデルの中に存在する単純で複雑な機能のスペクトルを見つけます。
次に、トレーニング中に機能がいつ学習されるか尋ねます。
トレーニングの初期段階では、よりシンプルな機能が支配的であり、より複雑な機能が徐々に現れます。
第三に、ネットワーク内の単純かつ複雑な特徴の流れを調査し、より単純な特徴が残差接続を介して視覚的階層をバイパスする傾向があることを明らかにする。
第4に,機能複雑性とネットワーク決定における重要性の関連について検討する。
複雑な機能は重要度が低い傾向にある。
驚くべきことに、トレーニング中に重要な機能が、沈殿プロセスのような以前のレイヤでアクセス可能になり、モデルがこれらの基礎的な要素の上に構築できるようになる。
関連論文リスト
- Learned feature representations are biased by complexity, learning order, position, and more [4.529707672004383]
我々は表現と計算の間の驚くべき解離を探求する。
さまざまなディープラーニングアーキテクチャをトレーニングして、入力に関する複数の抽象的な特徴を計算します。
学習した特徴表現は、他の特徴よりも強い特徴を表現するために体系的に偏っていることが分かりました。
論文 参考訳（メタデータ） (2024-05-09T15:34:15Z) - How Deep Networks Learn Sparse and Hierarchical Data: the Sparse Random Hierarchy Model [4.215221129670858]
生成的階層的データモデルに空間性を導入することで、スムーズな変換の離散バージョンである空間変換に対する非感受性を得ることを示す。
SRHMを学習するCNNのサンプルの複雑さが、タスクのスパーシリティと階層構造の両方に依存するかを定量化する。
論文 参考訳（メタデータ） (2024-04-16T17:01:27Z) - Simplicity in Complexity : Explaining Visual Complexity using Deep Segmentation Models [6.324765782436764]
画像のセグメントベース表現を用いた複雑性のモデル化を提案する。
この2つの特徴を6つの多様な画像集合にまたがる単純な線形モデルにより,複雑性がよく説明できることがわかった。
論文 参考訳（メタデータ） (2024-03-05T17:21:31Z) - Feature Network Methods in Machine Learning and Applications [0.0]
機械学習(ML)機能ネットワーク(英: machine learning feature network)は、機械学習タスクにおけるML機能を、その類似性に基づいて接続するグラフである。
本稿では,機能クラスタリングとフィードフォワード学習によって階層的な接続が形成される,深い木構造特徴ネットワークの例を示す。
論文 参考訳（メタデータ） (2024-01-10T01:57:12Z) - Rotating Features for Object Discovery [74.1465486264609]
本稿では,複雑な特徴を高次元に一般化した回転特徴と,分散表現からオブジェクトを抽出する新たな評価手法を提案する。
これらの進歩により、分散オブジェクト中心の表現を単純な玩具から現実世界のデータに拡張することが可能になります。
論文 参考訳（メタデータ） (2023-06-01T12:16:26Z) - Learning an Invertible Output Mapping Can Mitigate Simplicity Bias in
Neural Networks [66.76034024335833]
バックボーンによって多様・複雑な特徴が学習される理由を考察し、その脆さは、主に最も単純な特徴に依存する線形分類ヘッドによるものである。
本稿では,学習した特徴がログから復元可能であることを保証するために,特徴再構成正則化器(FRR)を提案する。
我々は、最近導入された極端分布シフトを持つ半合成データセットにおいて、OOD精度が最大15%向上することを示した。
論文 参考訳（メタデータ） (2022-10-04T04:01:15Z) - Sample-Efficient Reinforcement Learning in the Presence of Exogenous
Information [77.19830787312743]
実世界の強化学習アプリケーションでは、学習者の観察空間は、その課題に関する関連情報と無関係情報の両方でユビキタスに高次元である。
本稿では,強化学習のための新しい問題設定法であるExogenous Decision Process (ExoMDP)を導入する。
内因性成分の大きさのサンプル複雑度で準最適ポリシーを学習するアルゴリズムであるExoRLを提案する。
論文 参考訳（メタデータ） (2022-06-09T05:19:32Z) - Feature Forgetting in Continual Representation Learning [48.89340526235304]
表現は、平凡な連続学習においても「破滅的な忘れ」に苦しめられることはないが、その特徴についてはほとんど知られていない。
連続的な学習における表現を評価するためのプロトコルを考案し、それを用いて連続的な表現学習の基本的傾向の概要を示す。
特徴忘れ問題を研究するために、ニューラルネットワークにおける特徴忘れの頻度を識別し視覚化する合成データセットを作成する。
論文 参考訳（メタデータ） (2022-05-26T13:38:56Z) - Dist2Cycle: A Simplicial Neural Network for Homology Localization [66.15805004725809]
単純複体は多方向順序関係を明示的にエンコードするグラフの高次元一般化と見なすことができる。
単体錯体の$k$-homological特徴によってパラメータ化された関数のグラフ畳み込みモデルを提案する。
論文 参考訳（メタデータ） (2021-10-28T14:59:41Z) - A neural anisotropic view of underspecification in deep learning [60.119023683371736]
ニューラルネットが問題の未特定化を扱う方法が,データ表現に大きく依存していることを示す。
深層学習におけるアーキテクチャ的インダクティブバイアスの理解は,これらのシステムの公平性,堅牢性,一般化に対処する上で基本的であることを強調した。
論文 参考訳（メタデータ） (2021-04-29T14:31:09Z) - What shapes feature representations? Exploring datasets, architectures,
and training [14.794135558227682]
自然主義的な学習問題では、モデルの入力には幅広い特徴が含まれており、いくつかは手元にあるタスクに有用である。
これらの疑問はモデル決定の基盤を理解する上で重要である。
入力特徴のタスク関連性を直接制御できる合成データセットを用いて,これらの質問について検討する。
論文 参考訳（メタデータ） (2020-06-22T17:02:25Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。