論文の概要: Learned feature representations are biased by complexity, learning order, position, and more
- arxiv url: http://arxiv.org/abs/2405.05847v2
- Date: Thu, 6 Jun 2024 15:22:31 GMT
- ステータス: 処理完了
- システム内更新日: 2024-06-07 20:33:09.120584
- Title: Learned feature representations are biased by complexity, learning order, position, and more
- Title（参考訳）: 学習された特徴表現は複雑さ、学習順序、位置などに偏っている
- Authors: Andrew Kyle Lampinen, Stephanie C. Y. Chan, Katherine Hermann,
- Abstract要約: 我々は表現と計算の間の驚くべき解離を探求する。
さまざまなディープラーニングアーキテクチャをトレーニングして、入力に関する複数の抽象的な特徴を計算します。
学習した特徴表現は、他の特徴よりも強い特徴を表現するために体系的に偏っていることが分かりました。
- 参考スコア（独自算出の注目度）: 4.529707672004383
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Representation learning, and interpreting learned representations, are key areas of focus in machine learning and neuroscience. Both fields generally use representations as a means to understand or improve a system's computations. In this work, however, we explore surprising dissociations between representation and computation that may pose challenges for such efforts. We create datasets in which we attempt to match the computational role that different features play, while manipulating other properties of the features or the data. We train various deep learning architectures to compute these multiple abstract features about their inputs. We find that their learned feature representations are systematically biased towards representing some features more strongly than others, depending upon extraneous properties such as feature complexity, the order in which features are learned, and the distribution of features over the inputs. For example, features that are simpler to compute or learned first tend to be represented more strongly and densely than features that are more complex or learned later, even if all features are learned equally well. We also explore how these biases are affected by architectures, optimizers, and training regimes (e.g., in transformers, features decoded earlier in the output sequence also tend to be represented more strongly). Our results help to characterize the inductive biases of gradient-based representation learning. These results also highlight a key challenge for interpretability $-$ or for comparing the representations of models and brains $-$ disentangling extraneous biases from the computationally important aspects of a system's internal representations.
- Abstract（参考訳）: 表現学習(representation learning)は、機械学習と神経科学において重要な分野である。
どちらの分野も一般に、システムの計算を理解したり改善したりする手段として表現を使用する。
しかし,本稿では,このような取り組みに課題が生じる可能性のある表現と計算の予期せぬ解離について検討する。
私たちはデータセットを作成し、異なる機能やデータの他の特性を操作しながら、異なる機能が果たす計算的役割にマッチしようとします。
さまざまなディープラーニングアーキテクチャをトレーニングして、これらの入力に関する複数の抽象的な特徴を計算します。
学習した特徴表現は,特徴複雑性や学習順序,入力上の特徴の分布など,外部特性に依存して,他の特徴よりも強く表現する方向に体系的に偏っていることがわかった。
例えば、計算や学習が簡単である機能は、たとえすべての機能が同じように学習されたとしても、より複雑で後で学習された機能よりも強く、密に表現される傾向があります。
また、これらのバイアスがアーキテクチャ、オプティマイザ、トレーニングレシスタンス(例えば、トランスフォーマーでは、出力シーケンスでデコードされた機能がより強く表現される傾向がある)によってどのように影響を受けるかについても検討する。
この結果は,勾配に基づく表現学習の帰納バイアスを特徴づけるのに役立つ。
これらの結果は、解釈可能性$-$や、モデルと脳の表現を比較する上でも重要な課題である。
関連論文リスト
- When Representations Align: Universality in Representation Learning Dynamics [8.188549368578704]
我々は、入力から隠れ表現への符号化マップと、表現から出力への復号マップが任意の滑らかな関数であるという仮定の下で、表現学習の効果的な理論を導出する。
実験により,活性化関数とアーキテクチャの異なる深層ネットワークにおける表現学習力学の側面を効果的に記述することを示した。
論文 参考訳（メタデータ） (2024-02-14T12:48:17Z) - Going Beyond Neural Network Feature Similarity: The Network Feature
Complexity and Its Interpretation Using Category Theory [64.06519549649495]
機能的に等価な機能と呼ぶものの定義を提供します。
これらの特徴は特定の変換の下で等価な出力を生成する。
反復的特徴マージ(Iterative Feature Merging)というアルゴリズムを提案する。
論文 参考訳（メタデータ） (2023-10-10T16:27:12Z) - Learning sparse features can lead to overfitting in neural networks [9.2104922520782]
機能学習は遅延トレーニングよりもパフォーマンスが良くないことを示す。
空間性は異方性データの学習に不可欠であることが知られているが、対象関数が一定あるいは滑らかな場合に有害である。
論文 参考訳（メタデータ） (2022-06-24T14:26:33Z) - On Neural Architecture Inductive Biases for Relational Tasks [76.18938462270503]
合成ネットワーク一般化(CoRelNet)と呼ばれる類似度分布スコアに基づく簡単なアーキテクチャを導入する。
単純なアーキテクチャの選択は、分布外一般化において既存のモデルより優れていることが分かる。
論文 参考訳（メタデータ） (2022-06-09T16:24:01Z) - A Theoretical Analysis on Feature Learning in Neural Networks: Emergence
from Inputs and Advantage over Fixed Features [18.321479102352875]
ニューラルネットワークの重要な特徴は、予測に有効な特徴を持つ入力データの表現を学ぶ能力である。
実践的なデータによって動機づけられた学習問題を考察し、そこでは、ラベルが一連のクラス関連パターンによって決定され、それらから入力が生成される。
勾配降下によって訓練されたニューラルネットワークがこれらの問題に成功できることを実証する。
論文 参考訳（メタデータ） (2022-06-03T17:49:38Z) - Learning Debiased and Disentangled Representations for Semantic
Segmentation [52.35766945827972]
セマンティックセグメンテーションのためのモデルに依存しない訓練手法を提案する。
各トレーニングイテレーションで特定のクラス情報をランダムに除去することにより、クラス間の機能依存を効果的に削減する。
提案手法で訓練したモデルは,複数のセマンティックセグメンテーションベンチマークにおいて強い結果を示す。
論文 参考訳（メタデータ） (2021-10-31T16:15:09Z) - Toward Understanding the Feature Learning Process of Self-supervised
Contrastive Learning [43.504548777955854]
本研究では,その特徴学習過程を解析することにより,ニューラルネットワークの特徴表現のコントラスト学習について検討する。
textbfReLUネットワークを用いたコントラスト学習は、適切な拡張が採用されれば、所望のスパース特徴を確実に学習できることを実証する。
論文 参考訳（メタデータ） (2021-05-31T16:42:09Z) - A neural anisotropic view of underspecification in deep learning [60.119023683371736]
ニューラルネットが問題の未特定化を扱う方法が,データ表現に大きく依存していることを示す。
深層学習におけるアーキテクチャ的インダクティブバイアスの理解は,これらのシステムの公平性,堅牢性,一般化に対処する上で基本的であることを強調した。
論文 参考訳（メタデータ） (2021-04-29T14:31:09Z) - Learning What Makes a Difference from Counterfactual Examples and
Gradient Supervision [57.14468881854616]
ニューラルネットワークの一般化能力を改善するための補助的学習目標を提案する。
我々は、異なるラベルを持つ最小差の例のペア、すなわち反ファクトまたはコントラストの例を使用し、タスクの根底にある因果構造を示す信号を与える。
このテクニックで訓練されたモデルは、配布外テストセットのパフォーマンスを向上させる。
論文 参考訳（メタデータ） (2020-04-20T02:47:49Z) - Probing Linguistic Features of Sentence-Level Representations in Neural
Relation Extraction [80.38130122127882]
ニューラルリレーション抽出(RE)に関連する言語特性を対象とした14の探索タスクを導入する。
私たちは、40以上の異なるエンコーダアーキテクチャと2つのデータセットでトレーニングされた言語的特徴の組み合わせによって学習された表現を研究するためにそれらを使用します。
アーキテクチャによって引き起こされるバイアスと言語的特徴の含意は、探索タスクのパフォーマンスにおいて明らかに表現されている。
論文 参考訳（メタデータ） (2020-04-17T09:17:40Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。