論文の概要: Feature Collapse

• arxiv url: http://arxiv.org/abs/2305.16162v1
• Date: Thu, 25 May 2023 15:25:34 GMT
• ステータス: 処理完了
• システム内更新日: 2023-05-26 14:19:21.158028
• Title: Feature Collapse
• Title（参考訳）: 機能崩壊
• Authors: Thomas Laurent, James H. von Brecht, and Xavier Bresson
• Abstract要約: 我々は,学習課題において同様の役割を演じる実体が同様の表現を受けるという直感的な考えを,機能崩壊という現象を定式化し,研究する。 我々は、このNLPタスクで同一の役割を果たす単語が、ニューラルネットワークで同一の局所的特徴表現を受けることを証明した。 この分析は、LayerNormのような正規化メカニズムが機能崩壊や一般化において果たす重要な役割を明らかにしている。
• 参考スコア（独自算出の注目度）: 6.155604731137828
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We formalize and study a phenomenon called feature collapse that makes precise the intuitive idea that entities playing a similar role in a learning task receive similar representations. As feature collapse requires a notion of task, we leverage a simple but prototypical NLP task to study it. We start by showing experimentally that feature collapse goes hand in hand with generalization. We then prove that, in the large sample limit, distinct words that play identical roles in this NLP task receive identical local feature representations in a neural network. This analysis reveals the crucial role that normalization mechanisms, such as LayerNorm, play in feature collapse and in generalization.
• Abstract（参考訳）: 我々は,学習課題において同様の役割を演じる実体が同様の表現を受けるという直感的な考えを,機能崩壊という現象を定式化し,研究する。 機能崩壊はタスクの概念を必要とするため、単純だがプロトタイプなNLPタスクを活用して研究する。 まず、機能崩壊が一般化と連動することを示す実験から始めます。 次に,このNLPタスクにおいて同一の役割を演じる単語が,ニューラルネットワークにおいて同一の局所的特徴表現を受けることを示す。 この分析は、LayerNormのような正規化メカニズムが機能崩壊や一般化において果たす重要な役割を明らかにしている。

関連論文リスト

• Mitigating Copy Bias in In-Context Learning through Neuron Pruning [74.91243772654519]
  大規模言語モデル(LLM)は、コンテキスト内学習能力に目を見張るものはほとんどない。 それらは、基礎となるパターンを学ぶ代わりに、提供された例から回答をコピーする。 このような複写バイアスを軽減するための,新しい簡易な手法を提案する。
  論文  参考訳（メタデータ） (2024-10-02T07:18:16Z)
• Binding Dynamics in Rotating Features [72.80071820194273]
  本稿では,特徴間のアライメントを明示的に計算し,それに応じて重みを調整する「コサイン結合」機構を提案する。 これにより、自己注意と生物学的神経プロセスに直接接続し、回転する特徴に現れるオブジェクト中心の表現の基本的なダイナミクスに光を当てることができます。
  論文  参考訳（メタデータ） (2024-02-08T12:31:08Z)
• Unraveling Feature Extraction Mechanisms in Neural Networks [10.13842157577026]
  本稿では, ニューラルネットワークカーネル(NTK)に基づく理論的手法を提案し, そのメカニズムを解明する。 これらのモデルが勾配降下時の統計的特徴をどのように活用し、最終決定にどのように統合されるかを明らかにする。 自己注意モデルとCNNモデルはn-gramの学習の限界を示すが、乗算モデルはこの領域で優れていると考えられる。
  論文  参考訳（メタデータ） (2023-10-25T04:22:40Z)
• Going Beyond Neural Network Feature Similarity: The Network Feature Complexity and Its Interpretation Using Category Theory [64.06519549649495]
  機能的に等価な機能と呼ぶものの定義を提供します。 これらの特徴は特定の変換の下で等価な出力を生成する。 反復的特徴マージ(Iterative Feature Merging)というアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2023-10-10T16:27:12Z)
• Rotating Features for Object Discovery [74.1465486264609]
  本稿では,複雑な特徴を高次元に一般化した回転特徴と,分散表現からオブジェクトを抽出する新たな評価手法を提案する。 これらの進歩により、分散オブジェクト中心の表現を単純な玩具から現実世界のデータに拡張することが可能になります。
  論文  参考訳（メタデータ） (2023-06-01T12:16:26Z)
• Gradient Starvation: A Learning Proclivity in Neural Networks [97.02382916372594]
  グラディエント・スターベーションは、タスクに関連する機能のサブセットのみをキャプチャすることで、クロスエントロピー損失を最小化するときに発生する。 この研究は、ニューラルネットワークにおけるそのような特徴不均衡の出現に関する理論的説明を提供する。
  論文  参考訳（メタデータ） (2020-11-18T18:52:08Z)
• Anatomy of Catastrophic Forgetting: Hidden Representations and Task Semantics [24.57617154267565]
  ニューラルネットワークモデルにおいて,忘れることが表現に与える影響について検討する。 深い層が忘れる原因であることに気付きました。 また,CIFAR-100をベースとした,現実的な入力分布シフトを近似するタスクも導入する。
  論文  参考訳（メタデータ） (2020-07-14T23:31:14Z)
• Embarrassingly Simple Unsupervised Aspect Extraction [4.695687634290403]
  本稿では,感情分析におけるアスペクト識別の簡易かつ効果的な方法を提案する。 提案手法は単語埋め込みとPOSタグのみを必要とする。 本稿では,新しいシングルヘッドアテンション機構であるContrastive Attention (CAt)を紹介する。
  論文  参考訳（メタデータ） (2020-04-28T15:09:51Z)
• Learning What Makes a Difference from Counterfactual Examples and Gradient Supervision [57.14468881854616]
  ニューラルネットワークの一般化能力を改善するための補助的学習目標を提案する。 我々は、異なるラベルを持つ最小差の例のペア、すなわち反ファクトまたはコントラストの例を使用し、タスクの根底にある因果構造を示す信号を与える。 このテクニックで訓練されたモデルは、配布外テストセットのパフォーマンスを向上させる。
  論文  参考訳（メタデータ） (2020-04-20T02:47:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。