論文の概要: The Tunnel Effect: Building Data Representations in Deep Neural Networks

• arxiv url: http://arxiv.org/abs/2305.19753v2
• Date: Mon, 30 Oct 2023 12:41:27 GMT
• ステータス: 処理完了
• システム内更新日: 2023-11-01 23:51:09.248550
• Title: The Tunnel Effect: Building Data Representations in Deep Neural Networks
• Title（参考訳）: トンネル効果:深層ニューラルネットワークにおけるデータ表現の構築
• Authors: Wojciech Masarczyk, Mateusz Ostaszewski, Ehsan Imani, Razvan Pascanu, Piotr Mi{\l}o\'s, Tomasz Trzci\'nski
• Abstract要約: 本稿では,データ表現の相違に寄与する2つの異なる部分に,十分に深いネットワークが分割されていることを示す。 最初のレイヤは線形に分離可能な表現を生成し、その後のレイヤはこれらの表現を圧縮し、全体的なパフォーマンスに最小限の影響を与える。
• 参考スコア（独自算出の注目度）: 32.46906832880099
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Deep neural networks are widely known for their remarkable effectiveness across various tasks, with the consensus that deeper networks implicitly learn more complex data representations. This paper shows that sufficiently deep networks trained for supervised image classification split into two distinct parts that contribute to the resulting data representations differently. The initial layers create linearly-separable representations, while the subsequent layers, which we refer to as \textit{the tunnel}, compress these representations and have a minimal impact on the overall performance. We explore the tunnel's behavior through comprehensive empirical studies, highlighting that it emerges early in the training process. Its depth depends on the relation between the network's capacity and task complexity. Furthermore, we show that the tunnel degrades out-of-distribution generalization and discuss its implications for continual learning.
• Abstract（参考訳）: ディープニューラルネットワークは、さまざまなタスクにまたがる顕著な効果で広く知られており、深層ネットワークは暗黙的により複雑なデータ表現を学ぶというコンセンサスがある。 本稿では,教師付き画像分類のための十分な深層ネットワークを,結果の表現に異なる2つの異なる部分に分割することを提案する。 最初のレイヤは線形に分離可能な表現を生成し、続くレイヤは \textit{the tunnel} と呼ばれ、これらの表現を圧縮し、全体的なパフォーマンスに最小限の影響を与える。 総合的な実験研究を通じてトンネルの挙動を探究し,訓練過程の初期段階に現れることを強調する。 その深さは、ネットワークの容量とタスクの複雑さの関係に依存する。 さらに,このトンネルは分散一般化を損なうことを示し,継続的な学習にその意義について考察する。

関連論文リスト

• Learning to Compress: Local Rank and Information Compression in Deep Neural Networks [2.483371671716944]
  ディープニューラルネットワークは、トレーニング中に低次元の特徴表現を暗黙的に学習する、低ランクなソリューションに対するバイアスを示す傾向がある。 特徴多様体次元の尺度として局所階乗の概念を導入し、この階乗が訓練の最終段階の間に減少することを示す。 学習した表現のランクを下げるネットワークは、入力層と中間層の間の相互情報を圧縮する。
  論文  参考訳（メタデータ） (2024-10-10T07:53:34Z)
• Understanding Deep Representation Learning via Layerwise Feature Compression and Discrimination [33.273226655730326]
  深層線形ネットワークの各層は、幾何速度でクラス内特徴を徐々に圧縮し、線形速度でクラス間特徴を識別することを示す。 これは、ディープ線形ネットワークの階層的表現における特徴進化の最初の定量的評価である。
  論文  参考訳（メタデータ） (2023-11-06T09:00:38Z)
• Neural Collapse in the Intermediate Hidden Layers of Classification Neural Networks [0.0]
  (NC)は、分類ニューラルネットワークの最終的な隠蔽層におけるクラスの表現を正確に記述する。 本稿では,中間層におけるNCの出現を包括的に解析する。
  論文  参考訳（メタデータ） (2023-08-05T01:19:38Z)
• Complexity of Representations in Deep Learning [2.0219767626075438]
  データ複雑性の観点からクラスを分離する際の学習表現の有効性を分析する。 データ複雑性がネットワークを通じてどのように進化するか、トレーニング中にどのように変化するのか、そして、ネットワーク設計とトレーニングサンプルの可用性によってどのように影響を受けるのかを示す。
  論文  参考訳（メタデータ） (2022-09-01T15:20:21Z)
• Dynamic Inference with Neural Interpreters [72.90231306252007]
  本稿では,モジュールシステムとしての自己アテンションネットワークにおける推論を分解するアーキテクチャであるNeural Interpretersを提案する。 モデルへの入力は、エンドツーエンドの学習方法で一連の関数を通してルーティングされる。 ニューラル・インタープリタは、より少ないパラメータを用いて視覚変換器と同等に動作し、サンプル効率で新しいタスクに転送可能であることを示す。
  論文  参考訳（メタデータ） (2021-10-12T23:22:45Z)
• Redundant representations help generalization in wide neural networks [71.38860635025907]
  様々な最先端の畳み込みニューラルネットワークの最後に隠された層表現について検討する。 最後に隠された表現が十分に広ければ、そのニューロンは同一の情報を持つグループに分裂し、統計的に独立したノイズによってのみ異なる傾向にある。
  論文  参考訳（メタデータ） (2021-06-07T10:18:54Z)
• A neural anisotropic view of underspecification in deep learning [60.119023683371736]
  ニューラルネットが問題の未特定化を扱う方法が,データ表現に大きく依存していることを示す。 深層学習におけるアーキテクチャ的インダクティブバイアスの理解は,これらのシステムの公平性,堅牢性,一般化に対処する上で基本的であることを強調した。
  論文  参考訳（メタデータ） (2021-04-29T14:31:09Z)
• Variational Structured Attention Networks for Deep Visual Representation Learning [49.80498066480928]
  空間的注意マップとチャネル的注意の両方を原則的に共同学習するための統合的深層フレームワークを提案する。 具体的には,確率的表現学習フレームワークに注目度の推定と相互作用を統合する。 ニューラルネットワーク内で推論ルールを実装し,確率パラメータとcnnフロントエンドパラメータのエンドツーエンド学習を可能にする。
  論文  参考訳（メタデータ） (2021-03-05T07:37:24Z)
• Learning Connectivity of Neural Networks from a Topological Perspective [80.35103711638548]
  本稿では,ネットワークを解析のための完全なグラフに表現するためのトポロジ的視点を提案する。 接続の規模を反映したエッジに学習可能なパラメータを割り当てることにより、学習プロセスを異なる方法で行うことができる。 この学習プロセスは既存のネットワークと互換性があり、より大きな検索空間と異なるタスクへの適応性を持っている。
  論文  参考訳（メタデータ） (2020-08-19T04:53:31Z)
• Towards Deeper Graph Neural Networks [63.46470695525957]
  グラフ畳み込みは近傍の集約を行い、最も重要なグラフ操作の1つである。 いくつかの最近の研究で、この性能劣化は過度に滑らかな問題に起因している。 本研究では,大きな受容領域からの情報を適応的に組み込むディープ適応グラフニューラルネットワーク(DAGNN)を提案する。
  論文  参考訳（メタデータ） (2020-07-18T01:11:14Z)
• Untangling in Invariant Speech Recognition [17.996356271398295]
  我々は、音声を認識するために訓練されたニューラルネットワークの中で、情報を解き放つ方法を研究する。 話者固有のニュアンス変動はネットワーク階層によって排除されるのに対し、タスク関連特性は後続の層で解消される。 計算の各段階におけるタスク関連特徴を効率よく抽出することにより,深部表現が時間的アンハングリングを行うことがわかった。
  論文  参考訳（メタデータ） (2020-03-03T20:48:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。