論文の概要: On the Origins of the Block Structure Phenomenon in Neural Network Representations

• arxiv url: http://arxiv.org/abs/2202.07184v1
• Date: Tue, 15 Feb 2022 04:30:12 GMT
• ステータス: 処理完了
• システム内更新日: 2022-02-17 03:32:34.958821
• Title: On the Origins of the Block Structure Phenomenon in Neural Network Representations
• Title（参考訳）: ニューラルネットワーク表現におけるブロック構造現象の起源について
• Authors: Thao Nguyen, Maithra Raghu, Simon Kornblith
• Abstract要約: 本研究では,ブロック構造の起源をデータとトレーニング手法との関連性について検討する。 支配的なPCの特性を解析することにより、ブロック構造が支配的なデータポイントから生じることが分かる。 我々は、この現象が訓練によってどのように進化するかを探求し、そのブロック構造が訓練の早い段階で形づくることを発見した。
• 参考スコア（独自算出の注目度）: 32.757486048358416
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Recent work has uncovered a striking phenomenon in large-capacity neural networks: they contain blocks of contiguous hidden layers with highly similar representations. This block structure has two seemingly contradictory properties: on the one hand, its constituent layers exhibit highly similar dominant first principal components (PCs), but on the other hand, their representations, and their common first PC, are highly dissimilar across different random seeds. Our work seeks to reconcile these discrepant properties by investigating the origin of the block structure in relation to the data and training methods. By analyzing properties of the dominant PCs, we find that the block structure arises from dominant datapoints - a small group of examples that share similar image statistics (e.g. background color). However, the set of dominant datapoints, and the precise shared image statistic, can vary across random seeds. Thus, the block structure reflects meaningful dataset statistics, but is simultaneously unique to each model. Through studying hidden layer activations and creating synthetic datapoints, we demonstrate that these simple image statistics dominate the representational geometry of the layers inside the block structure. We explore how the phenomenon evolves through training, finding that the block structure takes shape early in training, but the underlying representations and the corresponding dominant datapoints continue to change substantially. Finally, we study the interplay between the block structure and different training mechanisms, introducing a targeted intervention to eliminate the block structure, as well as examining the effects of pretraining and Shake-Shake regularization.
• Abstract（参考訳）: 近年の研究では、大容量ニューラルネットワークにおいて驚くべき現象が発見されている。 このブロック構造には2つの矛盾する性質がある:一方、その構成層は、非常によく似た第1主成分(PC)を示すが、一方、それらの表現と共通の第1主成分は、異なるランダムシード間で非常に異なる。 本研究は,ブロック構造の起源をデータとトレーニング手法に関連づけることで,これらの不整合特性の整合を図っている。 支配的なPCの特性を解析することにより、ブロック構造が支配的なデータポイント(例えば背景色)から生じていることが分かる。 しかし、支配的なデータポイントのセットと正確な共有画像統計は、ランダムな種によって異なる可能性がある。 このように、ブロック構造は意味のあるデータセット統計を反映するが、同時に各モデルに固有のものである。 隠れた層活性化の研究と合成データポイントの作成を通じて、これらの単純な画像統計がブロック構造内の層の表現幾何学を支配していることを示す。 実験では, ブロック構造が訓練の早い段階で形をなしているが, 基礎となる表現とそれに対応する支配的なデータポイントは大きく変化し続けている。 最後に,ブロック構造と異なるトレーニング機構の相互作用について検討し,ブロック構造を排除するための標的的介入を導入するとともに,事前学習とシェイクシェイク正規化の効果を検討する。

関連論文リスト

• Detecting and Approximating Redundant Computational Blocks in Neural Networks [25.436785396394804]
  ネットワーク内の類似性は、より効率的なニューラルネットワークを設計する新たな機会を提供する。 本稿では,冗長ブロックを検出するための単純な測度であるBlock Redundancyを導入し,冗長ブロックを近似するためにRBA(Redundant Blocks Approximation)を提案する。 RBAは、優れたパフォーマンスを維持しながら、モデルパラメータと時間の複雑さを減らす。
  論文  参考訳（メタデータ） (2024-10-07T11:35:24Z)
• Isometric Representations in Neural Networks Improve Robustness [0.0]
  我々は、クラス内メートル法構造を同時に維持しながら分類を行うためにニューラルネットワークを訓練する。 我々は、等尺正則化がMNISTに対する敵攻撃に対する堅牢性を改善することを検証する。
  論文  参考訳（メタデータ） (2022-11-02T16:18:18Z)
• Weakly Supervised Representation Learning with Sparse Perturbations [82.39171485023276]
  潜伏変数のスパース摂動によって生じる観測の監督が弱い場合、未知の連続潜伏分布の下で識別が達成可能であることを示す。 本稿では,この理論に基づく自然な推定手法を提案し,それを低次元の合成および画像に基づく実験で説明する。
  論文  参考訳（メタデータ） (2022-06-02T15:30:07Z)
• Unifying Nonlocal Blocks for Neural Networks [43.107708207022526]
  非局所ブロックは、コンピュータビジョンタスクにおける長距離空間的依存関係をキャプチャするために設計されている。 我々はそれらを解釈するための新しい視点を提供し、完全連結グラフ上で生成されたグラフフィルタの集合と見なす。 より堅牢でフレキシブルなスペクトル非局所ブロックを提案する。
  論文  参考訳（メタデータ） (2021-08-05T08:34:12Z)
• Structure Destruction and Content Combination for Face Anti-Spoofing [14.413900076141093]
  アンチ・スプーフィング研究は、実際の人物と多様な攻撃タイプを識別するために、オリジナル画像に隠された手がかりを発掘する。 これらの手法はトレーニングデータセット全体の記憶に固執し、非ホモロジー領域分布に対する感受性を示す。 これら2つの模倣に対処するために,構造破壊モジュールとコンテンツ結合モジュールを提案する。
  論文  参考訳（メタデータ） (2021-07-22T13:08:46Z)
• Do Wide and Deep Networks Learn the Same Things? Uncovering How Neural Network Representations Vary with Width and Depth [32.757486048358416]
  モデル隠れ表現の深さと幅の変化がどう影響するかを考察する。 より大きなキャパシティ(より広範またはより深い)モデルの隠れ表現に特徴的なブロック構造が見つかる。 この発見は、異なるモデルによって学習された特徴に重要な影響をもたらす。
  論文  参考訳（メタデータ） (2020-10-29T02:57:21Z)
• Spectral Embedding of Graph Networks [76.27138343125985]
  ローカルノードの類似性と接続性、グローバル構造をトレードオフする教師なしグラフ埋め込みを導入する。 埋め込みは一般化されたグラフ Laplacian に基づいており、固有ベクトルは1つの表現においてネットワーク構造と近傍近傍の両方をコンパクトにキャプチャする。
  論文  参考訳（メタデータ） (2020-09-30T04:59:10Z)
• LoCo: Local Contrastive Representation Learning [93.98029899866866]
  重なり合うローカルブロックが重なり合うことで、デコーダの深さを効果的に増加させ、上位ブロックが暗黙的に下位ブロックにフィードバックを送ることができることを示す。 このシンプルな設計は、ローカル学習とエンドツーエンドのコントラスト学習アルゴリズムのパフォーマンスギャップを初めて埋める。
  論文  参考訳（メタデータ） (2020-08-04T05:41:29Z)
• Disentangled Non-Local Neural Networks [68.92293183542131]
  局所的でないブロックを深く研究し、注意を2つの項に分けることができることを示した。 両項の学習を容易にするために両項を分離した非局所ブロックを提示する。
  論文  参考訳（メタデータ） (2020-06-11T17:59:22Z)
• Global-Local Bidirectional Reasoning for Unsupervised Representation Learning of 3D Point Clouds [109.0016923028653]
  局所構造とグローバル形状の双方向推論による点雲表現を人間の監督なしに学習する。 本研究では, 実世界の3次元オブジェクト分類データセットにおいて, 教師なしモデルが最先端の教師付き手法を超越していることを示す。
  論文  参考訳（メタデータ） (2020-03-29T08:26:08Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。