論文の概要: Understanding Feature Transfer Through Representation Alignment

• arxiv url: http://arxiv.org/abs/2112.07806v1
• Date: Wed, 15 Dec 2021 00:20:29 GMT
• ステータス: 処理完了
• システム内更新日: 2021-12-17 03:56:58.714339
• Title: Understanding Feature Transfer Through Representation Alignment
• Title（参考訳）: 表現アライメントによる特徴伝達の理解
• Authors: Ehsan Imani, Wei Hu, Martha White
• Abstract要約: 異なるアーキテクチャによるニューラルネットワークのトレーニングや、ランダムなラベルや真のラベルの一般化は、隠れた表現とトレーニングラベルの同じ関係を強制する。 古典的な合成伝達問題において、アライメントが、類似および異種タスクへの正および負の転送の決定因子であることを示す。
• 参考スコア（独自算出の注目度）: 45.35473578109525
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Training with the true labels of a dataset as opposed to randomized labels leads to faster optimization and better generalization. This difference is attributed to a notion of alignment between inputs and labels in natural datasets. We find that training neural networks with different architectures and optimizers on random or true labels enforces the same relationship between the hidden representations and the training labels, elucidating why neural network representations have been so successful for transfer. We first highlight why aligned features promote transfer and show in a classic synthetic transfer problem that alignment is the determining factor for positive and negative transfer to similar and dissimilar tasks. We then investigate a variety of neural network architectures and find that (a) alignment emerges across a variety of different architectures and optimizers, with more alignment arising from depth (b) alignment increases for layers closer to the output and (c) existing high-performance deep CNNs exhibit high levels of alignment.
• Abstract（参考訳）: ランダム化されたラベルとは対照的にデータセットの真のラベルを使ったトレーニングは、より高速な最適化とより良い一般化につながる。 この違いは、自然データセットにおける入力とラベルのアライメントの概念に起因する。 異なるアーキテクチャを持つニューラルネットワークのトレーニングと、ランダムあるいは真のラベル上のオプティマイザは、隠れた表現とトレーニングラベルの間の同じ関係を強制するので、ニューラルネットワーク表現が転送に成功している理由が分かる。 まず、アライメント特徴が遷移を促進し、古典的な合成伝達問題において、アライメントが類似および異種タスクへの正負の伝達決定因子であることを示す。 次に、さまざまなニューラルネットワークアーキテクチャを調査し、それを見つけます。 (a)アライメントは様々なアーキテクチャとオプティマイザにまたがって出現し、深さからより多くのアライメントが生じる (b)出力に近い層でアライメントが増加すること、及び (c)既存の高性能深部CNNは高レベルのアライメントを示す。

関連論文リスト

• On Characterizing the Evolution of Embedding Space of Neural Networks using Algebraic Topology [9.537910170141467]
  特徴埋め込み空間のトポロジがベッチ数を介してよく訓練されたディープニューラルネットワーク(DNN)の層を通過するとき、どのように変化するかを検討する。 深度が増加するにつれて、トポロジカルに複雑なデータセットが単純なデータセットに変換され、ベッチ数はその最小値に達することが示される。
  論文  参考訳（メタデータ） (2023-11-08T10:45:12Z)
• Domain-adaptive Message Passing Graph Neural Network [67.35534058138387]
  クロスネットワークノード分類(CNNC)は、豊富なラベルを持つソースネットワークから知識を転送することで、ラベル不足のターゲットネットワーク内のノードを分類することを目的としている。 本稿では,グラフニューラルネットワーク(GNN)と条件付き対向ドメイン適応を統合したドメイン適応型メッセージパッシンググラフニューラルネットワーク(DM-GNN)を提案する。
  論文  参考訳（メタデータ） (2023-08-31T05:26:08Z)
• ReduNet: A White-box Deep Network from the Principle of Maximizing Rate Reduction [32.489371527159236]
  この研究は、データ圧縮と識別表現の原理から、現代の深層(畳み込み)ネットワークを解釈することを目的とした、妥当な理論フレームワークの提供を試みる。 高次元マルチクラスデータに対して、最適な線形判別表現は、データセット全体と全てのサブセットの平均との符号化速度差を最大化することを示す。 速度減少目標を最適化するための基本的反復的勾配上昇スキームは,現代のディープネットワークの共通特性を共有する多層ディープネットワークであるReduNetに自然に導かれることを示す。
  論文  参考訳（メタデータ） (2021-05-21T16:29:57Z)
• Dynamic Graph: Learning Instance-aware Connectivity for Neural Networks [78.65792427542672]
  動的グラフネットワーク(DG-Net)は完全な有向非巡回グラフであり、ノードは畳み込みブロックを表し、エッジは接続経路を表す。 ネットワークの同じパスを使用する代わりに、DG-Netは各ノードの機能を動的に集約する。
  論文  参考訳（メタデータ） (2020-10-02T16:50:26Z)
• Dual-constrained Deep Semi-Supervised Coupled Factorization Network with Enriched Prior [80.5637175255349]
  本稿では、DS2CF-Netと呼ばれる、拡張された事前制約付きDual-Constrained Deep Semi-Supervised Coupled Factorization Networkを提案する。 隠れた深い特徴を抽出するために、DS2CF-Netは、深い構造と幾何学的な構造に制約のあるニューラルネットワークとしてモデル化される。 我々のネットワークは、表現学習とクラスタリングのための最先端の性能を得ることができる。
  論文  参考訳（メタデータ） (2020-09-08T13:10:21Z)
• Self-Challenging Improves Cross-Domain Generalization [81.99554996975372]
  畳み込みニューラルネットワーク(CNN)は、ラベルと相関する支配的特徴を活性化することにより、画像分類を行う。 ドメイン外データに対するCNNの一般化を著しく改善する簡単なトレーニングである自己整合表現(RSC)を導入する。 RSCはトレーニングデータ上で活性化される主要な機能に対して反復的に挑戦し、ラベルと相関する残りの機能を有効にするようネットワークに強制する。
  論文  参考訳（メタデータ） (2020-07-05T21:42:26Z)
• What Do Neural Networks Learn When Trained With Random Labels? [20.54410239839646]
  我々は、完全にランダムなラベルを持つ自然画像データに基づいて訓練されたディープニューラルネットワーク(DNN)について研究する。 ネットワークパラメータとデータの主成分間のアライメントをランダムラベルでトレーニングする場合に行う畳み込みネットワークと完全連結ネットワークを解析的に示す。 ランダムラベルで事前トレーニングされたネットワークは、スクラッチからのトレーニングに比べて、下流でのトレーニングを高速化する。
  論文  参考訳（メタデータ） (2020-06-18T12:07:22Z)
• Multi-Subspace Neural Network for Image Recognition [33.61205842747625]
  画像分類タスクでは, 特徴抽出は常に大きな問題であり, クラス内変動により抽出器の設計が困難になる。 近年、ディープラーニングはデータから機能を自動的に学習することに多くの注意を払っている。 本研究では,畳み込みニューラルネットワーク(CNN)のキーコンポーネントをサブスペースの概念と組み合わせたマルチサブスペースニューラルネットワーク(MSNN)を提案する。
  論文  参考訳（メタデータ） (2020-06-17T02:55:34Z)
• Dynamic Hierarchical Mimicking Towards Consistent Optimization Objectives [73.15276998621582]
  一般化能力を高めたCNN訓練を推進するための汎用的特徴学習機構を提案する。 DSNに部分的にインスパイアされた私たちは、ニューラルネットワークの中間層から微妙に設計されたサイドブランチをフォークしました。 カテゴリ認識タスクとインスタンス認識タスクの両方の実験により,提案手法の大幅な改善が示された。
  論文  参考訳（メタデータ） (2020-03-24T09:56:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。