論文の概要: Understanding Feature Transfer Through Representation Alignment
- arxiv url: http://arxiv.org/abs/2112.07806v1
- Date: Wed, 15 Dec 2021 00:20:29 GMT
- ステータス: 処理完了
- システム内更新日: 2021-12-17 03:56:58.714339
- Title: Understanding Feature Transfer Through Representation Alignment
- Title(参考訳): 表現アライメントによる特徴伝達の理解
- Authors: Ehsan Imani, Wei Hu, Martha White
- Abstract要約: 異なるアーキテクチャによるニューラルネットワークのトレーニングや、ランダムなラベルや真のラベルの一般化は、隠れた表現とトレーニングラベルの同じ関係を強制する。
古典的な合成伝達問題において、アライメントが、類似および異種タスクへの正および負の転送の決定因子であることを示す。
- 参考スコア(独自算出の注目度): 45.35473578109525
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Training with the true labels of a dataset as opposed to randomized labels
leads to faster optimization and better generalization. This difference is
attributed to a notion of alignment between inputs and labels in natural
datasets. We find that training neural networks with different architectures
and optimizers on random or true labels enforces the same relationship between
the hidden representations and the training labels, elucidating why neural
network representations have been so successful for transfer. We first
highlight why aligned features promote transfer and show in a classic synthetic
transfer problem that alignment is the determining factor for positive and
negative transfer to similar and dissimilar tasks. We then investigate a
variety of neural network architectures and find that (a) alignment emerges
across a variety of different architectures and optimizers, with more alignment
arising from depth (b) alignment increases for layers closer to the output and
(c) existing high-performance deep CNNs exhibit high levels of alignment.
- Abstract(参考訳): ランダム化されたラベルとは対照的にデータセットの真のラベルを使ったトレーニングは、より高速な最適化とより良い一般化につながる。
この違いは、自然データセットにおける入力とラベルのアライメントの概念に起因する。
異なるアーキテクチャを持つニューラルネットワークのトレーニングと、ランダムあるいは真のラベル上のオプティマイザは、隠れた表現とトレーニングラベルの間の同じ関係を強制するので、ニューラルネットワーク表現が転送に成功している理由が分かる。
まず、アライメント特徴が遷移を促進し、古典的な合成伝達問題において、アライメントが類似および異種タスクへの正負の伝達決定因子であることを示す。
次に、さまざまなニューラルネットワークアーキテクチャを調査し、それを見つけます。
(a)アライメントは様々なアーキテクチャとオプティマイザにまたがって出現し、深さからより多くのアライメントが生じる
(b)出力に近い層でアライメントが増加すること、及び
(c)既存の高性能深部CNNは高レベルのアライメントを示す。
関連論文リスト
- Network Alignment with Transferable Graph Autoencoders [87.28177782039265]
本稿では,強力で堅牢なノード埋め込みを抽出するグラフオートエンコーダアーキテクチャを提案する。
生成した埋め込みがグラフの固有値と固有ベクトルと結びついていることを証明する。
提案フレームワークは転送学習とデータ拡張を利用して,大規模なネットワークアライメントを実現する。
論文 参考訳(メタデータ) (2023-10-05T02:58:29Z) - Domain-adaptive Message Passing Graph Neural Network [67.35534058138387]
クロスネットワークノード分類(CNNC)は、豊富なラベルを持つソースネットワークから知識を転送することで、ラベル不足のターゲットネットワーク内のノードを分類することを目的としている。
本稿では,グラフニューラルネットワーク(GNN)と条件付き対向ドメイン適応を統合したドメイン適応型メッセージパッシンググラフニューラルネットワーク(DM-GNN)を提案する。
論文 参考訳(メタデータ) (2023-08-31T05:26:08Z) - ReduNet: A White-box Deep Network from the Principle of Maximizing Rate
Reduction [32.489371527159236]
この研究は、データ圧縮と識別表現の原理から、現代の深層(畳み込み)ネットワークを解釈することを目的とした、妥当な理論フレームワークの提供を試みる。
高次元マルチクラスデータに対して、最適な線形判別表現は、データセット全体と全てのサブセットの平均との符号化速度差を最大化することを示す。
速度減少目標を最適化するための基本的反復的勾配上昇スキームは,現代のディープネットワークの共通特性を共有する多層ディープネットワークであるReduNetに自然に導かれることを示す。
論文 参考訳(メタデータ) (2021-05-21T16:29:57Z) - Contextually Guided Convolutional Neural Networks for Learning Most
Transferable Representations [1.160208922584163]
新たなタスクに転送可能な汎用表現を開発するための効率的なアルゴリズムをトレーニングなしで提案する。
コンテキストガイド付きCNN(CG-CNN)は、データセット内のランダムな画像位置で選択された近隣画像パッチのグループに基づいて訓練される。
自然画像への適用では、CG-CNNの機能は、最初のCNNレイヤーの同等の転送可能な機能と同じ、高い場合でも、転送ユーティリティと分類精度を示しています。
論文 参考訳(メタデータ) (2021-03-02T08:41:12Z) - Dual-constrained Deep Semi-Supervised Coupled Factorization Network with
Enriched Prior [80.5637175255349]
本稿では、DS2CF-Netと呼ばれる、拡張された事前制約付きDual-Constrained Deep Semi-Supervised Coupled Factorization Networkを提案する。
隠れた深い特徴を抽出するために、DS2CF-Netは、深い構造と幾何学的な構造に制約のあるニューラルネットワークとしてモデル化される。
我々のネットワークは、表現学習とクラスタリングのための最先端の性能を得ることができる。
論文 参考訳(メタデータ) (2020-09-08T13:10:21Z) - Self-Challenging Improves Cross-Domain Generalization [81.99554996975372]
畳み込みニューラルネットワーク(CNN)は、ラベルと相関する支配的特徴を活性化することにより、画像分類を行う。
ドメイン外データに対するCNNの一般化を著しく改善する簡単なトレーニングである自己整合表現(RSC)を導入する。
RSCはトレーニングデータ上で活性化される主要な機能に対して反復的に挑戦し、ラベルと相関する残りの機能を有効にするようネットワークに強制する。
論文 参考訳(メタデータ) (2020-07-05T21:42:26Z) - What Do Neural Networks Learn When Trained With Random Labels? [20.54410239839646]
我々は、完全にランダムなラベルを持つ自然画像データに基づいて訓練されたディープニューラルネットワーク(DNN)について研究する。
ネットワークパラメータとデータの主成分間のアライメントをランダムラベルでトレーニングする場合に行う畳み込みネットワークと完全連結ネットワークを解析的に示す。
ランダムラベルで事前トレーニングされたネットワークは、スクラッチからのトレーニングに比べて、下流でのトレーニングを高速化する。
論文 参考訳(メタデータ) (2020-06-18T12:07:22Z) - Dynamic Hierarchical Mimicking Towards Consistent Optimization
Objectives [73.15276998621582]
一般化能力を高めたCNN訓練を推進するための汎用的特徴学習機構を提案する。
DSNに部分的にインスパイアされた私たちは、ニューラルネットワークの中間層から微妙に設計されたサイドブランチをフォークしました。
カテゴリ認識タスクとインスタンス認識タスクの両方の実験により,提案手法の大幅な改善が示された。
論文 参考訳(メタデータ) (2020-03-24T09:56:13Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。