論文の概要: Do Neural Network Weights account for Classes Centers?
- arxiv url: http://arxiv.org/abs/2104.07004v1
- Date: Wed, 14 Apr 2021 17:37:52 GMT
- ステータス: 処理完了
- システム内更新日: 2021-04-15 13:30:15.881759
- Title: Do Neural Network Weights account for Classes Centers?
- Title(参考訳): ニューラルネットワークの重みは授業センターを占めるか?
- Authors: Ioannis Kansizoglou, Loukas Bampis, and Antonios Gasteratos
- Abstract要約: 機能学習の課題の記述子としてDeep Neural Networks(DNN)を利用することは、ここ数年で明らかな人気を得ています。
本論文では, 異なるクラス間で高い特徴の識別と, 与えられたクラスの特徴ベクトル間の低地デジック距離を保証する効果的な損失関数の開発に焦点を当てる。
- 参考スコア(独自算出の注目度): 4.496267803613717
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: The exploitation of Deep Neural Networks (DNNs) as descriptors in feature
learning challenges enjoys apparent popularity over the past few years. The
above tendency focuses on the development of effective loss functions that
ensure both high feature discrimination among different classes, as well as low
geodesic distance between the feature vectors of a given class. The vast
majority of the contemporary works rely their formulation on an empirical
assumption about the feature space of a network's last hidden layer, claiming
that the weight vector of a class accounts for its geometrical center in the
studied space. The paper at hand follows a theoretical approach and indicates
that the aforementioned hypothesis is not exclusively met. This fact raises
stability issues regarding the training procedure of a DNN, as shown in our
experimental study. Consequently, a specific symmetry is proposed and studied
both analytically and empirically that satisfies the above assumption,
addressing the established convergence issues.
- Abstract(参考訳): 機能学習課題における記述子としてのディープニューラルネットワーク(DNN)の利用は、ここ数年で明らかな人気を享受している。
上記の傾向は、異なるクラス間の高い特徴識別と、与えられたクラスの特徴ベクトル間の低測地距離を保証する効果的な損失関数の開発に焦点を当てている。
現代の作品の大多数は、ネットワークの最後の隠れた層の特徴空間に関する経験的仮定に依拠しており、クラスの重みベクトルが研究された空間の幾何学的中心を成すと主張している。
論文は理論的なアプローチに従い、上記の仮説が排他的に満たされていないことを示す。
この事実は,実験研究で示されたように,dnnのトレーニング手順に関する安定性の問題を引き起こす。
その結果、上記の仮定を満たす解析的および経験的両方の対称性が提案され、確立された収束問題に対処する。
関連論文リスト
- Topological Augmentation for Class-Imbalanced Node Classification [64.20437487896343]
探索下トポロジ中心の視点から,クラス不均衡バイアスの源泉について検討した。
そこで我々は, アンビバシアン/ディスタントメッセージパッシングの影響を受けやすいノードを動的に修正する, 軽量なトポロジカル拡張手法TOBAを考案した。
ToBAはモデルに依存しない、効率的で多用途なソリューションであり、シームレスに組み合わせて、他の不均衡処理技術をさらに促進することができる。
論文 参考訳(メタデータ) (2023-08-27T19:01:29Z) - Learning a Neuron by a Shallow ReLU Network: Dynamics and Implicit Bias
for Correlated Inputs [5.7166378791349315]
我々は、単一ニューロンを学習する基本的な回帰タスクとして、1つの隠れた層ReLUネットワークをトレーニングすると、損失がゼロとなることを証明した。
また、最小ランクの補間ネットワークと最小ユークリッドノルムの補間ネットワークのこの設定において、驚くべき区別を示し、特徴付ける。
論文 参考訳(メタデータ) (2023-06-10T16:36:22Z) - Initial Guessing Bias: How Untrained Networks Favor Some Classes [0.10231119246773925]
深層ニューラルネットワーク(DNN)の構造は、トレーニング開始前であっても、全ての予測を同じクラスに割り当てるようにモデルを条件付けることができることを示す。
この現象の存在は,データセット前処理手法を含むモデル選択の影響を受けていることを実証する。
ノード置換対称性の分解や自己回避の違反など理論的な結果を強調した。
論文 参考訳(メタデータ) (2023-06-01T15:37:32Z) - Information Bottleneck Analysis of Deep Neural Networks via Lossy
Compression [55.41644538483948]
Information Bottleneck(IB)原則は、ディープニューラルネットワーク(DNN)のトレーニングプロセスを分析するための情報理論フレームワークを提供する。
本稿では,一般NNのICB解析のための包括的フレームワークを提案する。
論文 参考訳(メタデータ) (2023-05-13T21:44:32Z) - Understanding Imbalanced Semantic Segmentation Through Neural Collapse [81.89121711426951]
セマンティックセグメンテーションは自然に文脈的相関とクラス間の不均衡分布をもたらすことを示す。
機能中心にレギュレータを導入し、ネットワークが魅力ある構造に近い機能を学ぶことを奨励する。
我々の手法は、ScanNet200テストリーダーボードで1位にランクインし、新しい記録を樹立する。
論文 参考訳(メタデータ) (2023-01-03T13:51:51Z) - Knowledge Enhanced Neural Networks for relational domains [83.9217787335878]
我々は、ニューラルネットワークに事前論理的知識を注入するニューラルネットワークアーキテクチャであるKENNに焦点を当てる。
本稿では,関係データに対するKENNの拡張を提案する。
論文 参考訳(メタデータ) (2022-05-31T13:00:34Z) - Analyzing Overfitting under Class Imbalance in Neural Networks for Image
Segmentation [19.259574003403998]
画像分割では、ニューラルネットワークは小さな構造物の前景サンプルに過剰に適合する可能性がある。
本研究では,ネットワークの動作を検査することにより,クラス不均衡下でのオーバーフィッティング問題に対する新たな知見を提供する。
論文 参考訳(メタデータ) (2021-02-20T14:57:58Z) - Developing Constrained Neural Units Over Time [81.19349325749037]
本稿では,既存のアプローチと異なるニューラルネットワークの定義方法に焦点をあてる。
ニューラルネットワークの構造は、データとの相互作用にも拡張される制約の特別なクラスによって定義される。
提案した理論は時間領域にキャストされ, データを順序づけられた方法でネットワークに提示する。
論文 参考訳(メタデータ) (2020-09-01T09:07:25Z) - Online Kernel based Generative Adversarial Networks [0.45880283710344055]
オンラインカーネルベースのジェネレーティブ・アドバイザリアル・ネットワーク(OKGAN)は,モード崩壊やサイクリングなど,多くのトレーニング問題を緩和する。
OKGANは、合成データ上の他のGANの定式化よりも、逆KL偏差に対して、劇的に優れた性能を発揮する。
論文 参考訳(メタデータ) (2020-06-19T22:54:01Z) - Revisiting Initialization of Neural Networks [72.24615341588846]
ヘッセン行列のノルムを近似し, 制御することにより, 層間における重みのグローバルな曲率を厳密に推定する。
Word2Vec と MNIST/CIFAR 画像分類タスクの実験により,Hessian ノルムの追跡が診断ツールとして有用であることが確認された。
論文 参考訳(メタデータ) (2020-04-20T18:12:56Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。