論文の概要: Do Neural Network Weights account for Classes Centers?

• arxiv url: http://arxiv.org/abs/2104.07004v1
• Date: Wed, 14 Apr 2021 17:37:52 GMT
• ステータス: 処理完了
• システム内更新日: 2021-04-15 13:30:15.881759
• Title: Do Neural Network Weights account for Classes Centers?
• Title（参考訳）: ニューラルネットワークの重みは授業センターを占めるか?
• Authors: Ioannis Kansizoglou, Loukas Bampis, and Antonios Gasteratos
• Abstract要約: 機能学習の課題の記述子としてDeep Neural Networks(DNN)を利用することは、ここ数年で明らかな人気を得ています。 本論文では, 異なるクラス間で高い特徴の識別と, 与えられたクラスの特徴ベクトル間の低地デジック距離を保証する効果的な損失関数の開発に焦点を当てる。
• 参考スコア（独自算出の注目度）: 4.496267803613717
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: The exploitation of Deep Neural Networks (DNNs) as descriptors in feature learning challenges enjoys apparent popularity over the past few years. The above tendency focuses on the development of effective loss functions that ensure both high feature discrimination among different classes, as well as low geodesic distance between the feature vectors of a given class. The vast majority of the contemporary works rely their formulation on an empirical assumption about the feature space of a network's last hidden layer, claiming that the weight vector of a class accounts for its geometrical center in the studied space. The paper at hand follows a theoretical approach and indicates that the aforementioned hypothesis is not exclusively met. This fact raises stability issues regarding the training procedure of a DNN, as shown in our experimental study. Consequently, a specific symmetry is proposed and studied both analytically and empirically that satisfies the above assumption, addressing the established convergence issues.
• Abstract（参考訳）: 機能学習課題における記述子としてのディープニューラルネットワーク(DNN)の利用は、ここ数年で明らかな人気を享受している。 上記の傾向は、異なるクラス間の高い特徴識別と、与えられたクラスの特徴ベクトル間の低測地距離を保証する効果的な損失関数の開発に焦点を当てている。 現代の作品の大多数は、ネットワークの最後の隠れた層の特徴空間に関する経験的仮定に依拠しており、クラスの重みベクトルが研究された空間の幾何学的中心を成すと主張している。 論文は理論的なアプローチに従い、上記の仮説が排他的に満たされていないことを示す。 この事実は,実験研究で示されたように,dnnのトレーニング手順に関する安定性の問題を引き起こす。 その結果、上記の仮定を満たす解析的および経験的両方の対称性が提案され、確立された収束問題に対処する。

関連論文リスト

• Feature Averaging: An Implicit Bias of Gradient Descent Leading to Non-Robustness in Neural Networks [13.983863226803336]
  我々は「機能平均化」がディープニューラルネットワークの非ロバスト性に寄与する主要な要因の1つであると論じる。 二層分類タスクのための2層ReLUネットワークにおいて、勾配降下のトレーニング力学を詳細に理論的に解析する。 よりきめ細かい教師付き情報を提供することで、2層多層ニューラルネットワークが個々の特徴を学習できることを実証する。
  論文  参考訳（メタデータ） (2024-10-14T09:28:32Z)
• Exploring Channel Distinguishability in Local Neighborhoods of the Model Space in Quantum Neural Networks [0.5277756703318045]
  量子ニューラルネットワーク(QNN)が登場し、注目されている。 QNNはトレーニングが難しいことで知られていますが、これは部分的にはAnsatzesと呼ばれるアーキテクチャによるものだと仮定しています。
  論文  参考訳（メタデータ） (2024-10-12T10:20:26Z)
• Empowering Bayesian Neural Networks with Functional Priors through Anchored Ensembling for Mechanics Surrogate Modeling Applications [0.0]
  本稿では,関数空間で利用可能な事前情報を統合するアンカー型アンサンブルに基づく新しいBNNトレーニング手法を提案する。 アンカーリング方式は, NNパラメータ間の低ランク相関を利用して, 事前学習から関数前の実現まで学習する。 また,既存のBNN実装では無視されることが多いNN重み間の相関が,関数空間とパラメータ空間の事前知識を適切に伝達する上で重要であることを示す。
  論文  参考訳（メタデータ） (2024-09-08T22:27:50Z)
• A singular Riemannian Geometry Approach to Deep Neural Networks III. Piecewise Differentiable Layers and Random Walks on $n$-dimensional Classes [49.32130498861987]
  本稿ではReLUのような非微分可能活性化関数の事例について検討する。 最近の2つの研究は、ニューラルネットワークを研究するための幾何学的枠組みを導入した。 本稿では,画像の分類と熱力学問題に関する数値実験を行った。
  論文  参考訳（メタデータ） (2024-04-09T08:11:46Z)
• On the Dynamics Under the Unhinged Loss and Beyond [104.49565602940699]
  我々は、閉形式力学を解析するための数学的機会を提供する、簡潔な損失関数であるアンヒンジド・ロスを導入する。 アンヒンジされた損失は、時間変化学習率や特徴正規化など、より実践的なテクニックを検討することができる。
  論文  参考訳（メタデータ） (2023-12-13T02:11:07Z)
• Initial Guessing Bias: How Untrained Networks Favor Some Classes [0.09103230894909536]
  深層ニューラルネットワーク(DNN)の構造は、トレーニング開始前であっても、全ての予測を同じクラスに割り当てるようにモデルを条件付けることができることを示す。 この現象の存在は,データセット前処理手法を含むモデル選択の影響を受けていることを実証する。 ノード置換対称性の分解や自己回避の違反など理論的な結果を強調した。
  論文  参考訳（メタデータ） (2023-06-01T15:37:32Z)
• Understanding Imbalanced Semantic Segmentation Through Neural Collapse [81.89121711426951]
  セマンティックセグメンテーションは自然に文脈的相関とクラス間の不均衡分布をもたらすことを示す。 機能中心にレギュレータを導入し、ネットワークが魅力ある構造に近い機能を学ぶことを奨励する。 我々の手法は、ScanNet200テストリーダーボードで1位にランクインし、新しい記録を樹立する。
  論文  参考訳（メタデータ） (2023-01-03T13:51:51Z)
• Knowledge Enhanced Neural Networks for relational domains [83.9217787335878]
  我々は、ニューラルネットワークに事前論理的知識を注入するニューラルネットワークアーキテクチャであるKENNに焦点を当てる。 本稿では,関係データに対するKENNの拡張を提案する。
  論文  参考訳（メタデータ） (2022-05-31T13:00:34Z)
• Developing Constrained Neural Units Over Time [81.19349325749037]
  本稿では,既存のアプローチと異なるニューラルネットワークの定義方法に焦点をあてる。 ニューラルネットワークの構造は、データとの相互作用にも拡張される制約の特別なクラスによって定義される。 提案した理論は時間領域にキャストされ, データを順序づけられた方法でネットワークに提示する。
  論文  参考訳（メタデータ） (2020-09-01T09:07:25Z)
• Online Kernel based Generative Adversarial Networks [0.45880283710344055]
  オンラインカーネルベースのジェネレーティブ・アドバイザリアル・ネットワーク(OKGAN)は,モード崩壊やサイクリングなど,多くのトレーニング問題を緩和する。 OKGANは、合成データ上の他のGANの定式化よりも、逆KL偏差に対して、劇的に優れた性能を発揮する。
  論文  参考訳（メタデータ） (2020-06-19T22:54:01Z)
• Revisiting Initialization of Neural Networks [72.24615341588846]
  ヘッセン行列のノルムを近似し, 制御することにより, 層間における重みのグローバルな曲率を厳密に推定する。 Word2Vec と MNIST/CIFAR 画像分類タスクの実験により,Hessian ノルムの追跡が診断ツールとして有用であることが確認された。
  論文  参考訳（メタデータ） (2020-04-20T18:12:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。