論文の概要: Hypernym Bias: Unraveling Deep Classifier Training Dynamics through the Lens of Class Hierarchy

• arxiv url: http://arxiv.org/abs/2502.12125v1
• Date: Mon, 17 Feb 2025 18:47:01 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-18 14:14:27.187847
• Title: Hypernym Bias: Unraveling Deep Classifier Training Dynamics through the Lens of Class Hierarchy
• Title（参考訳）: ハイパーネムバイアス:階級階層のレンズによるディープ・クラシファイア・トレーニングのダイナミクス
• Authors: Roman Malashin, Valeria Yachnaya, Alexander Mullin,
• Abstract要約: 分類問題における学習過程はラベルクラスタリングのレンズを通して理解することができると論じる。 具体的には、トレーニングの初期段階において、ネットワークが上位(高位)のカテゴリーを区別する傾向があることを観察する。 学習中に特徴多様体の進化を追跡する新しいフレームワークを導入し、クラス関係の階層構造がどのように現れるかを明らかにする。
• 参考スコア（独自算出の注目度）: 44.99833362998488
• License:
• Abstract: We investigate the training dynamics of deep classifiers by examining how hierarchical relationships between classes evolve during training. Through extensive experiments, we argue that the learning process in classification problems can be understood through the lens of label clustering. Specifically, we observe that networks tend to distinguish higher-level (hypernym) categories in the early stages of training, and learn more specific (hyponym) categories later. We introduce a novel framework to track the evolution of the feature manifold during training, revealing how the hierarchy of class relations emerges and refines across the network layers. Our analysis demonstrates that the learned representations closely align with the semantic structure of the dataset, providing a quantitative description of the clustering process. Notably, we show that in the hypernym label space, certain properties of neural collapse appear earlier than in the hyponym label space, helping to bridge the gap between the initial and terminal phases of learning. We believe our findings offer new insights into the mechanisms driving hierarchical learning in deep networks, paving the way for future advancements in understanding deep learning dynamics.
• Abstract（参考訳）: 本研究では,クラス間の階層的関係が学習中にどのように進化するかを検討することによって,深層分類器の訓練力学について検討する。 広範な実験を通じて、分類問題における学習過程はラベルクラスタリングのレンズを通して理解することができると論じる。 具体的には、トレーニングの初期段階において、ネットワークは上位(ハイポニム)のカテゴリを区別する傾向にあり、その後、より具体的な(ハイポニム)カテゴリを学習する傾向にある。 トレーニング中に特徴多様体の進化を追跡する新しいフレームワークを導入し,ネットワーク層にまたがるクラス関係の階層構造がどのように出現し,洗練されるかを明らかにする。 分析の結果,学習した表現はデータセットのセマンティック構造と密接に一致し,クラスタリングプロセスの定量的な記述が得られた。 特に、ハイパーネムラベル空間では、低ネムラベル空間よりも神経崩壊の特定の性質が早く現れることが示され、学習の初期相と終末相のギャップを埋めるのに役立ちます。 我々の発見は、深層ネットワークにおける階層的学習を促進するメカニズムに新たな洞察を与え、深層学習のダイナミクスを理解するための将来の進歩の道を開いたと信じている。

関連論文リスト

• Understanding Deep Representation Learning via Layerwise Feature Compression and Discrimination [33.273226655730326]
  深層線形ネットワークの各層は、幾何速度でクラス内特徴を徐々に圧縮し、線形速度でクラス間特徴を識別することを示す。 これは、ディープ線形ネットワークの階層的表現における特徴進化の最初の定量的評価である。
  論文  参考訳（メタデータ） (2023-11-06T09:00:38Z)
• A Comprehensive Survey on Deep Clustering: Taxonomy, Challenges, and Future Directions [48.97008907275482]
  クラスタリングは、文献で広く研究されている基本的な機械学習タスクである。 ディープクラスタリング(Deep Clustering)、すなわち表現学習とクラスタリングを共同で最適化する手法が提案され、コミュニティで注目を集めている。 深層クラスタリングの本質的なコンポーネントを要約し、深層クラスタリングと深層クラスタリングの相互作用を設計する方法によって既存の手法を分類する。
  論文  参考訳（メタデータ） (2022-06-15T15:05:13Z)
• Towards understanding deep learning with the natural clustering prior [3.8073142980733]
  この論文は、3つの文からなる自然クラスタリングの暗黙の統合について考察する。 クラスを複数のクラスタに分解することで、教師なしのディープラーニングシステムは、教師なしクラスタリングの恩恵を受けることができ、適切な決定境界を定義することができる。 我々は、深層ニューラルネットワークのニューロンレベルと層レベルの表現と同様に、トレーニングダイナミクスに関する広範な実証的研究を通じてこれを行ないます。
  論文  参考訳（メタデータ） (2022-03-15T18:07:37Z)
• Nearest Class-Center Simplification through Intermediate Layers [0.0]
  近年のDeep Learningは、補間閾値を越えて、トレーニング中に発生する幾何学的特性を導入している。 ネットワークの中間層におけるニューラル崩壊という現象を探索し、ディープネット内の最も近いクラス・センター・ミスマッチの内部作業を強調する。
  論文  参考訳（メタデータ） (2022-01-21T23:21:26Z)
• Encoding Hierarchical Information in Neural Networks helps in Subpopulation Shift [8.01009207457926]
  ディープニューラルネットワークは画像分類のタスクに適していることが証明されている。 本研究では,新しい条件付き教師あり学習フレームワークのレンズを用いて,上記の問題について検討する。 この構造的階層的な学習によって、サブ人口移動に対してより堅牢なネットワークが得られることを示す。
  論文  参考訳（メタデータ） (2021-12-20T20:26:26Z)
• Long-tail Recognition via Compositional Knowledge Transfer [60.03764547406601]
  末尾クラスの少数ショット問題に対処する長尾認識のための新しい戦略を導入する。 我々の目標は、情報に富んだ共通クラスから得られた知識を、意味的に類似しているがデータに富む稀なクラスに伝達することである。 実験結果から,本手法は稀なクラスにおいて,堅牢な共通クラス性能を維持しつつ,大幅な性能向上を達成できることが示唆された。
  論文  参考訳（メタデータ） (2021-12-13T15:48:59Z)
• A Comprehensive Survey on Community Detection with Deep Learning [93.40332347374712]
  コミュニティは、ネットワーク内の他のコミュニティと異なるメンバーの特徴と接続を明らかにする。 この調査は、最先端の手法の様々なカテゴリをカバーする新しい分類法を考案し、提案する。 ディープニューラルネットワーク(Deep Neural Network)は、畳み込みネットワーク(convolutional network)、グラフアテンションネットワーク( graph attention network)、生成的敵ネットワーク(generative adversarial network)、オートエンコーダ(autoencoder)に分けられる。
  論文  参考訳（メタデータ） (2021-05-26T14:37:07Z)
• Learning Connectivity of Neural Networks from a Topological Perspective [80.35103711638548]
  本稿では,ネットワークを解析のための完全なグラフに表現するためのトポロジ的視点を提案する。 接続の規模を反映したエッジに学習可能なパラメータを割り当てることにより、学習プロセスを異なる方法で行うことができる。 この学習プロセスは既存のネットワークと互換性があり、より大きな検索空間と異なるタスクへの適応性を持っている。
  論文  参考訳（メタデータ） (2020-08-19T04:53:31Z)
• Learn Class Hierarchy using Convolutional Neural Networks [0.9569316316728905]
  画像の階層的分類のための新しいアーキテクチャを提案し、クロスエントロピー損失関数と中心損失を組み合わせた深層線形層を導入する。 階層型分類器は,コンピュータビジョンタスクへの応用を見出す従来の分類手法の利点を示す。
  論文  参考訳（メタデータ） (2020-05-18T12:06:43Z)
• The large learning rate phase of deep learning: the catapult mechanism [50.23041928811575]
  問題解決可能なトレーニングダイナミクスを備えたニューラルネットワークのクラスを提示する。 現実的なディープラーニング環境において,モデルの予測とトレーニングのダイナミクスとの間には,よい一致がある。 我々の結果は、異なる学習率でトレーニングされたモデルの特性に光を当てたと信じています。
  論文  参考訳（メタデータ） (2020-03-04T17:52:48Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。