論文の概要: Encoding Hierarchical Information in Neural Networks helps in Subpopulation Shift

• arxiv url: http://arxiv.org/abs/2112.10844v1
• Date: Mon, 20 Dec 2021 20:26:26 GMT
• ステータス: 処理完了
• システム内更新日: 2021-12-22 14:15:34.702148
• Title: Encoding Hierarchical Information in Neural Networks helps in Subpopulation Shift
• Title（参考訳）: 階層情報をニューラルネットワークで符号化することで、人口移動を支援する
• Authors: Amitangshu Mukherjee, Isha Garg and Kaushik Roy
• Abstract要約: ディープニューラルネットワークは画像分類のタスクに適していることが証明されている。 本研究では,新しい条件付き教師あり学習フレームワークのレンズを用いて,上記の問題について検討する。 この構造的階層的な学習によって、サブ人口移動に対してより堅牢なネットワークが得られることを示す。
• 参考スコア（独自算出の注目度）: 8.01009207457926
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Over the past decade, deep neural networks have proven to be adept in image classification tasks, often surpassing humans in terms of accuracy. However, standard neural networks often fail to understand the concept of hierarchical structures and dependencies among different classes for vision related tasks. Humans on the other hand, seem to learn categories conceptually, progressively growing from understanding high-level concepts down to granular levels of categories. One of the issues arising from the inability of neural networks to encode such dependencies within its learned structure is that of subpopulation shift -- where models are queried with novel unseen classes taken from a shifted population of the training set categories. Since the neural network treats each class as independent from all others, it struggles to categorize shifting populations that are dependent at higher levels of the hierarchy. In this work, we study the aforementioned problems through the lens of a novel conditional supervised training framework. We tackle subpopulation shift by a structured learning procedure that incorporates hierarchical information conditionally through labels. Furthermore, we introduce a notion of graphical distance to model the catastrophic effect of mispredictions. We show that learning in this structured hierarchical manner results in networks that are more robust against subpopulation shifts, with an improvement of around ~2% in terms of accuracy and around 8.5\% in terms of graphical distance over standard models on subpopulation shift benchmarks.
• Abstract（参考訳）: 過去10年間で、ディープニューラルネットワークは画像分類タスクに長けており、精度の面では人間を上回っていることが多い。 しかしながら、標準的なニューラルネットワークは、視覚関連タスクのための異なるクラス間の階層構造と依存関係の概念を理解できないことが多い。 一方、人間はカテゴリを概念的に学習し、ハイレベルな概念の理解からカテゴリの粒度レベルへと徐々に成長しているように見える。 ニューラルネットワークがそのような依存関係を学習構造内にエンコードできないことによる問題のひとつは、トレーニングセットのカテゴリのシフトした集団から取られた、新しい未知のクラスをモデルが問合せするサブポピュレーションシフトである。 ニューラルネットワークは各クラスを他のクラスとは独立に扱うため、階層の上位レベルに依存するシフトする人口を分類するのに苦労する。 本研究では,新しい条件付き指導訓練フレームワークのレンズを用いて,上記の問題について検討する。 ラベルを通じて階層的情報を条件付きで組み込んだ構造的学習手順によって,サブポピュレーションシフトに取り組む。 さらに、誤予測の破滅的な効果をモデル化するためのグラフィカル距離の概念を導入する。 この構造的階層的手法による学習は,サブポピュレーションシフトに対してより強固なネットワークへと発展し,精度では約2%,サブポピュレーションシフトベンチマークでは標準モデル上でのグラフィカル距離では約8.5\%向上することを示した。

関連論文リスト

• Federated Graph Semantic and Structural Learning [54.97668931176513]
  本稿では,ノードレベルのセマンティクスとグラフレベルの構造の両方によって局所的なクライアントの歪みがもたらされることを示す。 構造的グラフニューラルネットワークは、固有の隣接関係のため、隣人に類似性を持っていると仮定する。 我々は、隣接関係を類似度分布に変換し、グローバルモデルを利用して関係知識を局所モデルに蒸留する。
  論文  参考訳（メタデータ） (2024-06-27T07:08:28Z)
• Coding schemes in neural networks learning classification tasks [52.22978725954347]
  完全接続型広義ニューラルネットワーク学習タスクについて検討する。 ネットワークが強力なデータ依存機能を取得することを示す。 驚くべきことに、内部表現の性質は神経の非線形性に大きく依存する。
  論文  参考訳（メタデータ） (2024-06-24T14:50:05Z)
• How Deep Neural Networks Learn Compositional Data: The Random Hierarchy Model [47.617093812158366]
  言語と画像の階層構造にインスパイアされた合成タスクのファミリーであるランダム階層モデルを紹介する。 深層ネットワークは、等価なグループを交換するために不変な内部表現を開発することでタスクを学習する。 この結果から, ネットワークは次元の呪いを克服し, 不変表現を構築できることが示唆された。
  論文  参考訳（メタデータ） (2023-07-05T09:11:09Z)
• Isometric Representations in Neural Networks Improve Robustness [0.0]
  我々は、クラス内メートル法構造を同時に維持しながら分類を行うためにニューラルネットワークを訓練する。 我々は、等尺正則化がMNISTに対する敵攻撃に対する堅牢性を改善することを検証する。
  論文  参考訳（メタデータ） (2022-11-02T16:18:18Z)
• Rank Diminishing in Deep Neural Networks [71.03777954670323]
  ニューラルネットワークのランクは、層をまたがる情報を測定する。 これは機械学習の幅広い領域にまたがる重要な構造条件の例である。 しかし、ニューラルネットワークでは、低ランク構造を生み出す固有のメカニズムはあいまいで不明瞭である。
  論文  参考訳（メタデータ） (2022-06-13T12:03:32Z)
• Interpretable part-whole hierarchies and conceptual-semantic relationships in neural networks [4.153804257347222]
  本稿では、視覚的手がかりから部分全体階層を表現できるフレームワークであるAgglomeratorについて述べる。 本研究では,SmallNORB,MNIST,FashionMNIST,CIFAR-10,CIFAR-100などの共通データセットを用いて評価を行った。
  論文  参考訳（メタデータ） (2022-03-07T10:56:13Z)
• Discriminability-enforcing loss to improve representation learning [20.4701676109641]
  我々は、個々の高次特徴のエントロピーを最小化するために、ジニ不純物にインスパイアされた新しい損失項を導入する。 我々のGini損失は高い差別的特徴をもたらすが、高レベルの特徴の分布がクラスの分布と一致していることを保証するものではない。 実験結果から,新たな損失項をトレーニング目標に組み込むことで,クロスエントロピー単独でトレーニングしたモデルよりも一貫して優れた結果が得られた。
  論文  参考訳（メタデータ） (2022-02-14T22:31:37Z)
• Computing Class Hierarchies from Classifiers [12.631679928202516]
  ニューラルネットワークからクラス階層を自動的に取得する新しいアルゴリズムを提案する。 我々のアルゴリズムは、よく知られたディープニューラルネットワークモデルに驚くほど優れた階層を生成する。
  論文  参考訳（メタデータ） (2021-12-02T13:01:04Z)
• Dynamic Inference with Neural Interpreters [72.90231306252007]
  本稿では,モジュールシステムとしての自己アテンションネットワークにおける推論を分解するアーキテクチャであるNeural Interpretersを提案する。 モデルへの入力は、エンドツーエンドの学習方法で一連の関数を通してルーティングされる。 ニューラル・インタープリタは、より少ないパラメータを用いて視覚変換器と同等に動作し、サンプル効率で新しいタスクに転送可能であることを示す。
  論文  参考訳（メタデータ） (2021-10-12T23:22:45Z)
• Domain Generalization for Medical Imaging Classification with Linear-Dependency Regularization [59.5104563755095]
  本稿では,医用画像分類分野におけるディープニューラルネットワークの一般化能力向上のための,シンプルだが効果的なアプローチを提案する。 医用画像の領域変数がある程度コンパクトであることに感銘を受けて,変分符号化による代表的特徴空間の学習を提案する。
  論文  参考訳（メタデータ） (2020-09-27T12:30:30Z)
• Learn Class Hierarchy using Convolutional Neural Networks [0.9569316316728905]
  画像の階層的分類のための新しいアーキテクチャを提案し、クロスエントロピー損失関数と中心損失を組み合わせた深層線形層を導入する。 階層型分類器は,コンピュータビジョンタスクへの応用を見出す従来の分類手法の利点を示す。
  論文  参考訳（メタデータ） (2020-05-18T12:06:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。