論文の概要: Identification and Uses of Deep Learning Backbones via Pattern Mining

• arxiv url: http://arxiv.org/abs/2403.18278v1
• Date: Wed, 27 Mar 2024 06:13:39 GMT
• ステータス: 処理完了
• システム内更新日: 2024-03-28 18:16:31.384973
• Title: Identification and Uses of Deep Learning Backbones via Pattern Mining
• Title（参考訳）: パターンマイニングによる深層学習バックボーンの同定と利用
• Authors: Michael Livanos, Ian Davidson,
• Abstract要約: 与えられたインスタンスのグループに対して、ディープラーニングのバックボーンを特定する方法を示す。 また、これらのバックボーンを調べて、ミスを特定し、パフォーマンスを改善します。 いくつかの挑戦的なデータセットを用いてアプリケーションベースの結果を示す。
• 参考スコア（独自算出の注目度）: 15.414204257189596
• License: http://creativecommons.org/publicdomain/zero/1.0/
• Abstract: Deep learning is extensively used in many areas of data mining as a black-box method with impressive results. However, understanding the core mechanism of how deep learning makes predictions is a relatively understudied problem. Here we explore the notion of identifying a backbone of deep learning for a given group of instances. A group here can be instances of the same class or even misclassified instances of the same class. We view each instance for a given group as activating a subset of neurons and attempt to find a subgraph of neurons associated with a given concept/group. We formulate this problem as a set cover style problem and show it is intractable and presents a highly constrained integer linear programming (ILP) formulation. As an alternative, we explore a coverage-based heuristic approach related to pattern mining, and show it converges to a Pareto equilibrium point of the ILP formulation. Experimentally we explore these backbones to identify mistakes and improve performance, explanation, and visualization. We demonstrate application-based results using several challenging data sets, including Bird Audio Detection (BAD) Challenge and Labeled Faces in the Wild (LFW), as well as the classic MNIST data.
• Abstract（参考訳）: 深層学習は、データマイニングの多くの分野で、印象的な結果のブラックボックス手法として広く利用されている。 しかし、ディープラーニングの予測方法のコアメカニズムを理解することは、比較的未検討の問題である。 ここでは、あるインスタンス群に対するディープラーニングのバックボーンを特定するという概念について検討する。 ここでのグループは、同じクラスのインスタンスであっても、同じクラスの誤って分類されたインスタンスであってもよい。 与えられたグループの各インスタンスは、ニューロンのサブセットを活性化し、与えられた概念/グループに関連するニューロンのサブグラフを見つけようとします。 この問題を集合被覆型問題として定式化し、難易度を示し、高度に制約された整数線形計画法(ILP)を提示する。 代替として、パターンマイニングに関連するカバレッジベースのヒューリスティックアプローチを探求し、ICP定式化のパレート平衡点に収束することを示す。 実験的にこれらのバックボーンを調べ、ミスを特定し、パフォーマンス、説明、可視化を改善します。 本研究では,BAD(Bird Audio Detection)チャレンジやLFW(Labeled Faces in the Wild)といった難易度の高いデータセットと,従来のMNISTデータを用いて,アプリケーションベースの結果を実証する。

関連論文リスト

• The Group Loss++: A deeper look into group loss for deep metric learning [65.19665861268574]
  グループ損失 (Group Loss) は、グループの全サンプルに埋め込まれた類似性を強制する微分可能なラベルプロパゲーション法に基づく損失関数である。 4つのデータセットでクラスタリングと画像検索の最先端結果を示し、2人の再識別データセットで競合結果を示す。
  論文  参考訳（メタデータ） (2022-04-04T14:09:58Z)
• BatchFormer: Learning to Explore Sample Relationships for Robust Representation Learning [93.38239238988719]
  本稿では,各ミニバッチからサンプル関係を学習可能なディープニューラルネットワークを提案する。 BatchFormerは各ミニバッチのバッチ次元に適用され、トレーニング中のサンプル関係を暗黙的に探索する。 我々は10以上のデータセットに対して広範な実験を行い、提案手法は異なるデータ不足アプリケーションにおいて大幅な改善を実現する。
  論文  参考訳（メタデータ） (2022-03-03T05:31:33Z)
• Resolving label uncertainty with implicit posterior models [71.62113762278963]
  本稿では,データサンプルのコレクション間でラベルを共同で推論する手法を提案する。 異なる予測子を後部とする生成モデルの存在を暗黙的に仮定することにより、弱い信念の下での学習を可能にする訓練目標を導出する。
  論文  参考訳（メタデータ） (2022-02-28T18:09:44Z)
• MOCCA: Multi-Layer One-Class ClassificAtion for Anomaly Detection [16.914663209964697]
  我々は,Multi-Layer One-Class Classification (MOCCA) と呼ばれる異常検出問題に対するディープラーニングアプローチを提案する。 異なる深さで抽出された情報を利用して異常なデータインスタンスを検出することで、ディープニューラルネットワークのピースワイズ的性質を明示的に活用します。 本稿では,本手法が文献で利用可能な最先端手法と比較して優れた性能を示す。
  論文  参考訳（メタデータ） (2020-12-09T08:32:56Z)
• Towards Improved and Interpretable Deep Metric Learning via Attentive Grouping [103.71992720794421]
  グループ化は、様々な特徴の計算にディープ・メトリック・ラーニングでよく用いられてきた。 本稿では,任意のメトリクス学習フレームワークと柔軟に統合可能な,改良された解釈可能なグループ化手法を提案する。
  論文  参考訳（メタデータ） (2020-11-17T19:08:24Z)
• Spatial Classification With Limited Observations Based On Physics-Aware Structural Constraint [18.070762916388272]
  限られた特徴観察による空間分類は、機械学習において難しい問題である。 本稿では,各クラスにおけるサンプルの特徴値にマルチモーダル分布を従わせることによって,最近のアプローチを拡張した。 マルチモーダル分布を持つ拡張モデルの学習アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2020-08-25T20:07:28Z)
• Relation-Guided Representation Learning [53.60351496449232]
  本稿では,サンプル関係を明示的にモデル化し,活用する表現学習手法を提案する。 私たちのフレームワークは、サンプル間の関係をよく保存します。 サンプルをサブスペースに埋め込むことにより,本手法が大規模なサンプル外問題に対処可能であることを示す。
  論文  参考訳（メタデータ） (2020-07-11T10:57:45Z)
• Learning What Makes a Difference from Counterfactual Examples and Gradient Supervision [57.14468881854616]
  ニューラルネットワークの一般化能力を改善するための補助的学習目標を提案する。 我々は、異なるラベルを持つ最小差の例のペア、すなわち反ファクトまたはコントラストの例を使用し、タスクの根底にある因果構造を示す信号を与える。 このテクニックで訓練されたモデルは、配布外テストセットのパフォーマンスを向上させる。
  論文  参考訳（メタデータ） (2020-04-20T02:47:49Z)
• Ensemble Deep Learning on Large, Mixed-Site fMRI Datasets in Autism and Other Tasks [0.1160208922584163]
  我々は、これまでコンパイルされた最大のマルチソース機能的MRI(fMRI)コネクトロミックデータセットを備えた畳み込みニューラルネットワーク(CNN)を訓練する。 ASDとTDの制御を区別するディープラーニングモデルは、時間的および小脳の接続に大きく焦点を絞っている。
  論文  参考訳（メタデータ） (2020-02-14T17:28:16Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。