論文の概要: Probing the Purview of Neural Networks via Gradient Analysis

• arxiv url: http://arxiv.org/abs/2304.02834v1
• Date: Thu, 6 Apr 2023 03:02:05 GMT
• ステータス: 処理完了
• システム内更新日: 2023-04-07 15:34:50.466439
• Title: Probing the Purview of Neural Networks via Gradient Analysis
• Title（参考訳）: 勾配解析によるニューラルネットワークのパービューの探索
• Authors: Jinsol Lee, Charlie Lehman, Mohit Prabhushankar, Ghassan AlRegib
• Abstract要約: 我々は、ニューラルネットワークのデータ依存能力を分析し、推論中のネットワークの観点から入力の異常を評価する。 ネットワークのパービューを探索するために、モデルに必要な変化量を測定するために勾配を利用して、与えられた入力をより正確に特徴付ける。 我々の勾配に基づくアプローチは、学習した特徴で正確に表現できない入力を効果的に区別できることを実証する。
• 参考スコア（独自算出の注目度）: 13.800680101300756
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We analyze the data-dependent capacity of neural networks and assess anomalies in inputs from the perspective of networks during inference. The notion of data-dependent capacity allows for analyzing the knowledge base of a model populated by learned features from training data. We define purview as the additional capacity necessary to characterize inference samples that differ from the training data. To probe the purview of a network, we utilize gradients to measure the amount of change required for the model to characterize the given inputs more accurately. To eliminate the dependency on ground-truth labels in generating gradients, we introduce confounding labels that are formulated by combining multiple categorical labels. We demonstrate that our gradient-based approach can effectively differentiate inputs that cannot be accurately represented with learned features. We utilize our approach in applications of detecting anomalous inputs, including out-of-distribution, adversarial, and corrupted samples. Our approach requires no hyperparameter tuning or additional data processing and outperforms state-of-the-art methods by up to 2.7%, 19.8%, and 35.6% of AUROC scores, respectively.
• Abstract（参考訳）: ニューラルネットワークのデータ依存キャパシティを分析し、推論中のネットワークの観点から入力の異常を評価する。 データ依存能力の概念は、学習した特徴に代表されるモデルの知識ベースをトレーニングデータから分析することができる。 トレーニングデータと異なる推論サンプルを特徴付けるのに必要な追加能力としてパービューを定義する。 ネットワークのパービューを調べるために、モデルが与えられた入力をより正確に特徴付けるのに必要な変更量を測定するために勾配を利用する。 グラデーションの生成における接地ラベルへの依存をなくすため,複数のカテゴリラベルを組み合わせることで定式化した結合ラベルを導入する。 我々の勾配に基づくアプローチは、学習した特徴で正確に表現できない入力を効果的に区別できることを実証する。 本手法は, 分布外, 敵対的, 腐敗したサンプルを含む異常な入力の検出に応用する。 このアプローチでは、ハイパーパラメータチューニングや追加のデータ処理を必要とせず、aurocスコアの最大2.7%、19.8%、35.6%を上回っている。

関連論文リスト

• Downstream-Pretext Domain Knowledge Traceback for Active Learning [138.02530777915362]
  本稿では、下流知識と事前学習指導のデータ相互作用をトレースするダウンストリーム・プレテキスト・ドメイン知識トレース(DOKT)手法を提案する。 DOKTは、トレースバックの多様性指標とドメインベースの不確実性推定器から構成される。 10のデータセットで行った実験は、我々のモデルが他の最先端の手法よりも優れていることを示している。
  論文  参考訳（メタデータ） (2024-07-20T01:34:13Z)
• QGait: Toward Accurate Quantization for Gait Recognition with Binarized Input [17.017127559393398]
  バックプロパゲーション時の円関数の勾配をよりよくシミュレートする,微分可能なソフト量子化器を提案する。 これにより、ネットワークは微妙な入力摂動から学習することができる。 量子化エラーをシミュレートしながら収束を確保するためのトレーニング戦略をさらに洗練する。
  論文  参考訳（メタデータ） (2024-05-22T17:34:18Z)
• Gradient-Based Adversarial and Out-of-Distribution Detection [15.510581400494207]
  ニューラルネットワークの効率的な表現性を調べるために,勾配生成における共起ラベルを導入する。 我々の勾配に基づくアプローチは、モデルの効果的な表現率に基づいて入力の異常を捉えることができることを示す。
  論文  参考訳（メタデータ） (2022-06-16T15:50:41Z)
• Decomposing neural networks as mappings of correlation functions [57.52754806616669]
  本研究では,ディープフィードフォワードネットワークによって実装された確率分布のマッピングについて検討する。 ニューラルネットワークで使用できる異なる情報表現と同様に、データに不可欠な統計を識別する。
  論文  参考訳（メタデータ） (2022-02-10T09:30:31Z)
• Attentive Prototypes for Source-free Unsupervised Domain Adaptive 3D Object Detection [85.11649974840758]
  3Dオブジェクト検出ネットワークは、トレーニングされたデータに対してバイアスを受ける傾向がある。 そこで本研究では,ライダーを用いた3次元物体検出器のソースレス・教師なし領域適応のための単一フレーム手法を提案する。
  論文  参考訳（メタデータ） (2021-11-30T18:42:42Z)
• Revealing and Protecting Labels in Distributed Training [3.18475216176047]
  本稿では,最終層の勾配とラベルマッピングへのIDのみから,トレーニングサンプルのラベル集合を発見する手法を提案する。 本稿では,画像分類と自動音声認識という2つの領域におけるモデル学習の有効性を示す。
  論文  参考訳（メタデータ） (2021-10-31T17:57:49Z)
• Towards Open-World Feature Extrapolation: An Inductive Graph Learning Approach [80.8446673089281]
  グラフ表現と学習を伴う新しい学習パラダイムを提案する。 本フレームワークは,1) 下位モデルとしてのバックボーンネットワーク(フィードフォワードニューラルネットなど)が,予測ラベルの入力および出力として機能を取り,2) 上位モデルとしてのグラフニューラルネットワークが,観測データから構築された特徴データグラフをメッセージパッシングすることで,新機能の埋め込みを外挿することを学ぶ。
  論文  参考訳（メタデータ） (2021-10-09T09:02:45Z)
• Anomaly Detection on Attributed Networks via Contrastive Self-Supervised Learning [50.24174211654775]
  本論文では,アトリビュートネットワーク上の異常検出のためのコントラスト型自己監視学習フレームワークを提案する。 このフレームワークは、新しいタイプのコントラストインスタンスペアをサンプリングすることで、ネットワークデータからのローカル情報を完全に活用します。 高次元特性と局所構造から情報埋め込みを学習するグラフニューラルネットワークに基づくコントラスト学習モデルを提案する。
  論文  参考訳（メタデータ） (2021-02-27T03:17:20Z)
• Gradients as a Measure of Uncertainty in Neural Networks [16.80077149399317]
  本稿では,学習モデルの不確かさの定量化にバックプロパゲート勾配を用いることを提案する。 本研究では,AUROC スコアの4.8% を非分布検出において,勾配法が最先端の手法より優れていることを示す。
  論文  参考訳（メタデータ） (2020-08-18T16:58:46Z)
• Learning What Makes a Difference from Counterfactual Examples and Gradient Supervision [57.14468881854616]
  ニューラルネットワークの一般化能力を改善するための補助的学習目標を提案する。 我々は、異なるラベルを持つ最小差の例のペア、すなわち反ファクトまたはコントラストの例を使用し、タスクの根底にある因果構造を示す信号を与える。 このテクニックで訓練されたモデルは、配布外テストセットのパフォーマンスを向上させる。
  論文  参考訳（メタデータ） (2020-04-20T02:47:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。