論文の概要: Conditional Mutual Information Constrained Deep Learning for Classification

• arxiv url: http://arxiv.org/abs/2309.09123v1
• Date: Sun, 17 Sep 2023 01:16:45 GMT
• ステータス: 処理完了
• システム内更新日: 2023-09-19 17:23:43.752825
• Title: Conditional Mutual Information Constrained Deep Learning for Classification
• Title（参考訳）: 深層学習の条件付き相互情報による分類
• Authors: En-Hui Yang, Shayan Mohajer Hamidi, Linfeng Ye, Renhao Tan and Beverly Yang
• Abstract要約: 分類深層ニューラルネットワーク(DNN)の濃度と性能を測定するために、条件付き相互情報(CMI)と正規化条件付き相互情報(NCMI)を導入する。 NCMIを用いて、画像ネット上で事前訓練された一般的なDNNを評価することにより、画像ネット検証データセットに対する検証精度は、NCMI値にほぼ逆比例していることが示されている。 このような制約付き最適化問題を解くために,新しい交互学習アルゴリズムを提案する。
• 参考スコア（独自算出の注目度）: 3.5237980787861964
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The concepts of conditional mutual information (CMI) and normalized conditional mutual information (NCMI) are introduced to measure the concentration and separation performance of a classification deep neural network (DNN) in the output probability distribution space of the DNN, where CMI and the ratio between CMI and NCMI represent the intra-class concentration and inter-class separation of the DNN, respectively. By using NCMI to evaluate popular DNNs pretrained over ImageNet in the literature, it is shown that their validation accuracies over ImageNet validation data set are more or less inversely proportional to their NCMI values. Based on this observation, the standard deep learning (DL) framework is further modified to minimize the standard cross entropy function subject to an NCMI constraint, yielding CMI constrained deep learning (CMIC-DL). A novel alternating learning algorithm is proposed to solve such a constrained optimization problem. Extensive experiment results show that DNNs trained within CMIC-DL outperform the state-of-the-art models trained within the standard DL and other loss functions in the literature in terms of both accuracy and robustness against adversarial attacks. In addition, visualizing the evolution of learning process through the lens of CMI and NCMI is also advocated.
• Abstract（参考訳）: 条件付き相互情報(CMI)と正規化条件付き相互情報(NCMI)の概念を導入し、DNNの出力確率分布空間における分類深度ニューラルネットワーク(DNN)の濃度と分離性能を測定し、CMIとCMIの比率はそれぞれDNNのクラス内濃度とクラス間分離を表す。 NCMIを用いて、画像ネット上で事前訓練された一般的なDNNを評価することにより、画像ネット検証データセットに対する検証精度は、NCMI値にほぼ逆比例することを示した。 この観測に基づいて、標準ディープラーニング(DL)フレームワークは、NCMI制約を受ける標準クロスエントロピー関数を最小限に抑え、CMI制約深層学習(CMIC-DL)を実現するために、さらに修正される。 このような制約付き最適化問題を解くために,新しい交互学習アルゴリズムを提案する。 CMIC-DL内で訓練されたDNNは、標準的なDL内で訓練された最先端のモデルと、敵攻撃に対する正確性と堅牢性の両方の観点から、文献中の他の損失関数より優れていた。 また、CMIとNCMIのレンズによる学習過程の進化を可視化することも提唱されている。

関連論文リスト

• The Misclassification Likelihood Matrix: Some Classes Are More Likely To Be Misclassified Than Others [1.654278807602897]
  本研究では、分散シフト下でのニューラルネットワーク予測の信頼性を定量化するための新しいツールとして、MLM(Misclassification Likelihood Matrix)を紹介した。 この研究の意味は、画像の分類を超えて、自動運転車などの自動運転システムで進行中の応用に及んでいる。
  論文  参考訳（メタデータ） (2024-07-10T16:43:14Z)
• Marginal Debiased Network for Fair Visual Recognition [59.05212866862219]
  本稿では,デバイアス表現を学習するための新しい限界脱バイアスネットワーク(MDN)を提案する。 我々のMDNは、表現不足のサンプルに対して顕著な性能を達成できる。
  論文  参考訳（メタデータ） (2024-01-04T08:57:09Z)
• Assessing Neural Network Representations During Training Using Noise-Resilient Diffusion Spectral Entropy [55.014926694758195]
  ニューラルネットワークにおけるエントロピーと相互情報は、学習プロセスに関する豊富な情報を提供する。 データ幾何を利用して基礎となる多様体にアクセスし、これらの情報理論測度を確実に計算する。 本研究は,高次元シミュレーションデータにおける固有次元と関係強度の耐雑音性の測定結果である。
  論文  参考訳（メタデータ） (2023-12-04T01:32:42Z)
• Neural Network with Local Converging Input (NNLCI) for Supersonic Flow Problems with Unstructured Grids [0.9152133607343995]
  非構造データを用いた高忠実度予測のための局所収束入力(NNLCI)を用いたニューラルネットワークを開発した。 また, NNLCI法を用いて, バンプを有するチャネル内の超音速流の可視化を行った。
  論文  参考訳（メタデータ） (2023-10-23T19:03:37Z)
• A Multi-Head Ensemble Multi-Task Learning Approach for Dynamical Computation Offloading [62.34538208323411]
  共有バックボーンと複数の予測ヘッド(PH)を組み合わせたマルチヘッドマルチタスク学習(MEMTL)手法を提案する。 MEMTLは、追加のトレーニングデータを必要とせず、推測精度と平均平方誤差の両方でベンチマーク手法より優れている。
  論文  参考訳（メタデータ） (2023-09-02T11:01:16Z)
• SEMI-CenterNet: A Machine Learning Facilitated Approach for Semiconductor Defect Inspection [0.10555513406636088]
  我々は半導体ウエハ欠陥のSEM画像に基づいて学習したカスタマイズCNアーキテクチャであるSEMI-CenterNet(SEMI-CN)を提案する。 SEMI-CNは、欠陥インスタンスの中心、クラス、サイズ、オフセットを出力するように訓練される。 2つのデータセットでSEMI-CNをトレーニングし、2つのResNetバックボーンをベンチマークします。
  論文  参考訳（メタデータ） (2023-08-14T14:39:06Z)
• Unmatched uncertainty mitigation through neural network supported model predictive control [7.036452261968766]
  学習ベースMPC(LBMPC)の基本最適化問題において,深層ニューラルネットワーク(DNN)をオラクルとして利用する。 我々は、ニューラルネットワークの最後のレイヤの重みをリアルタイムで更新するデュアル・タイムスケール適応機構を採用している。 その結果,提案手法はリアルタイムに実装可能であり,LBMPCの理論的保証を担っていることがわかった。
  論文  参考訳（メタデータ） (2023-04-22T04:49:48Z)
• On Leave-One-Out Conditional Mutual Information For Generalization [122.2734338600665]
  残余条件付き相互情報(loo-CMI)の新しい尺度に基づく教師付き学習アルゴリズムのための情報理論の一般化境界を導出する。 他のCMI境界とは対照的に、我々のloo-CMI境界は容易に計算でき、古典的なout-out-out-cross-validationのような他の概念と関連して解釈できる。 ディープラーニングのシナリオにおいて予測された一般化ギャップを評価することにより,境界の質を実証的に検証する。
  論文  参考訳（メタデータ） (2022-07-01T17:58:29Z)
• State and Topology Estimation for Unobservable Distribution Systems using Deep Neural Networks [8.673621107750652]
  リアルタイムオブザーバビリティが制限されているため,再構成可能な分散ネットワークの時間同期状態推定は困難である。 本論文では,深層学習(DL)に基づくトポロジー同定(TI)と不均衡な3相分布系状態推定(DSSE)の手法を定式化する。 2つのディープニューラルネットワーク(DNN)は、同期失調症測定装置(SMD)によって不完全に観察されるシステムに対して、TIおよびDSSEを実装するために順次動作するように訓練されます。
  論文  参考訳（メタデータ） (2021-04-15T02:46:50Z)
• DS-UI: Dual-Supervised Mixture of Gaussian Mixture Models for Uncertainty Inference [52.899219617256655]
  本稿では、ディープニューラルネットワーク(DNN)に基づく画像認識において、ベイズ推定に基づく不確実性推論(UI)を改善するための二重教師付き不確実性推論(DS-UI)フレームワークを提案する。 DS-UIでは、最後の完全連結(FC)層とガウス混合モデル(MoGMM)を組み合わせ、MoGMM-FC層を得る。 実験の結果,DS-UIは誤分類検出において最先端のUI手法よりも優れていた。
  論文  参考訳（メタデータ） (2020-11-17T12:35:02Z)
• Collaborative Boundary-aware Context Encoding Networks for Error Map Prediction [65.44752447868626]
  本稿では,AEP-Net と呼ばれる協調的コンテキスト符号化ネットワークを提案する。 具体的には、画像とマスクのより優れた特徴融合のための協調的な特徴変換分岐と、エラー領域の正確な局所化を提案する。 AEP-Netはエラー予測タスクの平均DSCが0.8358,0.8164であり、ピアソン相関係数が0.9873である。
  論文  参考訳（メタデータ） (2020-06-25T12:42:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。