論文の概要: Normalized Conditional Mutual Information Surrogate Loss for Deep Neural Classifiers

• arxiv url: http://arxiv.org/abs/2601.02543v1
• Date: Mon, 05 Jan 2026 20:37:03 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-01-07 17:02:12.721382
• Title: Normalized Conditional Mutual Information Surrogate Loss for Deep Neural Classifiers
• Title（参考訳）: ディープニューラル分類器のための正規化条件付き相互情報サロゲート損失
• Authors: Linfeng Ye, Zhixiang Chi, Konstantinos N. Plataniotis, En-hui Yang,
• Abstract要約: 我々は,デファクト・クロスエントロピー(CE)の代替として,新しい情報理論的サロゲート損失,正規化条件付き相互情報(NCMI)を提案する。 画像認識と全スライディングイメージング(WSI)サブタイピングベンチマークを通じて、NCMIでトレーニングされたモデルは、CEと同等の計算コストで、かなりのマージンのアート損失の状態を超越した。
• 参考スコア（独自算出の注目度）: 38.969159614398045
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: In this paper, we propose a novel information theoretic surrogate loss; normalized conditional mutual information (NCMI); as a drop in alternative to the de facto cross-entropy (CE) for training deep neural network (DNN) based classifiers. We first observe that the model's NCMI is inversely proportional to its accuracy. Building on this insight, we introduce an alternating algorithm to efficiently minimize the NCMI. Across image recognition and whole-slide imaging (WSI) subtyping benchmarks, NCMI-trained models surpass state of the art losses by substantial margins at a computational cost comparable to that of CE. Notably, on ImageNet, NCMI yields a 2.77% top-1 accuracy improvement with ResNet-50 comparing to the CE; on CAMELYON-17, replacing CE with NCMI improves the macro-F1 by 8.6% over the strongest baseline. Gains are consistent across various architectures and batch sizes, suggesting that NCMI is a practical and competitive alternative to CE.
• Abstract（参考訳）: 本稿では,De facto cross-entropy (CE) の代替として,ディープニューラルネットワーク(DNN)に基づく分類器を訓練するための新しい情報理論的サロゲート損失,正規化条件付き相互情報(NCMI)を提案する。 まず,モデルのNCMIはその精度に逆比例することを示した。 この知見に基づいて,NCMIを効率的に最小化するための交互アルゴリズムを導入する。 画像認識と全スライディングイメージング(WSI)サブタイピングベンチマーク全体で、NCMIで訓練されたモデルは、CEと同等の計算コストで、最先端の損失をかなり上回った。 ImageNetでは、NCMIはCEと比較してResNet-50で2.77%の精度向上を実現し、CAMELYON-17ではCEをNCMIに置き換えてマクロF1を8.6%改善した。 ゲインはさまざまなアーキテクチャとバッチサイズで一貫性があり、NCMIはCEの代替として実用的で競争力のあるものであることを示唆している。

関連論文リスト

• CNN-Transformer Rectified Collaborative Learning for Medical Image Segmentation [60.08541107831459]
  本稿では,医用画像セグメンテーションのための強力なCNNベースモデルとトランスフォーマーベースモデルを学習するための,CNN-Transformer修正協調学習フレームワークを提案する。 具体的には,学生ソフトラベルの誤り領域を適応的に選択・修正する基礎的真理を取り入れた修正ロジット・ワイド・コラボレーティブ・ラーニング(RLCL)戦略を提案する。 また,機能空間におけるCNNベースモデルとTransformerベースモデル間の効果的な知識伝達を実現するために,クラス認識型特徴量協調学習(CFCL)戦略を提案する。
  論文  参考訳（メタデータ） (2024-08-25T01:27:35Z)
• Conditional Mutual Information Constrained Deep Learning for Classification [3.5237980787861964]
  分類深層ニューラルネットワーク(DNN)の濃度と性能を測定するために、条件付き相互情報(CMI)と正規化条件付き相互情報(NCMI)を導入する。 NCMIを用いて、画像ネット上で事前訓練された一般的なDNNを評価することにより、画像ネット検証データセットに対する検証精度は、NCMI値にほぼ逆比例していることが示されている。 このような制約付き最適化問題を解くために,新しい交互学習アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2023-09-17T01:16:45Z)
• SEMI-CenterNet: A Machine Learning Facilitated Approach for Semiconductor Defect Inspection [0.10555513406636088]
  我々は半導体ウエハ欠陥のSEM画像に基づいて学習したカスタマイズCNアーキテクチャであるSEMI-CenterNet(SEMI-CN)を提案する。 SEMI-CNは、欠陥インスタンスの中心、クラス、サイズ、オフセットを出力するように訓練される。 2つのデータセットでSEMI-CNをトレーニングし、2つのResNetバックボーンをベンチマークします。
  論文  参考訳（メタデータ） (2023-08-14T14:39:06Z)
• Priming Cross-Session Motor Imagery Classification with A Universal Deep Domain Adaptation Framework [3.6824205556465834]
  運動画像(英: Motor image、MI)は、脳のコンピュータインタフェース(BCI)のパラダイムである。 本稿では,領域適応理論の数学的モデルに基づくクロスセッションMI分類のための,シームズ深部ドメイン適応(SDDA)フレームワークを提案する。 提案するフレームワークは、ネットワーク構造を変更することなく、既存のほとんどのニューラルネットワークに容易に適用することができる。
  論文  参考訳（メタデータ） (2022-02-19T09:30:08Z)
• Greedy Network Enlarging [53.319011626986004]
  本稿では,計算のリアルタイム化に基づくグリーディ・ネットワーク拡大手法を提案する。 異なる段階の計算をステップバイステップで修正することで、拡張されたネットワークはMACの最適な割り当てと利用を提供する。 GhostNetへの我々の手法の適用により、最先端の80.9%と84.3%のImageNet Top-1アキュラシーを実現する。
  論文  参考訳（メタデータ） (2021-07-31T08:36:30Z)
• EEG-Inception: An Accurate and Robust End-to-End Neural Network for EEG-based Motor Imagery Classification [123.93460670568554]
  本稿では,脳波に基づく運動画像(MI)分類のための新しい畳み込みニューラルネットワーク(CNN)アーキテクチャを提案する。 提案したCNNモデル、すなわちEEG-Inceptionは、Inception-Timeネットワークのバックボーン上に構築されている。 提案するネットワークは、生のEEG信号を入力とし、複雑なEEG信号前処理を必要としないため、エンドツーエンドの分類である。
  論文  参考訳（メタデータ） (2021-01-24T19:03:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。