論文の概要: Decoupled Entropy Minimization

• arxiv url: http://arxiv.org/abs/2511.03256v1
• Date: Wed, 05 Nov 2025 07:36:46 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-11-06 18:19:32.375523
• Title: Decoupled Entropy Minimization
• Title（参考訳）: 分離エントロピー最小化
• Authors: Jing Ma, Hanlin Li, Xiang Xiang,
• Abstract要約: エントロピー最小化(EM)は、クラスオーバーラップを減らし、ドメインギャップを埋め、機械学習における様々なタスクの不確実性を制限するのに有用である。 クラスタ集約駆動因子(CADF)は支配クラスに報酬を与え、ピーク出力分布を誘導する一方、勾配緩和校正器(GMC)は予測確率に基づいて高信頼クラスを罰する。 適応デカップリングエントロピー最小化 (AdaDEM) はCADFから得られる報酬を正規化し, 限界エントロピーキャリブレータ (MEC) を用いて GMC を置き換える。
• 参考スコア（独自算出の注目度）: 15.596268614652326
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Entropy Minimization (EM) is beneficial to reducing class overlap, bridging domain gap, and restricting uncertainty for various tasks in machine learning, yet its potential is limited. To study the internal mechanism of EM, we reformulate and decouple the classical EM into two parts with opposite effects: cluster aggregation driving factor (CADF) rewards dominant classes and prompts a peaked output distribution, while gradient mitigation calibrator (GMC) penalizes high-confidence classes based on predicted probabilities. Furthermore, we reveal the limitations of classical EM caused by its coupled formulation: 1) reward collapse impedes the contribution of high-certainty samples in the learning process, and 2) easy-class bias induces misalignment between output distribution and label distribution. To address these issues, we propose Adaptive Decoupled Entropy Minimization (AdaDEM), which normalizes the reward brought from CADF and employs a marginal entropy calibrator (MEC) to replace GMC. AdaDEM outperforms DEM*, an upper-bound variant of classical EM, and achieves superior performance across various imperfectly supervised learning tasks in noisy and dynamic environments.
• Abstract（参考訳）: エントロピー最小化(EM)は、クラスオーバーラップを減らし、ドメインギャップを埋め、機械学習における様々なタスクの不確実性を制限するのに有用であるが、そのポテンシャルは限られている。 クラスタ集約駆動因子(CADF)は支配クラスに報酬を与え、ピーク出力分布を誘導する一方、勾配緩和校正器(GMC)は予測確率に基づいて高信頼クラスを罰する。 さらに、結合された定式化による古典的EMの限界を明らかにする。 1)報酬崩壊は、学習過程における高確かさサンプルの寄与を阻害し、 2) 容易なクラスバイアスは, 出力分布とラベル分布の相違を誘導する。 これらの問題に対処するため,CADF から得られる報酬を正規化し,GMC を置き換えるために限界エントロピー校正器 (MEC) を用いる適応デカップリング型エントロピー最小化 (AdaDEM) を提案する。 AdaDEMは古典的EMの上界変種であるDEM*より優れており、ノイズや動的環境において、様々な不完全な教師付き学習タスクに対して優れた性能を発揮する。

関連論文リスト

• Generate Aligned Anomaly: Region-Guided Few-Shot Anomaly Image-Mask Pair Synthesis for Industrial Inspection [53.137651284042434]
  異常検査は製造業において重要な役割を担っているが、異常サンプルの不足は既存の方法の有効性を制限している。 本稿では,GAA (Generate grained Anomaly) を提案する。 GAAは少数のサンプルのみを用いて現実的で多様で意味的に整合した異常を発生させる。
  論文  参考訳（メタデータ） (2025-07-13T12:56:59Z)
• Multi-output Classification Framework and Frequency Layer Normalization for Compound Fault Diagnosis in Motor [5.240890834159944]
  本研究は,故障診断における領域適応のための多出力分類(MOC)フレームワークを提案する。 従来のマルチクラス分類 (MCC) 法とは異なり, 提案手法は個別に各断層の重大度を推定する。 PLデータを用いた6つの領域適応事例を対象とした評価の結果,MOCはマクロF1スコアにおいてベースラインモデルよりも優れていた。
  論文  参考訳（メタデータ） (2025-04-15T13:40:16Z)
• Unbiased Max-Min Embedding Classification for Transductive Few-Shot Learning: Clustering and Classification Are All You Need [83.10178754323955]
  わずかなショットラーニングにより、モデルがいくつかのラベル付き例から一般化できる。 本稿では,Unbiased Max-Min Embedding Classification (UMMEC)法を提案する。 本手法は最小ラベル付きデータを用いて分類性能を著しく向上させ, 注釈付きLの最先端化を推し進める。
  論文  参考訳（メタデータ） (2025-03-28T07:23:07Z)
• ClusterDDPM: An EM clustering framework with Denoising Diffusion Probabilistic Models [9.91610928326645]
  拡散確率モデル(DDPM)は、新しい、そして有望な生成モデルのクラスを表す。 本研究では,DDPMを用いたクラスタリングのための革新的予測最大化(EM)フレームワークを提案する。 Mステップでは、条件付きDDPMを用いてクラスタリングに親しみやすい潜在表現を学習し、潜在表現の分布をガウスの先行表現の混合と整合させることに重点を置いている。
  論文  参考訳（メタデータ） (2023-12-13T10:04:06Z)
• Pre-training Language Model as a Multi-perspective Course Learner [103.17674402415582]
  本研究では,サンプル効率のよい事前学習のためのマルチパースペクティブ・コース・ラーニング(MCL)手法を提案する。 本研究では,3つの自己超越コースが,「綱引き」力学の固有の欠陥を軽減するように設計されている。 本手法は,GLUEおよびSQuAD 2.0ベンチマークにおいて,ELECTRAの平均性能をそれぞれ2.8%,絶対点を3.2%向上させる。
  論文  参考訳（メタデータ） (2023-05-06T09:02:10Z)
• Multi-kernel Correntropy-based Orientation Estimation of IMUs: Gradient Descent Methods [3.8286082196845466]
  コレントロピーに基づく降下勾配(CGD)とコレントロピーに基づく非結合配向推定(CDOE) 従来の方法は平均二乗誤差(MSE)基準に依存しており、外部加速度や磁気干渉に弱い。 新しいアルゴリズムは、カルマンフィルタベースのアプローチよりも計算の複雑さが著しく低いことを示している。
  論文  参考訳（メタデータ） (2023-04-13T13:57:33Z)
• On the Equity of Nuclear Norm Maximization in Unsupervised Domain Adaptation [53.29437277730871]
  核ノルムは、教師なし領域適応モデルの転送可能性を高める力を示している。 クラスレベルとサンプルレベルから予測的差別性と株式の両方を最大化する2つの新たな損失が提案されている。
  論文  参考訳（メタデータ） (2022-04-12T07:55:47Z)
• Shaping Deep Feature Space towards Gaussian Mixture for Visual Classification [74.48695037007306]
  視覚分類のためのディープニューラルネットワークのためのガウス混合損失関数(GM)を提案する。 分類マージンと可能性正規化により、GM損失は高い分類性能と特徴分布の正確なモデリングの両方を促進する。 提案したモデルは、追加のトレーニング可能なパラメータを使わずに、簡単かつ効率的に実装できる。
  論文  参考訳（メタデータ） (2020-11-18T03:32:27Z)
• MMCGAN: Generative Adversarial Network with Explicit Manifold Prior [78.58159882218378]
  本稿では,モード崩壊を緩和し,GANのトレーニングを安定させるために,明示的な多様体学習を採用することを提案する。 玩具データと実データの両方を用いた実験により,MMCGANのモード崩壊緩和効果,トレーニングの安定化,生成サンプルの品質向上効果が示された。
  論文  参考訳（メタデータ） (2020-06-18T07:38:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。