論文の概要: InfoMatch: Entropy Neural Estimation for Semi-Supervised Image Classification
- arxiv url: http://arxiv.org/abs/2404.11003v2
- Date: Thu, 25 Apr 2024 03:25:43 GMT
- ステータス: 処理完了
- システム内更新日: 2024-04-26 20:28:54.220737
- Title: InfoMatch: Entropy Neural Estimation for Semi-Supervised Image Classification
- Title(参考訳): InfoMatch:半スーパービジョン画像分類のためのエントロピーニューラル推定
- Authors: Qi Han, Zhibo Tian, Chengwei Xia, Kun Zhan,
- Abstract要約: 我々は、未ラベル標本のポテンシャルを利用するために、情報エントロピーニューラル推定を用いる。
対照的な学習にインスパイアされたエントロピーは、相互情報に対する下位境界を最大化することによって推定される。
広範囲な実験において,本手法の優れた性能を示す。
- 参考スコア(独自算出の注目度): 2.878018421751116
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Semi-supervised image classification, leveraging pseudo supervision and consistency regularization, has demonstrated remarkable success. However, the ongoing challenge lies in fully exploiting the potential of unlabeled data. To address this, we employ information entropy neural estimation to utilize the potential of unlabeled samples. Inspired by contrastive learning, the entropy is estimated by maximizing a lower bound on mutual information across different augmented views. Moreover, we theoretically analyze that the information entropy of the posterior of an image classifier is approximated by maximizing the likelihood function of the softmax predictions. Guided by these insights, we optimize our model from both perspectives to ensure that the predicted probability distribution closely aligns with the ground-truth distribution. Given the theoretical connection to information entropy, we name our method InfoMatch. Through extensive experiments, we show its superior performance. The source code is available at https://github.com/kunzhan/InfoMatch.
- Abstract(参考訳): 擬似的監督と整合性正規化を利用した半教師画像分類は顕著な成功を収めた。
しかし、現在進行中の課題は、ラベルなしデータの可能性を完全に活用することにある。
これを解決するために,情報エントロピーニューラル推定を用いて,ラベルのないサンプルのポテンシャルを利用する。
コントラスト学習にインスパイアされたエントロピーは、異なる拡張ビュー間での相互情報の低境界を最大化することによって推定される。
さらに,画像分類器の後部の情報エントロピーが,ソフトマックス予測の確率関数を最大化することにより近似されることを理論的に分析する。
これらの知見に導かれ、予測確率分布が基底構造分布と密接に一致することを保証するため、両視点からモデルを最適化する。
情報エントロピーとの理論的関連性を考えると、我々はこの手法をInfoMatchと命名する。
広範な実験を通じて,その優れた性能を示す。
ソースコードはhttps://github.com/kunzhan/InfoMatch.comで入手できる。
関連論文リスト
- Variational Classification [51.2541371924591]
我々は,変分オートエンコーダの訓練に用いるエビデンスローバウンド(ELBO)に類似した,モデルの訓練を目的とした変分目的を導出する。
軟質マックス層への入力を潜伏変数のサンプルとして扱うことで, 抽象化された視点から, 潜在的な矛盾が明らかとなった。
我々は、標準ソフトマックス層に見られる暗黙の仮定の代わりに、選択された潜在分布を誘導する。
論文 参考訳(メタデータ) (2023-05-17T17:47:19Z) - Nonparametric Probabilistic Regression with Coarse Learners [1.8275108630751844]
我々は, 密度の形状や形状について最小限の仮定で, 正確な条件密度を計算することができることを示す。
このアプローチをさまざまなデータセットで実証し、特に大きなデータセットで競合性能を示す。
論文 参考訳(メタデータ) (2022-10-28T16:25:26Z) - Bayesian Graph Contrastive Learning [55.36652660268726]
本稿では,ランダムな拡張がエンコーダにつながることを示すグラフコントラスト学習手法の新たな視点を提案する。
提案手法は,各ノードを決定論的ベクトルに埋め込む既存の手法とは対照的に,各ノードを潜在空間の分布で表現する。
いくつかのベンチマークデータセットにおける既存の最先端手法と比較して,性能が大幅に向上したことを示す。
論文 参考訳(メタデータ) (2021-12-15T01:45:32Z) - Optimal regularizations for data generation with probabilistic graphical
models [0.0]
経験的に、よく調和された正規化スキームは、推論されたモデルの品質を劇的に改善する。
生成的ペアワイドグラフィカルモデルの最大Aポストエリオーリ(MAP)推論におけるL2とL1の正規化について検討する。
論文 参考訳(メタデータ) (2021-12-02T14:45:16Z) - The Hidden Uncertainty in a Neural Networks Activations [105.4223982696279]
ニューラルネットワークの潜在表現の分布は、アウト・オブ・ディストリビューション(OOD)データの検出に成功している。
本研究は、この分布が、モデルの不確実性と相関しているかどうかを考察し、新しい入力に一般化する能力を示す。
論文 参考訳(メタデータ) (2020-12-05T17:30:35Z) - Hyperbolic Graph Embedding with Enhanced Semi-Implicit Variational
Inference [48.63194907060615]
半単純グラフ変分自動エンコーダを用いて,低次元グラフ潜在表現における高次統計量を取得する。
我々は、階層構造を示すグラフを効率的に表現するために、ポインケア埋め込みを通して潜在空間に双曲幾何学を組み込む。
論文 参考訳(メタデータ) (2020-10-31T05:48:34Z) - Focus of Attention Improves Information Transfer in Visual Features [80.22965663534556]
本稿では,真のオンライン環境下での視覚情報伝達のための教師なし学習に焦点を当てた。
エントロピー項の計算は、エントロピー項のオンライン推定を行う時間的プロセスによって行われる。
入力確率分布をよりよく構成するために,人間のような注目モデルを用いる。
論文 参考訳(メタデータ) (2020-06-16T15:07:25Z) - Bayesian Deep Learning and a Probabilistic Perspective of Generalization [56.69671152009899]
ディープアンサンブルはベイズ辺化を近似する有効なメカニズムであることを示す。
また,アトラクションの流域内での辺縁化により,予測分布をさらに改善する関連手法を提案する。
論文 参考訳(メタデータ) (2020-02-20T15:13:27Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。