論文の概要: Unsupervised Embedding Learning from Uncertainty Momentum Modeling

• arxiv url: http://arxiv.org/abs/2107.08892v1
• Date: Mon, 19 Jul 2021 14:06:19 GMT
• ステータス: 処理完了
• システム内更新日: 2021-07-20 18:45:44.357923
• Title: Unsupervised Embedding Learning from Uncertainty Momentum Modeling
• Title（参考訳）: 不確かさモーメントモデリングによる教師なし埋め込み学習
• Authors: Jiahuan Zhou, Yansong Tang, Bing Su, Ying Wu
• Abstract要約: 本研究では,与えられた未ラベル学習サンプルの不確かさを明示的にモデル化し,探索する新しい手法を提案する。 このような不確実性モデリングのモーメントを学習に利用し、アウトレーヤに取り組むのに役立ちます。
• 参考スコア（独自算出の注目度）: 37.674449317054716
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Existing popular unsupervised embedding learning methods focus on enhancing the instance-level local discrimination of the given unlabeled images by exploring various negative data. However, the existed sample outliers which exhibit large intra-class divergences or small inter-class variations severely limit their learning performance. We justify that the performance limitation is caused by the gradient vanishing on these sample outliers. Moreover, the shortage of positive data and disregard for global discrimination consideration also pose critical issues for unsupervised learning but are always ignored by existing methods. To handle these issues, we propose a novel solution to explicitly model and directly explore the uncertainty of the given unlabeled learning samples. Instead of learning a deterministic feature point for each sample in the embedding space, we propose to represent a sample by a stochastic Gaussian with the mean vector depicting its space localization and covariance vector representing the sample uncertainty. We leverage such uncertainty modeling as momentum to the learning which is helpful to tackle the outliers. Furthermore, abundant positive candidates can be readily drawn from the learned instance-specific distributions which are further adopted to mitigate the aforementioned issues. Thorough rationale analyses and extensive experiments are presented to verify our superiority.
• Abstract（参考訳）: 既存の非教師なし埋め込み学習手法は、様々な負のデータを探索することによって、与えられた未ラベル画像のインスタンスレベルの局所的識別を強化することに重点を置いている。 しかし, クラス内差が大きく, クラス間差が小さいサンプルは, 学習成績を著しく制限する。 性能限界は、これらのサンプルの外れ値の勾配が消えることによって生じることを正当化する。 さらに、ポジティブなデータ不足やグローバル差別を無視することは教師なし学習にも重大な問題をもたらすが、常に既存の方法によって無視されている。 これらの問題に対処するために,与えられたラベルなし学習サンプルの不確かさを明示的にモデル化し,直接探索する新しい解を提案する。 埋め込み空間内の各サンプルに対する決定論的特徴点を学ぶ代わりに、サンプルの不確かさを表す空間の局在と共分散ベクトルを表す平均ベクトルを持つ確率ガウスによってサンプルを表現することを提案する。 このような不確実性モデリングを、外れ値に取り組むのに役立つ学習の勢いとして活用する。 さらに、上記の問題を緩和するためにさらに採用される学習されたインスタンス固有の分布から、豊富なポジティブな候補を容易に引き出すことができる。 我々の優越性を検証するために, 徹底的な理論的解析と広範な実験を行った。

関連論文リスト

• Virtual Category Learning: A Semi-Supervised Learning Method for Dense Prediction with Extremely Limited Labels [63.16824565919966]
  本稿では,ラベルの修正を伴わずに,混乱したサンプルを積極的に使用することを提案する。 仮想カテゴリー(VC)は、モデルの最適化に安全に貢献できるように、各混乱したサンプルに割り当てられる。 私たちの興味深い発見は、密集した視覚タスクにおけるVC学習の利用に注目しています。
  論文  参考訳（メタデータ） (2023-12-02T16:23:52Z)
• Adversarial Resilience in Sequential Prediction via Abstention [46.80218090768711]
  本研究では,クリーンラベルの逆数例を注入できる逆数設定における逐次予測の問題について検討する。 そこで本研究では,純粋と完全対向的な設定の間に位置する逐次予測の新しいモデルを提案する。
  論文  参考訳（メタデータ） (2023-06-22T17:44:22Z)
• Adaptive Negative Evidential Deep Learning for Open-set Semi-supervised Learning [69.81438976273866]
  オープンセット半教師付き学習(Open-set SSL)は、ラベル付きデータ(inliers)で観測されない新しいカテゴリ(outliers)を含むラベル付きデータとテストデータを含む、より実践的なシナリオである。 本研究では,様々な不確かさを定量化するための外乱検出器として顕在的深層学習(EDL)を導入し,自己学習と推論のための異なる不確実性指標を設計する。 Inlierとoutlierの両方を含むラベルなしデータセットに適合するように、新しい適応的負の最適化戦略を提案する。
  論文  参考訳（メタデータ） (2023-03-21T09:07:15Z)
• Poisson Reweighted Laplacian Uncertainty Sampling for Graph-based Active Learning [1.6752182911522522]
  グラフに基づく能動学習において,不確実性サンプリングは探索と搾取を両立させるのに十分であることを示す。 特に,最近開発されたアルゴリズムであるPoisson ReWeighted Laplace Learning (PWLL) を用いて分類を行う。 本稿では,複数のグラフに基づく画像分類問題に対する実験結果について述べる。
  論文  参考訳（メタデータ） (2022-10-27T22:07:53Z)
• Unsupervised Learning of Debiased Representations with Pseudo-Attributes [85.5691102676175]
  教師なし方式で,単純かつ効果的な脱バイアス手法を提案する。 特徴埋め込み空間上でクラスタリングを行い、クラスタリング結果を利用して疑似属性を識別する。 次に,非偏り表現を学習するために,クラスタベースの新しい重み付け手法を用いる。
  論文  参考訳（メタデータ） (2021-08-06T05:20:46Z)
• Minimax Active Learning [61.729667575374606]
  アクティブラーニングは、人間のアノテーションによってラベル付けされる最も代表的なサンプルをクエリすることによって、ラベル効率の高いアルゴリズムを開発することを目指している。 現在のアクティブラーニング技術は、最も不確実なサンプルを選択するためにモデルの不確実性に頼るか、クラスタリングを使うか、最も多様なラベルのないサンプルを選択するために再構築する。 我々は,不確実性と多様性を両立させる半教師付きミニマックスエントロピーに基づく能動学習アルゴリズムを開発した。
  論文  参考訳（メタデータ） (2020-12-18T19:03:40Z)
• A Sober Look at the Unsupervised Learning of Disentangled Representations and their Evaluation [63.042651834453544]
  モデルとデータの両方に帰納的バイアスを伴わずに,非教師なしの非教師付き表現学習は不可能であることを示す。 異なる手法は、対応する損失によって「強化」された特性を効果的に強制するが、よく見分けられたモデルは監督なしでは特定できないように見える。 以上の結果から,遠絡学習における今後の研究は,帰納的バイアスと(単純に)監督の役割を明確化すべきであることが示唆された。
  論文  参考訳（メタデータ） (2020-10-27T10:17:15Z)
• Understanding Classifier Mistakes with Generative Models [88.20470690631372]
  ディープニューラルネットワークは教師付き学習タスクに有効であるが、脆弱であることが示されている。 本稿では、生成モデルを利用して、分類器が一般化に失敗するインスタンスを特定し、特徴付ける。 我々のアプローチは、トレーニングセットのクラスラベルに依存しないため、半教師付きでトレーニングされたモデルに適用できる。
  論文  参考訳（メタデータ） (2020-10-05T22:13:21Z)
• Mitigating Class Boundary Label Uncertainty to Reduce Both Model Bias and Variance [4.563176550691304]
  トレーニングデータラベルの不正確性と不確実性に対処する新しい手法について検討する。 本手法は,トレーニングセットのポイントワイドラベルの不確かさを推定することにより,バイアスと分散の両面を低減できる。
  論文  参考訳（メタデータ） (2020-02-23T18:24:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。