論文の概要: Micro-supervised Disturbance Learning: A Perspective of Representation Probability Distribution

• arxiv url: http://arxiv.org/abs/2003.06321v2
• Date: Wed, 6 Oct 2021 13:52:43 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-24 01:14:48.831632
• Title: Micro-supervised Disturbance Learning: A Perspective of Representation Probability Distribution
• Title（参考訳）: マイクロ教師付き外乱学習 : 表現確率分布の観点から
• Authors: Jielei Chu, Jing Liu, Hongjun Wang, Meng Hua, Zhiguo Gong and Tianrui Li
• Abstract要約: この不安定性はユークリッド距離に基づく既存の表現学習法で示される。 ラベルの不足と高コストが,表現力のある表現学習手法の探求を促している。 マイクロDGRBMモデルとマイクロDRBMモデルに基づく深層マイクロ教師付き外乱学習(Micro-DL)フレームワークを提案する。
• 参考スコア（独自算出の注目度）: 18.919002279766257
• License: http://creativecommons.org/publicdomain/zero/1.0/
• Abstract: The instability is shown in the existing methods of representation learning based on Euclidean distance under a broad set of conditions. Furthermore, the scarcity and high cost of labels prompt us to explore more expressive representation learning methods which depends on the labels as few as possible. To address these issues, the small-perturbation ideology is firstly introduced on the representation learning model based on the representation probability distribution. The positive small-perturbation information (SPI) which only depend on two labels of each cluster is used to stimulate the representation probability distribution and then two variant models are proposed to fine-tune the expected representation distribution of RBM, namely, Micro-supervised Disturbance GRBM (Micro-DGRBM) and Micro-supervised Disturbance RBM (Micro-DRBM) models. The Kullback-Leibler (KL) divergence of SPI is minimized in the same cluster to promote the representation probability distributions to become more similar in Contrastive Divergence(CD) learning. In contrast, the KL divergence of SPI is maximized in the different clusters to enforce the representation probability distributions to become more dissimilar in CD learning. To explore the representation learning capability under the continuous stimulation of the SPI, we present a deep Micro-supervised Disturbance Learning (Micro-DL) framework based on the Micro-DGRBM and Micro-DRBM models and compare it with a similar deep structure which has not any external stimulation. Experimental results demonstrate that the proposed deep Micro-DL architecture shows better performance in comparison to the baseline method, the most related shallow models and deep frameworks for clustering.
• Abstract（参考訳）: この不安定性は、広い条件下でのユークリッド距離に基づく既存の表現学習法で示される。 さらに,ラベルの不足とコストの高まりから,ラベルに依存した表現学習手法を可能な限り探究することが可能となった。 これらの問題に対処するために、まず表現確率分布に基づく表現学習モデルに小摂動イデオロギーを導入する。 各クラスタの2つのラベルにのみ依存する正の小摂動情報(SPI)を用いて表現確率分布を刺激し、RBMの予測表現分布、すなわちマイクロ教師付き外乱GRBM(Micro-DGRBM)とマイクロ教師付き外乱ROM(Micro-supervised external RBM)モデルを微調整する2つのモデルを提案する。 コントラッシブ・ディバージェンス(CD)学習において、SPIのKL(Kulback-Leibler)分散は、表現確率分布を促進するために同じクラスタ内で最小化される。 対照的に、SPIのKL分散は異なるクラスタで最大化され、表現確率分布を強制し、CD学習においてより異なるものとなる。 マイクロDGRBMモデルとマイクロDRBMモデルに基づく深層マイクロ教師付き外乱学習(Micro-DL)フレームワークについて,SPIの連続的刺激下での表現学習能力について検討し,外部刺激のない類似の深部構造と比較した。 実験の結果,提案する深層マイクロdlアーキテクチャは,ベースライン法,最も関連する浅層モデル,クラスタリングのための深層フレームワークと比較して優れた性能を示すことがわかった。

関連論文リスト

• An Information Compensation Framework for Zero-Shot Skeleton-based Action Recognition [49.45660055499103]
  ゼロショットの人間の骨格に基づく行動認識は、トレーニング中に見られるカテゴリ外の行動を認識するモデルを構築することを目的としている。 従来の研究では、シーケンスの視覚的空間分布と意味的空間分布の整合性に焦点が当てられていた。 強固で頑健な表現を得るために,新たな損失関数サンプリング手法を提案する。
  論文  参考訳（メタデータ） (2024-06-02T06:53:01Z)
• Exploring Diverse Representations for Open Set Recognition [51.39557024591446]
  オープンセット認識(OSR)では、テスト中に未知のサンプルを拒絶しながら、クローズドセットに属するサンプルを分類する必要がある。 現在、生成モデルはOSRの差別モデルよりもよく機能している。 本稿では,多種多様な表現を識別的に学習するMulti-Expert Diverse Attention Fusion(MEDAF)を提案する。
  論文  参考訳（メタデータ） (2024-01-12T11:40:22Z)
• Distribution-Dependent Rates for Multi-Distribution Learning [26.38831409926518]
  最近のマルチディストリビューション学習フレームワークは、環境との動的相互作用において、この目的に対処する。 我々は, MDL体制における分布依存性の保証を行い, 最適値以下の差でスケールし, その結果, 試料サイズへの依存度が向上することを示した。 適応型楽観的アルゴリズム LCB-DR を考案し,マルチアームバンディット文学における均一性と楽観的アロケーションのコントラストを反映した。
  論文  参考訳（メタデータ） (2023-12-20T15:50:16Z)
• Understanding Contrastive Learning via Distributionally Robust Optimization [29.202594242468678]
  本研究は,類似のセマンティクス(ラベルなど)を負のサンプルとして含むサンプリングバイアスに対するコントラッシブラーニング(CL)の固有の耐性を明らかにする。 本研究は,分散ロバスト最適化 (DRO) のレンズを用いてCLを解析することにより,この研究ギャップを橋渡しし,いくつかの重要な知見を得る。 また, CLの過保守性や異常値に対する感受性などの潜在的な欠点を同定し, これらの問題を緩和するための新しいAdjusted InfoNCE損失(ADNCE)を導入する。
  論文  参考訳（メタデータ） (2023-10-17T07:32:59Z)
• Leveraging Diffusion Disentangled Representations to Mitigate Shortcuts in Underspecified Visual Tasks [92.32670915472099]
  拡散確率モデル(DPM)を用いた合成カウンターファクトの生成を利用したアンサンブルの多様化フレームワークを提案する。 拡散誘導型分散化は,データ収集を必要とする従来の手法に匹敵するアンサンブル多様性を達成し,ショートカットからの注意を回避できることを示す。
  論文  参考訳（メタデータ） (2023-10-03T17:37:52Z)
• Robust Representation Learning by Clustering with Bisimulation Metrics for Visual Reinforcement Learning with Distractions [9.088460902782547]
  Bisimulation Metrics (CBM) によるクラスタリングは、潜在空間における視覚的観察をグループ化することで、堅牢な表現を学習する。 CBMは,(1)実測距離を学習プロトタイプと測定することで観測をグループ化すること,(2)現在のクラスタ割り当てに従ってプロトタイプの集合を学習すること,の2つのステップを交互に行う。 実験により、CBMは一般的なビジュアルRLアルゴリズムのサンプル効率を大幅に改善することが示された。
  論文  参考訳（メタデータ） (2023-02-12T13:27:34Z)
• Unsupervised representation learning with recognition-parametrised probabilistic models [12.865596223775649]
  認識パラメータモデル(RPM)に基づく確率的教師なし学習の新しいアプローチを提案する。 観測が条件独立であるというキー前提の下では、RPMはパラメトリックな事前条件付き潜時分布と非パラメトリックな観測因子を結合する。 RPMは、動物と人工知能の両方にとって重要な機能である観測データの基礎となる有意義な潜在構造を発見する強力なフレームワークを提供する。
  論文  参考訳（メタデータ） (2022-09-13T00:33:21Z)
• A Non-isotropic Probabilistic Take on Proxy-based Deep Metric Learning [49.999268109518255]
  プロキシベースのDeep Metric Learningは、クラス代表者(プロキシ)に画像を埋め込むことで学習する さらに、プロキシベースのDMLは、クラス内部構造を学ぶのに苦労している。 両問題に対処するために,非等方的確率的プロキシベースDMLを導入する。
  論文  参考訳（メタデータ） (2022-07-08T09:34:57Z)
• Multi-Modal Mutual Information Maximization: A Novel Approach for Unsupervised Deep Cross-Modal Hashing [73.29587731448345]
  我々はCross-Modal Info-Max Hashing (CMIMH)と呼ばれる新しい手法を提案する。 モーダル内およびモーダル間の類似性を両立できる情報表現を学習する。 提案手法は、他の最先端のクロスモーダル検索手法よりも一貫して優れている。
  論文  参考訳（メタデータ） (2021-12-13T08:58:03Z)
• Contrastive Learning from Extremely Augmented Skeleton Sequences for Self-supervised Action Recognition [23.27198457894644]
  自己教師型行動表現(AimCLR)のためのアウンダント情報マイニングを利用したコントラスト学習フレームワークを提案する。 まず,エネルギベースアテンション誘導落下モジュール(EADM)を極端に拡張し,多様な正の試料を得る。 第三に、近隣鉱業(NNM)は、豊富な情報マイニングプロセスをより合理的なものにするため、ポジティブなサンプルをさらに拡大するために提案されている。
  論文  参考訳（メタデータ） (2021-12-07T09:38:37Z)
• Counterfactual Maximum Likelihood Estimation for Training Deep Networks [83.44219640437657]
  深層学習モデルは、予測的手がかりとして学習すべきでない急激な相関を学習する傾向がある。 本研究では,観測可能な共同設立者による相関関係の緩和を目的とした因果関係に基づくトレーニングフレームワークを提案する。 自然言語推論(NLI)と画像キャプションという2つの実世界の課題について実験を行った。
  論文  参考訳（メタデータ） (2021-06-07T17:47:16Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。