論文の概要: HEX: Hierarchical Emergence Exploitation in Self-Supervised Algorithms

• arxiv url: http://arxiv.org/abs/2410.23200v1
• Date: Wed, 30 Oct 2024 16:49:59 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-31 14:27:27.350557
• Title: HEX: Hierarchical Emergence Exploitation in Self-Supervised Algorithms
• Title（参考訳）: HEX: 自己監督型アルゴリズムにおける階層的創発的爆発
• Authors: Kiran Kokilepersaud, Seulgi Kim, Mohit Prabhushankar, Ghassan AlRegib,
• Abstract要約: 本稿では,トレーニング中に出現する階層構造を活かすために,多種多様な自己教師型(SSL)アプローチを利用するアルゴリズムを提案する。 画像ネットの分類精度に対するベースラインSSLアプローチよりも5.6%の相対的改善が100エポックのトレーニングで達成された。
• 参考スコア（独自算出の注目度）: 14.10876324116018
• License:
• Abstract: In this paper, we propose an algorithm that can be used on top of a wide variety of self-supervised (SSL) approaches to take advantage of hierarchical structures that emerge during training. SSL approaches typically work through some invariance term to ensure consistency between similar samples and a regularization term to prevent global dimensional collapse. Dimensional collapse refers to data representations spanning a lower-dimensional subspace. Recent work has demonstrated that the representation space of these algorithms gradually reflects a semantic hierarchical structure as training progresses. Data samples of the same hierarchical grouping tend to exhibit greater dimensional collapse locally compared to the dataset as a whole due to sharing features in common with each other. Ideally, SSL algorithms would take advantage of this hierarchical emergence to have an additional regularization term to account for this local dimensional collapse effect. However, the construction of existing SSL algorithms does not account for this property. To address this, we propose an adaptive algorithm that performs a weighted decomposition of the denominator of the InfoNCE loss into two terms: local hierarchical and global collapse regularization respectively. This decomposition is based on an adaptive threshold that gradually lowers to reflect the emerging hierarchical structure of the representation space throughout training. It is based on an analysis of the cosine similarity distribution of samples in a batch. We demonstrate that this hierarchical emergence exploitation (HEX) approach can be integrated across a wide variety of SSL algorithms. Empirically, we show performance improvements of up to 5.6% relative improvement over baseline SSL approaches on classification accuracy on Imagenet with 100 epochs of training.
• Abstract（参考訳）: 本稿では,トレーニング中に出現する階層構造を活用するために,多種多様な自己教師型(SSL)アプローチ上に利用できるアルゴリズムを提案する。 SSLアプローチは典型的には、同様のサンプルと正規化項との整合性を確保するために、いくつかの不変項を通して機能し、大域的な次元の崩壊を防ぐ。 次元崩壊とは、低次元の部分空間にまたがるデータ表現を指す。 近年の研究では、これらのアルゴリズムの表現空間が、訓練が進むにつれて、意味的階層構造を徐々に反映していることが示されている。 同じ階層的なグループ化のデータサンプルは、互いに共通する特徴を共有するため、データセット全体と比較して、局所的により次元的な崩壊を示す傾向にある。 理想的には、SSLアルゴリズムは、この階層的な出現を利用して、この局所的な次元崩壊効果を考慮に入れた追加の正規化項を持つだろう。 しかし、既存のSSLアルゴリズムの構築は、この特性を考慮していない。 そこで本研究では,InfoNCE損失の分母を局所的階層的および大域的崩壊正規化の2つの項に重み付けした分解を行う適応アルゴリズムを提案する。 この分解は適応しきい値に基づいており、トレーニングを通して表現空間の階層構造を徐々に減少させていく。 これは、バッチ内のサンプルのコサイン類似度分布の分析に基づいている。 この階層的創発的エクスプロイト・エクスプロイト(HEX)アプローチは、さまざまなSSLアルゴリズムにまたがって統合可能であることを実証する。 実験により,100エポックのトレーニングを施したImagenetの分類精度に対して,ベースラインSSLアプローチよりも5.6%の相対的な性能向上が得られた。

関連論文リスト

• Unfolding ADMM for Enhanced Subspace Clustering of Hyperspectral Images [43.152314090830174]
  本稿では,スパースサブスペースクラスタリングのためのマルチプライヤの交互方向法(ADMM)に基づく反復解法を展開させることにより,ハイパースペクトル画像(HSI)のための革新的なクラスタリングアーキテクチャを提案する。 提案手法は, 構造保存モジュールの一部として, K近傍近傍のアルゴリズムを用いて, HSIデータの構造特性をよく把握する。
  論文  参考訳（メタデータ） (2024-04-10T15:51:46Z)
• FLASC: A Flare-Sensitive Clustering Algorithm [0.0]
  本稿では,クラスタ内の分岐を検知してサブポピュレーションを同定するアルゴリズムFLASCを提案する。 アルゴリズムの2つの変種が提示され、ノイズの堅牢性に対する計算コストが取引される。 両変種は計算コストの観点からHDBSCAN*と類似してスケールし,安定した出力を提供することを示す。
  論文  参考訳（メタデータ） (2023-11-27T14:55:16Z)
• GSMFlow: Generation Shifts Mitigating Flow for Generalized Zero-Shot Learning [55.79997930181418]
  Generalized Zero-Shot Learningは、目に見えないクラスから見えないクラスに意味的な知識を移すことで、目に見えないクラスと見えないクラスの両方から画像を認識することを目的としている。 生成モデルの利点を生かして、見学したクラスから学んだ知識に基づいて、現実的な見知らぬサンプルを幻覚させることは、有望な解決策である。 本研究では,複数の条件付きアフィン結合層からなるフローベース生成フレームワークを提案する。
  論文  参考訳（メタデータ） (2022-07-05T04:04:37Z)
• DGSS : Domain Generalized Semantic Segmentation using Iterative Style Mining and Latent Representation Alignment [38.05196030226661]
  現在の最先端技術 (SoTA) では、領域ギャップを埋める異なるメカニズムが提案されているが、低い照明条件下では性能が良くない。 本稿では、まず、スタイリングされた画像とソース画像のドメインギャップを最大化する対角的スタイルを識別する2段階のフレームワークを提案する。 そこで我々は,異なるスタイルの同一物体を混合して新たな訓練画像を構築するスタイル混合機構を提案する。
  論文  参考訳（メタデータ） (2022-02-26T13:54:57Z)
• Semi-supervised Domain Adaptive Structure Learning [72.01544419893628]
  半教師付きドメイン適応 (SSDA) は,1) アノテーションの低いデータに過度に適合する手法と,2) ドメイン間の分散シフトの両方を克服しなければならない課題である。 SSLとDAの協調を正規化するための適応型構造学習手法を提案する。
  論文  参考訳（メタデータ） (2021-12-12T06:11:16Z)
• HSVA: Hierarchical Semantic-Visual Adaptation for Zero-Shot Learning [74.76431541169342]
  ゼロショット学習(ZSL)は、目に見えないクラス認識の問題に取り組み、目に見えないクラスから目に見えないクラスに意味的な知識を移す。 本稿では,意味領域と視覚領域を協調させる新しい階層型意味視覚適応(HSVA)フレームワークを提案する。 4つのベンチマークデータセットの実験では、HSVAは従来のZSLと一般的なZSLの両方で優れた性能を示す。
  論文  参考訳（メタデータ） (2021-09-30T14:27:50Z)
• Clustered Federated Learning via Generalized Total Variation Minimization [83.26141667853057]
  本研究では,分散ネットワーク構造を持つローカルデータセットの局所的(あるいはパーソナライズされた)モデルを学習するための最適化手法について検討する。 我々の主要な概念的貢献は、総変動最小化(GTV)としてフェデレーション学習を定式化することである。 私たちのアルゴリズムの主な貢献は、完全に分散化されたフェデレーション学習アルゴリズムです。
  論文  参考訳（メタデータ） (2021-05-26T18:07:19Z)
• Unveiling the Potential of Structure-Preserving for Weakly Supervised Object Localization [71.79436685992128]
  本稿では,WSOLの畳み込み機能に組み込まれた構造情報を完全に活用するための2段階構造保存アクティベーション(SPA)を提案する。 第1段階では、分類ネットワークによって引き起こされる構造ミス問題を軽減するために制限アクティベーションモジュール(ram)が設計されている。 第2段階では, 自己相関マップ生成(SCG)モジュールと呼ばれるプロセス後アプローチを提案し, 構造保存ローカライゼーションマップを得る。
  論文  参考訳（メタデータ） (2021-03-08T03:04:14Z)
• Towards Uncovering the Intrinsic Data Structures for Unsupervised Domain Adaptation using Structurally Regularized Deep Clustering [119.88565565454378]
  Unsupervised Domain Adapt (UDA) は、ターゲットドメイン上のラベルなしデータの予測を行う分類モデルを学ぶことである。 本稿では,対象データの正規化判別クラスタリングと生成クラスタリングを統合する構造的正規化深層クラスタリングのハイブリッドモデルを提案する。 提案するH-SRDCは, インダクティブ設定とトランスダクティブ設定の両方において, 既存の手法よりも優れている。
  論文  参考訳（メタデータ） (2020-12-08T08:52:00Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。