論文の概要: LDReg: Local Dimensionality Regularized Self-Supervised Learning

• arxiv url: http://arxiv.org/abs/2401.10474v1
• Date: Fri, 19 Jan 2024 03:50:19 GMT
• ステータス: 処理完了
• システム内更新日: 2024-01-22 16:53:55.422091
• Title: LDReg: Local Dimensionality Regularized Self-Supervised Learning
• Title（参考訳）: ldreg: 局所次元正規化自己教師付き学習
• Authors: Hanxun Huang, Ricardo J. G. B. Campello, Sarah Monazam Erfani, Xingjun Ma, Michael E. Houle, James Bailey
• Abstract要約: 次元崩壊は「埋没」現象としても知られ、下流のタスクにおける劣化したパフォーマンスの主要な原因の1つである。 これまでの研究は、SSLのグローバルレベルでの次元的崩壊問題を調査してきた。 我々は,$textitlocal dimensionality regularization (LDReg) という手法を提案する。
• 参考スコア（独自算出の注目度）: 32.86941848334604
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Representations learned via self-supervised learning (SSL) can be susceptible to dimensional collapse, where the learned representation subspace is of extremely low dimensionality and thus fails to represent the full data distribution and modalities. Dimensional collapse also known as the "underfilling" phenomenon is one of the major causes of degraded performance on downstream tasks. Previous work has investigated the dimensional collapse problem of SSL at a global level. In this paper, we demonstrate that representations can span over high dimensional space globally, but collapse locally. To address this, we propose a method called $\textit{local dimensionality regularization (LDReg)}$. Our formulation is based on the derivation of the Fisher-Rao metric to compare and optimize local distance distributions at an asymptotically small radius for each data point. By increasing the local intrinsic dimensionality, we demonstrate through a range of experiments that LDReg improves the representation quality of SSL. The results also show that LDReg can regularize dimensionality at both local and global levels.
• Abstract（参考訳）: 自己教師付き学習(SSL)によって学習された表現は、学習された表現部分空間が極端に低次元であり、従って完全なデータ分布とモダリティを表現できないような次元崩壊の影響を受けやすい。 次元崩壊は"underfilling"現象としても知られ、ダウンストリームタスクにおける性能低下の主な原因の1つである。 これまで、sslの次元的崩壊問題をグローバルレベルで研究してきた。 本稿では,世界規模で高次元空間に展開できるが,局所的に崩壊することを示す。 これを解決するために、$\textit{local dimensionality regularization (LDReg)}$という手法を提案する。 この定式化はフィッシャー・ラオ計量の導出に基づき,各データ点に対して漸近的に小さい半径で局所距離分布を比較し,最適化する。 局所固有次元を増大させることにより、LDRegがSSLの表現品質を向上させる実験の幅を広げる。 また,LDRegは局所的および大域的に次元を規則化できることを示した。

関連論文リスト

• HEX: Hierarchical Emergence Exploitation in Self-Supervised Algorithms [14.10876324116018]
  本稿では,トレーニング中に出現する階層構造を活かすために,多種多様な自己教師型(SSL)アプローチを利用するアルゴリズムを提案する。 画像ネットの分類精度に対するベースラインSSLアプローチよりも5.6%の相対的改善が100エポックのトレーニングで達成された。
  論文  参考訳（メタデータ） (2024-10-30T16:49:59Z)
• Low-Dimension-to-High-Dimension Generalization And Its Implications for Length Generalization [61.51372812489661]
  LDHDの一般化は、事前知識を利用して適切な帰納バイアスを与えることなく、一般的には達成不可能であることを示す。 LDHD一般化から長さ一般化への洞察を応用して,CoTの潜在空間の変化に対する効果を説明する。 また,データ形式のような内在的なLDHD一般化とニュアンスの両方を扱うために,位置埋め込み設計の原理を提案する。
  論文  参考訳（メタデータ） (2024-10-11T15:18:43Z)
• Scalable manifold learning by uniform landmark sampling and constrained locally linear embedding [0.6144680854063939]
  本研究では,大規模・高次元データを効率的に操作できるスケーラブルな多様体学習法を提案する。 異なるタイプの合成データセットと実世界のベンチマークにおけるSCMLの有効性を実証的に検証した。 scMLはデータサイズや埋め込み次元の増大とともにスケールし、グローバル構造を保存する上で有望なパフォーマンスを示す。
  論文  参考訳（メタデータ） (2024-01-02T08:43:06Z)
• Sample Complexity of Neural Policy Mirror Descent for Policy Optimization on Low-Dimensional Manifolds [75.51968172401394]
  深部畳み込みニューラルネットワーク(CNN)を用いたNPMDアルゴリズムのサンプル複雑性について検討した。 NPMDの各イテレーションでは、値関数とポリシーの両方をCNNによってうまく近似することができる。 NPMDは状態空間の低次元構造を利用して次元の呪いから逃れることができることを示す。
  論文  参考訳（メタデータ） (2023-09-25T07:31:22Z)
• Towards Understanding and Mitigating Dimensional Collapse in Heterogeneous Federated Learning [112.69497636932955]
  フェデレートラーニングは、プライバシを考慮したデータ共有を必要とせずに、さまざまなクライアントでモデルをトレーニングすることを目的としている。 本研究では,データの不均一性がグローバル集約モデルの表現に与える影響について検討する。 フェデレーション学習における次元的崩壊を効果的に緩和する新しい手法である sc FedDecorr を提案する。
  論文  参考訳（メタデータ） (2022-10-01T09:04:17Z)
• Geometric Graph Representation Learning via Maximizing Rate Reduction [73.6044873825311]
  学習ノード表現は、コミュニティ検出やノード分類などのグラフ解析において、さまざまな下流タスクの恩恵を受ける。 教師なしの方法でノード表現を学習するための幾何学グラフ表現学習(G2R)を提案する。 G2R は異なるグループ内のノードを異なる部分空間にマッピングし、各部分空間はコンパクトで異なる部分空間が分散される。
  論文  参考訳（メタデータ） (2022-02-13T07:46:24Z)
• A Local Similarity-Preserving Framework for Nonlinear Dimensionality Reduction with Neural Networks [56.068488417457935]
  本稿では,Vec2vecという新しい局所非線形手法を提案する。 ニューラルネットワークを訓練するために、マトリックスの近傍類似度グラフを構築し、データポイントのコンテキストを定義します。 8つの実データセットにおけるデータ分類とクラスタリングの実験により、Vec2vecは統計仮説テストにおける古典的な次元削減法よりも優れていることが示された。
  論文  参考訳（メタデータ） (2021-03-10T23:10:47Z)
• LDLE: Low Distortion Local Eigenmaps [77.02534963571597]
  本稿では、低次元のデータセットの低歪み局所ビューのセットを構築し、それらを登録してグローバル埋め込みを取得するマニホールド学習技術である低歪み局所固有マップ(LDLE)を紹介します。 局所ビューはグラフラプラシアンのグローバル固有ベクトルを用いて構築され、procrustes分析を用いて登録される。
  論文  参考訳（メタデータ） (2021-01-26T19:55:05Z)
• Learning a Deep Part-based Representation by Preserving Data Distribution [21.13421736154956]
  教師なし次元減少は、高次元データ認識問題において一般的に用いられる技法の1つである。 本稿では,データ分布を保存することにより,深部部分に基づく表現を学習し,新しいアルゴリズムを分散保存ネットワーク埋め込みと呼ぶ。 実世界のデータセットにおける実験結果から,提案アルゴリズムはクラスタ精度とAMIの点で優れた性能を示した。
  論文  参考訳（メタデータ） (2020-09-17T12:49:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。