論文の概要: GenURL: A General Framework for Unsupervised Representation Learning

• arxiv url: http://arxiv.org/abs/2110.14553v1
• Date: Wed, 27 Oct 2021 16:24:39 GMT
• ステータス: 処理完了
• システム内更新日: 2021-10-28 12:29:01.581033
• Title: GenURL: A General Framework for Unsupervised Representation Learning
• Title（参考訳）: GenURL: 教師なし表現学習のための一般的なフレームワーク
• Authors: Siyuan Li, Zelin Zang, Di Wu, Zhiyuan Chen, Stan Z. Li
• Abstract要約: データ構造モデリングと低次元埋め込みという2つのステップに分割し、GenURLと呼ばれる一般的な類似性に基づくフレームワークを提案する。 具体的には,特徴空間と事前定義されたグラフのグラフ距離を適応的に組み合わせてデータ構造をモデル化し,低次元埋め込みを学習するためのロバストな損失関数を提案する。 我々は、GenURLを様々なURLタスクに統一的に適応させ、自己教師付き視覚表現学習、教師なし知識蒸留、グラフ埋め込み、次元縮小など、最先端のパフォーマンスを達成することができる。
• 参考スコア（独自算出の注目度）: 31.99217874319387
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recently unsupervised representation learning (URL) has achieved remarkable progress in various scenarios. However, most methods are specifically designed based on specific data characters or task assumptions. Based on the manifold assumption, we regard most URL problems as an embedding problem that seeks an optimal low-dimensional representation of the given high-dimensional data. We split the embedding process into two steps, data structural modeling and low-dimensional embedding, and propose a general similarity-based framework called GenURL. Specifically, we provide a general method to model data structures by adaptively combining graph distances on the feature space and predefined graphs, then propose robust loss functions to learn the low-dimensional embedding. Combining with a specific pretext task, we can adapt GenURL to various URL tasks in a unified manner and achieve state-of-the-art performance, including self-supervised visual representation learning, unsupervised knowledge distillation, graph embeddings, and dimension reduction. Moreover, ablation studies of loss functions and basic hyper-parameter settings in GenURL illustrate the data characters of various tasks.
• Abstract（参考訳）: 近年,教師なし表現学習(URL)は様々なシナリオにおいて顕著な進歩を遂げている。 しかし、ほとんどのメソッドは特定のデータ文字やタスクの仮定に基づいて特別に設計されている。 多様体の仮定に基づいて、ほとんどのURL問題を、与えられた高次元データの最適低次元表現を求める埋め込み問題とみなす。 データ構造モデリングと低次元埋め込みという2つのステップに分割し、GenURLと呼ばれる一般的な類似性に基づくフレームワークを提案する。 具体的には、特徴空間と予め定義されたグラフのグラフ距離を適応的に組み合わせてデータ構造をモデル化し、低次元埋め込みを学習するためのロバストな損失関数を提案する。 特定のプリテキストタスクと組み合わせることで、genurlを様々なurlタスクに統一的に適応させ、自己教師付きビジュアル表現学習、教師なし知識蒸留、グラフ埋め込み、次元縮小など、最先端のパフォーマンスを実現することができる。 さらに、GenURLにおける損失関数と基本パラメータ設定のアブレーション研究は、様々なタスクのデータキャラクタを示している。

関連論文リスト

• Without Paired Labeled Data: An End-to-End Self-Supervised Paradigm for UAV-View Geo-Localization [2.733505168507872]
  UAV-View Geo-Localizationは、GPSタグ付き衛星画像を取得することで、UAVの正確な位置を確認することを目的としている。 既存の手法は、トレーニングのためにアノテーション付きペアデータを必要とする教師付き学習パラダイムに依存している。 本稿では,UAVビューのジオローカライゼーションのための軽量なエンドツーエンドの自己組織化フレームワークであるDynamic Memory-Driven and Neighborhood Information Learning Networkを提案する。
  論文  参考訳（メタデータ） (2025-02-17T02:53:08Z)
• Distributional Reduction: Unifying Dimensionality Reduction and Clustering with Gromov-Wasserstein [56.62376364594194]
  教師なし学習は、潜在的に大きな高次元データセットの基盤構造を捉えることを目的としている。 本研究では、最適輸送のレンズの下でこれらのアプローチを再検討し、Gromov-Wasserstein問題と関係を示す。 これにより、分散還元と呼ばれる新しい一般的なフレームワークが公開され、DRとクラスタリングを特別なケースとして回復し、単一の最適化問題内でそれらに共同で対処することができる。
  論文  参考訳（メタデータ） (2024-02-03T19:00:19Z)
• Efficient Multi-View Graph Clustering with Local and Global Structure Preservation [59.49018175496533]
  局所・グローバル構造保存を用いた効率的なマルチビューグラフクラスタリング(EMVGC-LG)という,アンカーベースのマルチビューグラフクラスタリングフレームワークを提案する。 具体的には、EMVGC-LGがクラスタリング品質を向上させるために、アンカー構築とグラフ学習を共同で最適化する。 さらに、EMVGC-LGはサンプル数に関する既存のAMVGCメソッドの線形複雑性を継承する。
  論文  参考訳（メタデータ） (2023-08-31T12:12:30Z)
• SARN: Structurally-Aware Recurrent Network for Spatio-Temporal Disaggregation [8.636014676778682]
  オープンデータは、通常プライバシーポリシーに従うために、しばしば空間的に集約される。しかし、粗い、異質な集約は、下流のAI/MLシステムに対する一貫性のある学習と統合を複雑にする。 本稿では,空間的注意層をGRU(Gated Recurrent Unit)モデルに統合したSARN(Structurely-Aware Recurrent Network)を提案する。 履歴学習データに制限のあるシナリオでは、ある都市変数に事前学習したモデルを、数百のサンプルのみを用いて、他の都市変数に対して微調整できることを示す。
  論文  参考訳（メタデータ） (2023-06-09T21:01:29Z)
• DIFFormer: Scalable (Graph) Transformers Induced by Energy Constrained Diffusion [66.21290235237808]
  本稿では,データセットからのインスタンスのバッチを進化状態にエンコードするエネルギー制約拡散モデルを提案する。 任意のインスタンス対間の対拡散強度に対する閉形式最適推定を示唆する厳密な理論を提供する。 各種タスクにおいて優れた性能を有する汎用エンコーダバックボーンとして,本モデルの適用性を示す実験を行った。
  論文  参考訳（メタデータ） (2023-01-23T15:18:54Z)
• Semi-supervised Domain Adaptive Structure Learning [72.01544419893628]
  半教師付きドメイン適応 (SSDA) は,1) アノテーションの低いデータに過度に適合する手法と,2) ドメイン間の分散シフトの両方を克服しなければならない課題である。 SSLとDAの協調を正規化するための適応型構造学習手法を提案する。
  論文  参考訳（メタデータ） (2021-12-12T06:11:16Z)
• Self-supervised Correlation Mining Network for Person Image Generation [9.505343361614928]
  人物画像生成は、ソース画像の非剛性変形を実現することを目的としている。 特徴空間のソース画像を再構成する自己教師付き相関マイニングネットワーク(SCM-Net)を提案する。 クロススケールポーズ変換の忠実度を向上させるために,グラフに基づく身体構造保持損失を提案する。
  論文  参考訳（メタデータ） (2021-11-26T03:57:46Z)
• Understanding Dynamics of Nonlinear Representation Learning and Its Application [12.697842097171119]
  暗黙的非線形表現学習のダイナミクスについて検討する。 我々は,データ構造アライメント条件がグローバル収束に十分であることを示す。 我々はデータ構造アライメント条件を満たす新しいトレーニングフレームワークを作成した。
  論文  参考訳（メタデータ） (2021-06-28T16:31:30Z)
• Towards Uncovering the Intrinsic Data Structures for Unsupervised Domain Adaptation using Structurally Regularized Deep Clustering [119.88565565454378]
  Unsupervised Domain Adapt (UDA) は、ターゲットドメイン上のラベルなしデータの予測を行う分類モデルを学ぶことである。 本稿では,対象データの正規化判別クラスタリングと生成クラスタリングを統合する構造的正規化深層クラスタリングのハイブリッドモデルを提案する。 提案するH-SRDCは, インダクティブ設定とトランスダクティブ設定の両方において, 既存の手法よりも優れている。
  論文  参考訳（メタデータ） (2020-12-08T08:52:00Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。