論文の概要: GenURL: A General Framework for Unsupervised Representation Learning
- arxiv url: http://arxiv.org/abs/2110.14553v1
- Date: Wed, 27 Oct 2021 16:24:39 GMT
- ステータス: 処理完了
- システム内更新日: 2021-10-28 12:29:01.581033
- Title: GenURL: A General Framework for Unsupervised Representation Learning
- Title(参考訳): GenURL: 教師なし表現学習のための一般的なフレームワーク
- Authors: Siyuan Li, Zelin Zang, Di Wu, Zhiyuan Chen, Stan Z. Li
- Abstract要約: データ構造モデリングと低次元埋め込みという2つのステップに分割し、GenURLと呼ばれる一般的な類似性に基づくフレームワークを提案する。
具体的には,特徴空間と事前定義されたグラフのグラフ距離を適応的に組み合わせてデータ構造をモデル化し,低次元埋め込みを学習するためのロバストな損失関数を提案する。
我々は、GenURLを様々なURLタスクに統一的に適応させ、自己教師付き視覚表現学習、教師なし知識蒸留、グラフ埋め込み、次元縮小など、最先端のパフォーマンスを達成することができる。
- 参考スコア(独自算出の注目度): 31.99217874319387
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Recently unsupervised representation learning (URL) has achieved remarkable
progress in various scenarios. However, most methods are specifically designed
based on specific data characters or task assumptions. Based on the manifold
assumption, we regard most URL problems as an embedding problem that seeks an
optimal low-dimensional representation of the given high-dimensional data. We
split the embedding process into two steps, data structural modeling and
low-dimensional embedding, and propose a general similarity-based framework
called GenURL. Specifically, we provide a general method to model data
structures by adaptively combining graph distances on the feature space and
predefined graphs, then propose robust loss functions to learn the
low-dimensional embedding. Combining with a specific pretext task, we can adapt
GenURL to various URL tasks in a unified manner and achieve state-of-the-art
performance, including self-supervised visual representation learning,
unsupervised knowledge distillation, graph embeddings, and dimension reduction.
Moreover, ablation studies of loss functions and basic hyper-parameter settings
in GenURL illustrate the data characters of various tasks.
- Abstract(参考訳): 近年,教師なし表現学習(URL)は様々なシナリオにおいて顕著な進歩を遂げている。
しかし、ほとんどのメソッドは特定のデータ文字やタスクの仮定に基づいて特別に設計されている。
多様体の仮定に基づいて、ほとんどのURL問題を、与えられた高次元データの最適低次元表現を求める埋め込み問題とみなす。
データ構造モデリングと低次元埋め込みという2つのステップに分割し、GenURLと呼ばれる一般的な類似性に基づくフレームワークを提案する。
具体的には、特徴空間と予め定義されたグラフのグラフ距離を適応的に組み合わせてデータ構造をモデル化し、低次元埋め込みを学習するためのロバストな損失関数を提案する。
特定のプリテキストタスクと組み合わせることで、genurlを様々なurlタスクに統一的に適応させ、自己教師付きビジュアル表現学習、教師なし知識蒸留、グラフ埋め込み、次元縮小など、最先端のパフォーマンスを実現することができる。
さらに、GenURLにおける損失関数と基本パラメータ設定のアブレーション研究は、様々なタスクのデータキャラクタを示している。
関連論文リスト
- Deep Manifold Graph Auto-Encoder for Attributed Graph Embedding [51.75091298017941]
本稿では,属性付きグラフデータに対する新しいDeep Manifold (Variational) Graph Auto-Encoder (DMVGAE/DMGAE)を提案する。
提案手法は,最先端のベースラインアルゴリズムを,一般的なデータセット間でのダウンストリームタスクの差を大きく越える。
論文 参考訳(メタデータ) (2024-01-12T17:57:07Z) - One for All: Towards Training One Graph Model for All Classification
Tasks [64.74879508476636]
様々なグラフタスクの統一モデルは、主にグラフ学習領域に固有の課題のために、まだ探索されていない。
上記の課題に対処するために単一のグラフモデルを使用できる最初の汎用フレームワークである textbfOne for All (OFA) を提案する。
OFAは様々なタスクでうまく機能し、グラフ上の最初の汎用のクロスドメイン分類モデルとなる。
論文 参考訳(メタデータ) (2023-09-29T21:15:26Z) - Contrastive Shapelet Learning for Unsupervised Multivariate Time Series
Representation Learning [21.437162740349045]
教師なし表現学習(URL)は、アクセス不能なラベルを使わずに、多くの下流タスクの一般化可能な表現を学習する能力を持つ。
本稿では,一般的なコントラスト学習パラダイムを通じて時系列固有のシェープレットに基づく表現を学習し,新しいURLフレームワークを提案する。
統一型シェープレットベースのエンコーダと,マルチグレードコントラストとマルチスケールアライメントを備えた新しい学習目標が,目的達成のために特に設計されている。
論文 参考訳(メタデータ) (2023-05-30T09:31:57Z) - Multi-View Graph Representation Learning Beyond Homophily [2.601278669926709]
非教師付きグラフ表現学習(GRL)は,多種多様なグラフ情報をラベル管理なしでタスクに依存しない埋め込みに抽出することを目的としている。
MVGE(Multi-view Graph)と呼ばれる新しいフレームワークを提案し、キーデザインのセットを特定した。
論文 参考訳(メタデータ) (2023-04-15T08:35:49Z) - GrannGAN: Graph annotation generative adversarial networks [72.66289932625742]
本稿では,高次元分布をモデル化し,グラフスケルトンと整合した複雑な関係特徴構造を持つデータの新しい例を生成することの問題点を考察する。
提案するモデルは,タスクを2つのフェーズに分割することで,各データポイントのグラフ構造に制約されたデータ特徴を生成する問題に対処する。
第一に、与えられたグラフのノードに関連する機能の分布をモデル化し、第二に、ノードのフィーチャに条件付きでエッジ機能を補完する。
論文 参考訳(メタデータ) (2022-12-01T11:49:07Z) - GRATIS: Deep Learning Graph Representation with Task-specific Topology
and Multi-dimensional Edge Features [27.84193444151138]
第1次汎用グラフ表現学習フレームワーク(GRATIS)を提案する。
任意の入力からタスク固有のトポロジーとタスク固有の多次元エッジ特徴を持つ強力なグラフ表現を生成することができる。
私たちのフレームワークは効率的で堅牢で柔軟性があり、異なるバックボーンとグラフニューラルネットワーク(GNN)を組み合わせたプラグイン・アンド・プレイモジュールです。
論文 参考訳(メタデータ) (2022-11-19T18:42:55Z) - A Variational Graph Autoencoder for Manipulation Action Recognition and
Prediction [1.1816942730023883]
シンボルシーングラフから操作タスクの認識と予測を共同で学習するディープグラフオートエンコーダを提案する。
我々のネットワークは2つの分岐を持つ変分オートエンコーダ構造を持ち、1つは入力グラフタイプを識別し、もう1つは将来のグラフを予測する。
提案手法は,MANIACとMSRC-9の2つの異なるデータセット上で異なる最先端手法に対してベンチマークを行い,提案手法がより優れた性能を実現することを示す。
論文 参考訳(メタデータ) (2021-10-25T21:40:42Z) - A Robust and Generalized Framework for Adversarial Graph Embedding [73.37228022428663]
本稿では,AGE という逆グラフ埋め込みのための頑健なフレームワークを提案する。
AGEは、暗黙の分布から強化された負のサンプルとして偽の隣接ノードを生成する。
本フレームワークでは,3種類のグラフデータを扱う3つのモデルを提案する。
論文 参考訳(メタデータ) (2021-05-22T07:05:48Z) - Spatial-spectral Hyperspectral Image Classification via Multiple Random
Anchor Graphs Ensemble Learning [88.60285937702304]
本稿では,複数のランダムアンカーグラフアンサンブル学習(RAGE)を用いた空間スペクトルHSI分類手法を提案する。
まず、各選択されたバンドのより記述的な特徴を抽出し、局所的な構造と領域の微妙な変化を保存するローカルバイナリパターンを採用する。
次に,アンカーグラフの構成に適応隣接代入を導入し,計算複雑性を低減した。
論文 参考訳(メタデータ) (2021-03-25T09:31:41Z) - Learning the Implicit Semantic Representation on Graph-Structured Data [57.670106959061634]
グラフ畳み込みネットワークにおける既存の表現学習手法は主に、各ノードの近傍を知覚全体として記述することで設計される。
本稿では,グラフの潜在意味パスを学習することで暗黙的な意味を探索する意味グラフ畳み込みネットワーク(sgcn)を提案する。
論文 参考訳(メタデータ) (2021-01-16T16:18:43Z) - Co-embedding of Nodes and Edges with Graph Neural Networks [13.020745622327894]
グラフ埋め込みは、高次元および非ユークリッド特徴空間でデータ構造を変換しエンコードする方法である。
CensNetは一般的なグラフ埋め込みフレームワークで、ノードとエッジの両方を潜在機能空間に埋め込む。
提案手法は,4つのグラフ学習課題における最先端のパフォーマンスを達成または一致させる。
論文 参考訳(メタデータ) (2020-10-25T22:39:31Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。