論文の概要: Deep Contrastive Graph Representation via Adaptive Homotopy Learning
- arxiv url: http://arxiv.org/abs/2106.09244v1
- Date: Thu, 17 Jun 2021 04:46:04 GMT
- ステータス: 処理完了
- システム内更新日: 2021-06-18 15:53:09.125473
- Title: Deep Contrastive Graph Representation via Adaptive Homotopy Learning
- Title(参考訳): 適応ホモトピー学習によるディープコントラストグラフ表現
- Authors: Rui Zhang, Chengjun Lu, Ziheng Jiao and Xuelong Li
- Abstract要約: Homotopyモデルは、機械学習の分野におけるさまざまな研究によって活用される優れたツールである。
マクローリン双対性を用いる新しい適応ホモトピーフレームワーク(AH)を提案する。
AHはホモトピーに基づくアルゴリズムを強化するために広く利用することができる。
- 参考スコア(独自算出の注目度): 76.22904270821778
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Homotopy model is an excellent tool exploited by diverse research works in
the field of machine learning. However, its flexibility is limited due to lack
of adaptiveness, i.e., manual fixing or tuning the appropriate homotopy
coefficients. To address the problem above, we propose a novel adaptive
homotopy framework (AH) in which the Maclaurin duality is employed, such that
the homotopy parameters can be adaptively obtained. Accordingly, the proposed
AH can be widely utilized to enhance the homotopy-based algorithm. In
particular, in this paper, we apply AH to contrastive learning (AHCL) such that
it can be effectively transferred from weak-supervised learning (given label
priori) to unsupervised learning, where soft labels of contrastive learning are
directly and adaptively learned. Accordingly, AHCL has the adaptive ability to
extract deep features without any sort of prior information. Consequently, the
affinity matrix formulated by the related adaptive labels can be constructed as
the deep Laplacian graph that incorporates the topology of deep representations
for the inputs. Eventually, extensive experiments on benchmark datasets
validate the superiority of our method.
- Abstract(参考訳): Homotopyモデルは、機械学習の分野でさまざまな研究によって活用される優れたツールである。
しかし、その柔軟性は適応性の欠如、すなわち適切なホモトピー係数の手動固定や調整のために制限される。
上記の問題に対処するために、マクローリン双対性を用いる新しい適応ホモトピーフレームワーク(AH)を提案し、ホモトピーパラメータを適応的に得ることができる。
したがって、提案したAHはホモトピーに基づくアルゴリズムを強化するために広く利用することができる。
本稿では,AHを対照学習(AHCL)に適用し,弱教師付き学習(ギブンラベル事前)から教師なし学習に効果的に移行し,対照学習のソフトラベルを直接かつ適応的に学習する。
したがって、AHCLは事前情報なしに深い特徴を抽出する適応能力を持つ。
したがって、関連する適応ラベルによって定式化された親和性行列は、入力に対する深い表現のトポロジーを組み込んだ深いラプラシアングラフとして構成することができる。
最終的に、ベンチマークデータセットに関する広範な実験は、我々の方法の優位性を検証する。
関連論文リスト
- Learnability, Sample Complexity, and Hypothesis Class Complexity for
Regression Models [10.66048003460524]
この研究はPACの基礎に触発され、既存の回帰学習問題に動機付けられている。
提案手法はEpsilon-Confidence Aough Correct (epsilon CoAC)で示され、Kullback Leibler divergence(相対エントロピー)を利用する。
これにより、学習者は異なる複雑性順序の仮説クラスを比較でき、それらの中から最小のエプシロンを最適に選択できる。
論文 参考訳(メタデータ) (2023-03-28T15:59:12Z) - Orthogonal SVD Covariance Conditioning and Latent Disentanglement [65.67315418971688]
SVDメタ層をニューラルネットワークに挿入すると、共分散が不調和になる。
我々は最寄り直交勾配(NOG)と最適学習率(OLR)を提案する。
視覚認識実験は,共分散条件と一般化を同時に改善できることを実証した。
論文 参考訳(メタデータ) (2022-12-11T20:31:31Z) - Faster Adaptive Federated Learning [84.38913517122619]
フェデレートラーニングは分散データの出現に伴って注目を集めている。
本稿では,クロスサイロFLにおけるモーメントに基づく分散低減手法に基づく適応アルゴリズム(FAFED)を提案する。
論文 参考訳(メタデータ) (2022-12-02T05:07:50Z) - The Manifold Hypothesis for Gradient-Based Explanations [47.51736323833013]
勾配に基づく説明アルゴリズムは意味のある説明を提供する。
特徴属性がデータの接空間と一致すればなるほど、構造的かつ説明的になりがちであることを示す。
部分的には、敵対的なトレーニングによって達成できるため、すべてのデータセットの整合性が向上する。
論文 参考訳(メタデータ) (2022-06-15T08:49:24Z) - An Adaptive Alternating-direction-method-based Nonnegative Latent Factor
Model [2.857044909410376]
交互方向法に基づく非負潜在因子モデルにより、高次元および不完全行列への効率的な表現学習を行うことができる。
本稿では,超パラメータ適応を粒子群最適化の原理に従って実装した適応交互方向法に基づく非負遅延因子モデルを提案する。
産業応用によって生成される非負のHDI行列に関する実証的研究は、A2NLFが計算および記憶効率においていくつかの最先端モデルより優れており、HDI行列の欠落データに対する高い競合推定精度を維持していることを示している。
論文 参考訳(メタデータ) (2022-04-11T03:04:26Z) - A Lagrangian Duality Approach to Active Learning [119.36233726867992]
トレーニングデータのサブセットのみをラベル付けするバッチアクティブな学習問題を考察する。
制約付き最適化を用いて学習問題を定式化し、各制約はラベル付きサンプルにモデルの性能を拘束する。
数値実験により,提案手法は最先端の能動学習法と同等かそれ以上に機能することを示した。
論文 参考訳(メタデータ) (2022-02-08T19:18:49Z) - Scalable Marginal Likelihood Estimation for Model Selection in Deep
Learning [78.83598532168256]
階層型モデル選択は、推定困難のため、ディープラーニングではほとんど使われない。
本研究は,検証データが利用できない場合,限界的可能性によって一般化が向上し,有用であることを示す。
論文 参考訳(メタデータ) (2021-04-11T09:50:24Z) - New Benchmarks for Learning on Non-Homophilous Graphs [20.082182515715182]
ホモフィリー原理を満たさないノードラベル関係を持つ改良されたグラフデータセットを多数提示する。
我々はまた、異なる体制における既存の措置よりも適しているホモフィリーの存在または不在の新しい尺度を紹介します。
論文 参考訳(メタデータ) (2021-04-03T13:45:06Z) - Efficient Semantic Image Synthesis via Class-Adaptive Normalization [116.63715955932174]
クラス適応正規化(CLADE)は、セマンティッククラスにのみ適応する軽量かつ等価なバリアントである。
セマンティクスレイアウトから計算したクラス内位置マップエンコーディングを導入し,cladeの正規化パラメータを変調する。
提案されたCLADEは異なるSPADEベースのメソッドに一般化し、SPADEと比較して同等の生成品質を達成できる。
論文 参考訳(メタデータ) (2020-12-08T18:59:32Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。