論文の概要: Hypergraph Self-supervised Learning with Sampling-efficient Signals
- arxiv url: http://arxiv.org/abs/2404.11825v1
- Date: Thu, 18 Apr 2024 01:14:50 GMT
- ステータス: 処理完了
- システム内更新日: 2024-04-19 19:50:54.523353
- Title: Hypergraph Self-supervised Learning with Sampling-efficient Signals
- Title（参考訳）: サンプリング効率を考慮したハイパーグラフ自己教師型学習
- Authors: Fan Li, Xiaoyang Wang, Dawei Cheng, Wenjie Zhang, Ying Zhang, Xuemin Lin,
- Abstract要約: 自己教師付き学習(SSL)は、高額なラベルなしでハイパーグラフ上で表現学習を行うための有望な代替手段を提供する。
既存のハイパーグラフSSLモデルは、主にインスタンスレベルの識別戦略と対照的な手法に基づいている。
3つのサンプリング効率の自己教師型信号を持つハイパーグラフSSLフレームワークであるSE-HSSLを提案する。
- 参考スコア（独自算出の注目度）: 36.670771080732486
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Self-supervised learning (SSL) provides a promising alternative for representation learning on hypergraphs without costly labels. However, existing hypergraph SSL models are mostly based on contrastive methods with the instance-level discrimination strategy, suffering from two significant limitations: (1) They select negative samples arbitrarily, which is unreliable in deciding similar and dissimilar pairs, causing training bias. (2) They often require a large number of negative samples, resulting in expensive computational costs. To address the above issues, we propose SE-HSSL, a hypergraph SSL framework with three sampling-efficient self-supervised signals. Specifically, we introduce two sampling-free objectives leveraging the canonical correlation analysis as the node-level and group-level self-supervised signals. Additionally, we develop a novel hierarchical membership-level contrast objective motivated by the cascading overlap relationship in hypergraphs, which can further reduce membership sampling bias and improve the efficiency of sample utilization. Through comprehensive experiments on 7 real-world hypergraphs, we demonstrate the superiority of our approach over the state-of-the-art method in terms of both effectiveness and efficiency.
- Abstract（参考訳）: 自己教師付き学習(SSL)は、高額なラベルなしでハイパーグラフ上で表現学習を行うための有望な代替手段を提供する。
しかし、既存のハイパーグラフSSLモデルは、主にインスタンスレベルの識別戦略と対照的な手法に基づいており、(1) 負のサンプルを任意に選択するが、これは類似したペアと異種ペアを決定できないため、トレーニングバイアスを引き起こす。
2) 大量の負のサンプルを必要とすることが多く、計算コストがかかる。
以上の課題に対処するため,3つのサンプリング効率の高い自己教師型信号を用いたハイパーグラフSSLフレームワークSE-HSSLを提案する。
具体的には,正準相関解析をノードレベルおよびグループレベルの自己教師信号として活用する2つのサンプリングフリーな目的を提案する。
さらに,ハイパーグラフのカスケード重なり関係によって動機付けられた新しい階層型メンバシップレベルのコントラストを考案し,メンバシップサンプリングバイアスをさらに低減し,サンプル利用効率を向上させる。
7つの実世界のハイパーグラフに関する包括的実験を通じて, 有効性と効率の両面から, 最先端手法に対するアプローチの優位性を実証した。
関連論文リスト
- A Channel-ensemble Approach: Unbiased and Low-variance Pseudo-labels is Critical for Semi-supervised Classification [61.473485511491795]
半教師付き学習(SSL)はコンピュータビジョンにおける実践的な課題である。
Pseudo-label (PL) メソッド、例えば FixMatch や FreeMatch は SSL で State of The Art (SOTA) のパフォーマンスを取得する。
本稿では,複数の下位PLを理論的に保証された非偏りと低分散のPLに集約する,軽量なチャネルベースアンサンブル法を提案する。
論文 参考訳（メタデータ） (2024-03-27T09:49:37Z) - Semi-Supervised Class-Agnostic Motion Prediction with Pseudo Label
Regeneration and BEVMix [59.55173022987071]
クラス非依存動作予測のための半教師あり学習の可能性について検討する。
我々のフレームワークは一貫性に基づく自己学習パラダイムを採用しており、ラベルのないデータからモデルを学習することができる。
本手法は,弱さと完全教師付き手法に匹敵する性能を示す。
論文 参考訳（メタデータ） (2023-12-13T09:32:50Z) - PASS: Peer-Agreement based Sample Selection for training with Noisy Labels [16.283722126438125]
ノイズラベルサンプルの頻度は、深層学習において重要な課題となり、過剰適合効果を誘発する。
現在の方法論は、しばしばノイズとクリーンなラベルのサンプルを分離するために、小さな損失仮説や特徴に基づく選択に依存している。
本稿では,PASS (Peer-Agreement based Sample Selection) と呼ばれる新しいノイズラベル検出手法を提案する。
論文 参考訳（メタデータ） (2023-03-20T00:35:33Z) - FUSSL: Fuzzy Uncertain Self Supervised Learning [8.31483061185317]
自己教師付き学習(SSL)は、アノテーションを使わずにラベルなしデータのパワーを活用するための、非常に成功した技術になっています。
本稿では,単一スーパーバイザ信号の使用によるSSLの基本的限界を初めて認識する。
SSLベースラインに対して,堅牢で汎用的な階層型学習/学習プロトコルを提案する。
論文 参考訳（メタデータ） (2022-10-28T01:06:10Z) - Non-contrastive representation learning for intervals from well logs [58.70164460091879]
石油・ガス産業における表現学習問題は、ログデータに基づく表現を一定間隔で提供するモデルを構築することを目的としている。
可能なアプローチの1つは、自己教師付き学習(SSL)である。
私たちは、よくログするデータのための非コントラストSSLを最初に導入しました。
論文 参考訳（メタデータ） (2022-09-28T13:27:10Z) - Collaborative Intelligence Orchestration: Inconsistency-Based Fusion of
Semi-Supervised Learning and Active Learning [60.26659373318915]
アクティブラーニング(AL)と半教師付きラーニング(SSL)は2つの効果があるが、しばしば孤立している。
本稿では、SSL-ALの潜在的な優位性をさらに調査するために、革新的な一貫性に基づく仮想aDvErialアルゴリズムを提案する。
2つの実世界のケーススタディは、提案したデータサンプリングアルゴリズムの適用と展開の実践的な産業価値を可視化する。
論文 参考訳（メタデータ） (2022-06-07T13:28:43Z) - Dash: Semi-Supervised Learning with Dynamic Thresholding [72.74339790209531]
我々は、ラベルのない例を使ってモデルをトレーニングする半教師付き学習(SSL)アプローチを提案する。
提案手法であるDashは、ラベルなしデータ選択の観点から適応性を享受する。
論文 参考訳（メタデータ） (2021-09-01T23:52:29Z) - Trash to Treasure: Harvesting OOD Data with Cross-Modal Matching for
Open-Set Semi-Supervised Learning [101.28281124670647]
オープンセット半教師付き学習(Open-set SSL)では、ラベルなしデータにOOD(Out-of-distribution)サンプルを含む、難しいが実用的なシナリオを調査する。
我々は、OODデータの存在を効果的に活用し、特徴学習を増強する新しいトレーニングメカニズムを提案する。
我々のアプローチは、オープンセットSSLのパフォーマンスを大幅に向上させ、最先端技術よりも大きなマージンで性能を向上します。
論文 参考訳（メタデータ） (2021-08-12T09:14:44Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。