論文の概要: Towards Long-Tailed Recognition for Graph Classification via
Collaborative Experts
- arxiv url: http://arxiv.org/abs/2308.16609v2
- Date: Tue, 5 Sep 2023 14:46:38 GMT
- ステータス: 処理完了
- システム内更新日: 2023-09-07 02:07:49.900265
- Title: Towards Long-Tailed Recognition for Graph Classification via
Collaborative Experts
- Title(参考訳): 協調専門家によるグラフ分類のロングテール認識に向けて
- Authors: Siyu Yi, Zhengyang Mao, Wei Ju, Yongdao Zhou, Luchen Liu, Xiao Luo,
and Ming Zhang
- Abstract要約: 我々は,CoMe(Collaborative Multi-expert Learning)を用いたグラフレベル分類フレームワークを提案する。
頭と尾の授業のコントリビューションを均衡させるために,まず表現学習の観点から,バランスの取れたコントラスト学習を開発する。
マルチエキスパートフレームワークにおける協調を促進するために,複数の専門家の間でゲート融合・アンタングルド知識蒸留を実施している。
- 参考スコア(独自算出の注目度): 10.99232053983369
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Graph classification, aiming at learning the graph-level representations for
effective class assignments, has received outstanding achievements, which
heavily relies on high-quality datasets that have balanced class distribution.
In fact, most real-world graph data naturally presents a long-tailed form,
where the head classes occupy much more samples than the tail classes, it thus
is essential to study the graph-level classification over long-tailed data
while still remaining largely unexplored. However, most existing long-tailed
learning methods in visions fail to jointly optimize the representation
learning and classifier training, as well as neglect the mining of the
hard-to-classify classes. Directly applying existing methods to graphs may lead
to sub-optimal performance, since the model trained on graphs would be more
sensitive to the long-tailed distribution due to the complex topological
characteristics. Hence, in this paper, we propose a novel long-tailed
graph-level classification framework via Collaborative Multi-expert Learning
(CoMe) to tackle the problem. To equilibrate the contributions of head and tail
classes, we first develop balanced contrastive learning from the view of
representation learning, and then design an individual-expert classifier
training based on hard class mining. In addition, we execute gated fusion and
disentangled knowledge distillation among the multiple experts to promote the
collaboration in a multi-expert framework. Comprehensive experiments are
performed on seven widely-used benchmark datasets to demonstrate the
superiority of our method CoMe over state-of-the-art baselines.
- Abstract(参考訳): 効果的なクラス割り当てのためのグラフレベルの表現を学習することを目的としたグラフ分類は、優れた成果を得ている。
実際、ほとんどの実世界のグラフデータには自然に長い尾を持つ形式があり、ヘッドクラスはテールクラスよりもはるかに多くのサンプルを占有しているため、長い尾を持つデータよりもグラフレベルの分類を研究することが不可欠であり、まだほとんど探索されていないままである。
しかし、既存の視覚における長い尾の学習方法のほとんどは、表現学習と分類器訓練を共同で最適化するだけでなく、分類の難しいクラスのマイニングを無視する。
グラフに既存の手法を直接適用すると、複雑な位相特性のためにグラフで訓練されたモデルの方が長い尾の分布に敏感になるので、準最適性能が得られる。
そこで本研究では,協調型多専門家学習(come)を用いた,新しい長尾グラフレベル分類フレームワークを提案する。
頭と尾の授業のコントリビューションを均等化するために,まず表現学習の観点からコントラスト学習のバランスを保ち,硬質クラスマイニングに基づく個人専門家分類器のトレーニングを設計する。
さらに,複数の専門家間でゲート融合と異種知識蒸留を行い,複数専門家による協調を促進する。
7つのベンチマークデータセットで包括的な実験を行い、最先端のベースラインよりも優れた方法を示す。
関連論文リスト
- RAHNet: Retrieval Augmented Hybrid Network for Long-tailed Graph
Classification [10.806893809269074]
本稿では,ロバストな特徴抽出器と非バイアスな分類器を共同で学習するRAHNet(Retrieval Augmented Hybrid Network)を提案する。
特徴抽出学習の段階において,各クラスにおけるクラス内多様性を直接強化する関係グラフを探索するグラフ検索モジュールを開発する。
また、分類表現を得るために、カテゴリー中心の教師付きコントラスト損失を革新的に最適化する。
論文 参考訳(メタデータ) (2023-08-04T14:06:44Z) - Characterizing Long-Tail Categories on Graphs [29.770413092275792]
ロングテールデータ配信は、金融取引ネットワーク、eコマースネットワーク、コラボレーションネットワークなど、多くの現実世界のネットワークで一般的である。
マルチタスク学習方式で問題を定式化することにより,グラフ上の長い尾の分類のための最初の一般化を提案する。
理論的には, 長細分類の一般化性能は, 全タスクの損失範囲とタスクの総数に支配されている。
論文 参考訳(メタデータ) (2023-05-17T03:52:40Z) - SuperDisco: Super-Class Discovery Improves Visual Recognition for the
Long-Tail [69.50380510879697]
我々は,長い尾の認識のための超クラス表現を発見するアルゴリズムであるSuperDiscoを提案する。
我々は,長期分布を扱うための表現学習を指導するために,超クラスグラフを構築することを学ぶ。
論文 参考訳(メタデータ) (2023-03-31T19:51:12Z) - Constructing Balance from Imbalance for Long-tailed Image Recognition [50.6210415377178]
多数派(頭)クラスと少数派(尾)クラスの不均衡は、データ駆動のディープニューラルネットワークを著しく歪ませる。
従来の手法では、データ分散、特徴空間、モデル設計の観点からデータ不均衡に対処していた。
ラベル空間を段階的に調整し,ヘッドクラスとテールクラスを分割することで,簡潔なパラダイムを提案する。
提案モデルでは,特徴評価手法も提供し,長期的特徴学習の道を開く。
論文 参考訳(メタデータ) (2022-08-04T10:22:24Z) - Effective and Efficient Graph Learning for Multi-view Clustering [173.8313827799077]
マルチビュークラスタリングのための効率的かつ効率的なグラフ学習モデルを提案する。
本手法はテンソルシャッテンp-ノルムの最小化により異なるビューのグラフ間のビュー類似性を利用する。
提案アルゴリズムは時間経済であり,安定した結果を得るとともに,データサイズによく対応している。
論文 参考訳(メタデータ) (2021-08-15T13:14:28Z) - Class-Balanced Distillation for Long-Tailed Visual Recognition [100.10293372607222]
実世界のイメージはしばしばクラスごとの画像数の著しい不均衡によって特徴づけられ、ロングテール分布に繋がる。
本研究では、インスタンスサンプリングで学習した特徴表現が長尾設定では最適とは程遠いという重要な観察を行うことで、新しいフレームワークを提案する。
我々の主な貢献は、知識蒸留を利用して特徴表現を強化する新しい訓練方法である。
論文 参考訳(メタデータ) (2021-04-12T08:21:03Z) - Model-Agnostic Graph Regularization for Few-Shot Learning [60.64531995451357]
グラフ組み込み数ショット学習に関する包括的な研究を紹介します。
本稿では,ラベル間のグラフ情報の組み込みによる影響をより深く理解できるグラフ正規化手法を提案する。
提案手法は,Mini-ImageNetで最大2%,ImageNet-FSで6.7%の性能向上を実現する。
論文 参考訳(メタデータ) (2021-02-14T05:28:13Z) - Sub-graph Contrast for Scalable Self-Supervised Graph Representation
Learning [21.0019144298605]
既存のグラフニューラルネットワークは、計算量やメモリコストが限られているため、完全なグラフデータで供給される。
textscSubg-Conは、中央ノードとそのサンプルサブグラフ間の強い相関を利用して、地域構造情報をキャプチャすることで提案される。
既存のグラフ表現学習アプローチと比較して、textscSubg-Conは、より弱い監視要件、モデル学習のスケーラビリティ、並列化において、顕著なパフォーマンス上のアドバンテージを持っています。
論文 参考訳(メタデータ) (2020-09-22T01:58:19Z) - Long-Tailed Recognition Using Class-Balanced Experts [128.73438243408393]
本稿では,多様な分類器の強度を組み合わせたクラスバランスの専門家のアンサンブルを提案する。
私たちのクラスバランスの専門家のアンサンブルは、最先端に近い結果に到達し、長い尾の認識のための2つのベンチマークで新たな最先端のアンサンブルを確立します。
論文 参考訳(メタデータ) (2020-04-07T20:57:44Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。